최근 주요 클라우드 서비스 업체 3곳이 일제히 실적을 발표했는데, 모두 AI 덕분에 성장 속도를 높였다. 엔비디아는 시가총액 5조 달러(약 7,196조 원)를 돌파한 첫 번째 기업이 됐으며, 이 역시 AI의 영향이 컸다. 전 세계 기업 사이에서 ‘놓치면 안 된다’는 불안감(FOMO)이 AI 도입 열풍을 부추기며 다소 비이성적인 과열이 섞여 있는 것도 사실이지만, 실제로는 아직 AI가 시장 전반에 완전히 확산됐다고 보기는 어렵다.

이유는 분명하다. 아직 AI는 대부분의 일반 기업 애플리케이션에 본격적으로 적용되지 못했다. 그리고 보안처럼 중요하지만 ‘지루한’ 문제를 해결하기 전까지는 그 시점이 오지 않을 것이다. 과거 필자는 “우리는 ‘바이브 코딩(vibe coding)’ 같은 말을 좋아하지만, 현명한 개발자는 에이전트의 계획, 도구, 메모리를 대상으로 단위 테스트, 추적, 상태 점검을 철저히 수행한다”라는 말을 한 적 있다. 이처럼 개발자가 ‘지루한 부분’에 집중하는 이유는, 그것이야말로 현실적이고 지속 가능한 기업 AI 도입의 핵심이기 때문이다.

유행어를 넘어 실질적으로 나아가려면

업계는 종종 ‘유행어’가 기술 도입을 이끈다고 믿는 경향이 있다. 버셀(Vercel)의 설립자 기예르모 라우흐는 “오픈은 언제나 승리한다(Open always wins)”라고 주장하지만, 기술 도입의 역사를 조금만 살펴봐도 그가 틀렸다는 것을 알 수 있다. 오픈소스 소프트웨어의 성공 사례로 리눅스나 아파치 HTTP 서버 같은 예가 있긴 하지만, 폐쇄형 시스템이 시장을 장악한 경우는 훨씬 더 많다. 이 말은 어느 한쪽이 더 낫다는 의미가 아니다. 다만 기업의 기술 도입이 실제로 어떤 방식으로 작동하는지를 가볍게 넘겨버리는 태도가 결국 진정한 확산을 이끌어내기 위한 ‘보이지 않는 노력’을 간과하게 만든다는 점을 지적하는 것이다.

AI 도입에서도 상황은 마찬가지다. 애버커스AI(Abacus AI) CEO 빈두 레디는 “보안 같은 건 허상이고 기업 내 AI 위원회는 분석만 하다 멈춰 있다”라며 기업의 AI 도입을 비판했다. 하지만 기업 환경을 잘 아는 사람이라면 스프링 프레임워크의 창시자 로드 존슨의 말을 떠올릴 것이다. “스타트업은 짚으로 집을 지을 수 있지만, 은행은 그럴 수 없다.” 존슨은 기업의 관료적 절차가 존재함을 인정하면서도, 그것이 단순한 비효율이 아니라 “보안은 실제로 중요한 문제이기 때문”이라고 설명했다. 여기에 개인정보보호와 규제 준수까지 고려해야 하니 당연히 절차가 복잡해질 수밖에 없다.

규모가 작은 기업은 이런 요소를 대수롭지 않게 여길 수 있지만, 그렇기 때문에 대부분 PoC 단계에 머물고 본격적인 상용화에는 도달하지 못한다.

열정과 거버넌스가 만나는 지점

와튼스쿨이 발표한 ‘2025 AI 도입 보고서(2025 AI Adoption Report)’는 “빠르게 움직이라”라는 구호에 대한 현실적인 해답을 제시한다. 800명의 기업 의사결정권자를 대상으로 한 조사 결과, 현재 “10명 중 최소 8명”이 생성형 AI를 정기적으로 사용하고 있는 것으로 나타났다. 2023년의 “10명 중 4명 미만”에서 두 배 이상 늘어난 수치다. 놀라운 성장세처럼 보이지만, 빠른 도입이 반드시 안전한 적용을 의미하는 것은 아니다. 같은 보고서는 AI 도입의 리더십이 C 레벨 경영진에 집중되고 있다고 지적했다. 조사 대상 기업의 60%가 CAIO(chief AI officer)를 두고 있으며, 이들은 데이터 프라이버시, 윤리적 활용, 인간의 감독 등 ‘화려하진 않지만 필수적인 안전장치’를 마련하는 데 초점을 맞추고 있다. 이는 AI를 실제 업무 프로세스에 연결하기 전에 반드시 갖춰야 할 기반이다.

와튼스쿨은 또 한 가지 중요한 사실을 지적했다. “생성형 AI가 일상의 업무로 자리 잡을수록 제약 요인은 도구에서 사람으로 옮겨간다”라는 것이다. 따라서 교육, 신뢰, 변화 관리가 AI 도입의 성패를 좌우하는 핵심 요소가 된다고 분석했다. 이는 필자가 최근 강조한 관점과도 일치한다. AI의 공급망에서 가장 부족한 것은 GPU가 아니라, 기업 내부에서 AI를 안전하고 효과적으로 다룰 수 있는 사람이다.

이전의 ‘파괴적’ 기술 흐름에서 교훈을 찾고 싶다면 쿠버네티스만큼 좋은 사례는 없다. 마침 쿠브콘(KubeCon)이 열리는 시기이기도 하다. 쿠버네티스가 주류 기술로 자리 잡은 이유는 그것이 멋져서가 아니다. 매니지드 서비스가 보안과 정책, 즉 거버넌스를 표준화함으로써 규제가 까다로운 환경에서도 운영이 쉬워졌기 때문이다. 이를 통해 기업은 복잡한 보안 요구사항을 충족하면서도 안정적으로 시스템을 운영할 수 있게 됐다. 클라우드 네이티브 컴퓨팅 재단(The Cloud Native Computing Foundation, CNCF)이 발표한 2023~2024년 조사 결과에서도, 비용·신뢰성·보안을 아우르는 정책을 일관되게 적용하는 것이 기업의 가장 큰 과제로 꼽혔다. 결국 결론은 같다. 진정한 기술 도입의 길은 언제나 ‘지루한 거버넌스’에 있다.

거버넌스가 적용된 데이터에 언제 도달할 수 있을까?

필자는 오라클에서 개발자 관계를 총괄하며 이렇게 설명하곤 한다. 과거 개발자는 다른 대부분 요소보다 편의성을 가장 우선시했지만, AI는 선택의 기준을 “빠르게 구축하라”에서 “빠르게 거버넌스가 적용된 데이터에 접근하라”로 바꾸고 있다. 이는 보안 통제, 데이터 계보, 마스킹, 감사 기능이 이미 데이터와 밀접하게 통합돼 있는 기술 스택이 유리하다는 뜻이다. 반짝이는 모델 엔드포인트를 띄우는 일은 쉽지만, 고객의 개인정보, 결제 이력, 송장 데이터가 포함된 실제 기록에 이를 ‘안전하게’ 연결하는 일은 전혀 단순하지 않다. 그렇다면 이 변화가 의미하는 바는 무엇일까?

• 데이터 근접성이 도구의 새로움보다 중요하다. 민감한 데이터를 새로운 시스템으로 옮길수록 위험과 비용이 기하급수적으로 증가한다. 암호화, 역할 기반 접근 제어(role-based access controls, RBAC), 마스킹 정책이 이미 적용돼 있는 기존 저장소 내에서 데이터를 그대로 활용하는 검색증강생성(Retrieval-Augmented Generation, RAG) 방식이, CSV 파일을 생소한 벡터 스토어로 옮겨 처리하는 ‘개발자 친화적으로 보이는’ 방식보다 훨씬 효율적이다.
• 정책 재사용은 가장 강력한 기능이다. 플랫폼이 기존의 행·열 단위 접근 정책, 데이터 손실 방지 규칙, 데이터 레지던시 통제 등을 프롬프트, 임베딩, 툴 사용에도 그대로 적용할 수 있게 해준다면 별도의 연결 코드를 작성하지 않고도 엄청난 효율성을 확보할 수 있다. 와튼스쿨 보고서에 따르면, 기업은 이런 안전장치를 AI 확산 과정에서 점점 더 명시적이고 체계적인 코드 형태로 구축하며 AI 확산에 대비하고 있다.
• 인간의 감독은 관찰 가능한 AI를 전제로 한다. 보이지 않는 것은 통제할 수 없다. 이제 평가 하네스(evaluation harness), 프롬프트와 버전의 계보 추적, 툴 호출에 대한 구조적 로그 기록은 기본 요건이 됐다. 이런 이유로 여러 팀이 ‘프롬프트용 단위 테스트’와 에이전트의 동작을 세밀하게 추적하는 관찰 기능을 강화하고 있다. 다소 지루하게 들릴 수 있지만, 이런 접근이야말로 AI를 안전하고 신뢰할 수 있게 운영하기 위한 핵심 요소다.

이런 이야기가 자칫 레거시 기술 스택을 지지하는 것처럼 들릴 수도 있다. 그러나 실제로는 통합된 기술 스택의 중요성을 강조하는 말이다. 가장 화려한 신기술이라도 기업이 이미 신뢰하고 사용하는 지루한 통제 체계를 이어받지 못한다면 결국 성공하기 어렵다. 이것이 바로 기업 혁신의 역설이다.

‘화려함’보다 ‘안전함’이 늘 이긴다

기업 기술의 역사는 같은 교훈을 반복한다. 혁신이 규제와 충돌하면, 결국 규제가 이긴다. 그리고 그것은 결코 나쁜 일이 아니다. 목표는 혁신을 늦추는 것이 아니라, 지속 가능한 방식으로 유지하는 것이기 때문이다. 쿠버네티스가 성공한 것도 안전장치가 마련된 이후였다. 퍼블릭 클라우드가 폭발적으로 성장할 수 있었던 것도 가상 프라이빗 클라우드(virtual private clouds), IAM(identity and access management), KMS(key management services) 같은 보안 체계가 성숙한 뒤였다. 생성형 AI 역시 같은 길을 걷고 있다. 보안과 기타 기업 수준의 통제 요소가 기본 AI 스택의 일부로 자리 잡는 순간, AI는 개발자의 흥분을 넘어 기업의 실질적 성장 동력으로 전환될 것이다.

기술 기업의 실적 발표에서 가장 많이 들리는 단어는 “AI, AI, AI”다. 그러나 기업 내부의 실제 과제 목록에 적힌 단어는 “거버넌스”다. 두 단어가 서로 대립되는 것처럼 보일 수도 있지만 현실에서는 그렇지 않다. X 같은 공간에서만 대립 구도가 만들어질 뿐이다.

기업 환경에서 AI의 성능을 진정으로 최적화하는 요소는 더 빠른 커널이나 약간 개선된 벤치마크가 아니다. 아이디어에서 거버넌스가 적용된 데이터까지 도달하는 경로를 얼마나 단축할 수 있느냐가 핵심이다. 앞서 말했듯, AI는 선택 기준을 “얼마나 빨리 구축할 수 있느냐”에서 “얼마나 빨리 거버넌스가 적용된 데이터에 접근할 수 있느냐”로 바꾸고 있다.

승자는 ‘첫날 가장 멋져 보이는’ 기술 스택이 아니라, 보안·프라이버시·규제·관찰성 같은 ‘지루한 요소’를 거의 보이지 않게 만들어 개발자가 본연의 일, 즉 가치를 만드는 개발에 집중할 수 있도록 해주는 시스템이 될 것이다.
dl-itworldkorea@foundryco.com