AI는 지금까지의 그 어떤 기술 혁신보다도 더 많은 복잡성을 숨기고 있다. 이제 코드를 작성하거나 API를 연결하고 인프라를 확장하는 일은 점점 더 쉬워졌지만, 그 단순함 뒤에는 수많은 보이지 않는 결정의 레이어가 쌓여 있다. 기술적 난제는 더 이상 코드나 인프라가 아니라, 판단력과 조정력, 그리고 시스템적 사고의 영역으로 옮겨가고 있다.

개발자 숀 ‘스윅스(Swyx)’ 왕은 2023년 ‘AI 엔지니어(AI Engineer)’라는 새로운 개념을 정의한 인물로 널리 알려져 있다. 왕은 AI 엔지니어를 “대형 파운데이션 모델을 직접 학습시키기보다, API나 오픈소스 도구를 활용해 AI 시스템을 구축·평가·제품화하는 전문가”라고 설명했다.

AI 엔지니어라는 개념이 현실로 자리 잡으면서 추상화의 새로운 레이어가 계속 쌓이고 있다. 그 결과 개발자는 점점 프로그래밍의 기초 구조나 프레임워크 내부에서 멀어지고 있다. 이런 변화 속에서 새로운 형태의 보이지 않는 역량이 등장하고 있다. 인간이 아니라 LLM이 소프트웨어의 초안을 작성하는 시대에 걸맞은 완전히 다른 기술 감각이다.

평가는 새로운 CI

한때 지속적 통합(Continuous Integration, CI)은 건전한 엔지니어링 문화를 상징하는 개념이었다. 그러나 이제 측정·테스트·자동화 원칙은 AI 시스템의 품질을 유지하는 핵심 규율로 자리를 옮겼다.

오픈소스 기반 모델 공유 및 평가 생태계를 이끄는 허깅페이스(Hugging Face)의 제품 및 성장 총괄 제프 부디에는 이 변화를 “소프트웨어 엔지니어링의 새로운 표준”으로 정의한다. 부디에는 필자와의 인터뷰에서 “평가(evaluation)는 새로운 CI다”라며, “진정한 엔지니어링의 힘은 어떤 모델을 선택하느냐가 아니라, 그 모델을 지속적으로 측정하고 테스트하며 교체할 수 있는 시스템을 구축하는 데 있다”라고 설명했다.

허깅페이스는 이런 원칙을 중심으로 자사 플랫폼을 구축했다. 이밸류에이트(Evaluate) 라이브러리는 수백 가지 작업에 걸쳐 모델을 평가하는 과정을 표준화하고, AI 시트(AI Sheets)는 코드 작성 없이도 맞춤형 데이터셋을 활용해 모델을 비교할 수 있는 노코드 인터페이스를 제공한다. 또한 개발자는 허깅페이스 잡스(Hugging Face Jobs)를 통해 온디맨드 GPU 환경에서 평가 워크플로우를 실행할 수 있으며, 수천 개의 모델을 실시간으로 비교·분석하는 오픈 리더보드(Open Leaderboard)에서 성능도 추적할 수 있다. 이런 도구가 결합하면서 평가는 이제 단발성 검증이 아닌 지속적 엔지니어링 프로세스로 자리 잡고 있다. 부디에는 “기업이 반드시 길러야 할 가장 중요한 역량은 실제 고객의 언어와 행동을 반영한 평가용 데이터셋을 스스로 구축할 수 있는 능력”이라고 강조했다.

학계와 업계 전문가들은 평가 중심 접근이 소프트웨어 개발 방식을 근본적으로 바꿀 것이라는 데 의견을 같이한다.

레니 팟캐스트(Lenny’s Podcast)에 출연한 파럴런스 랩스(Parlance Labs) 컨설턴트 하멜 후세인은 “평가는 LLM 데이터를 체계적으로 바라보고 지표를 만들고 이를 반복적으로 개선하기 위한 방법론”이라고 설명했다. 같은 팟캐스트에서 UC버클리의 박사 연구원 슈레야 샨카르는 “평가는 애플리케이션 품질을 측정하는 다양한 접근 방식을 제공한다. 핵심 기능 검증부터 예측 불가능한 사용자 행동에 대한 시스템 반응 평가까지 폭넓은 스펙트럼을 다룬다”라고 덧붙였다.

엔지니어 쇼 탈레비는 X에 “LLM 시스템을 구축하는 일은 마치 AI 신에게 기도하는 것 같았다. 하지만 ‘평가 기반 개발(eval-driven development, EDD)’을 알게 된 이후 모든 것이 달라졌다”라고 적었다.

과거 소프트웨어 개발에서 테스트가 그랬듯, 이제 평가는 AI의 핵심 절차로 자리 잡고 있다. 평가는 모델의 예측 불가능성을 엔지니어가 이해하고 통제할 수 있는 형태로 바꿔주는 과정이다.

매일의 변화에 적응하는 능력

평가가 품질을 결정한다면, 적응력(adaptability)은 지속 가능성을 정의한다. 그러나 AI 시대의 적응력이란 새로운 프레임워크나 언어를 배우는 것과는 다른 의미를 지닌다. 적응력은 매주, 심지어 매일의 변화에도 살아남을 수 있는 시스템 설계 능력을 의미한다.

부디에는 “아직은 연구 속도가 엔지니어링 속도보다 훨씬 빠르다. 허깅페이스에서는 매주 새로운 상위 다섯 개 모델이 등장한다. 어떤 모델을 선택하느냐가 중요한 것이 아니라, 더 나은 모델이 나타났을 때 힘들지 않게 교체할 수 있는 기술 기반을 구축하는 것이 핵심”이라고 설명했다.

이전 세대의 엔지니어가 하드웨어 변화나 장기 제품 주기에 적응했다면, AI 엔지니어는 끊임없이 이동하는 경계에 적응해야 한다. 모델 API, 컨텍스트 창, 추론 비용, 성능 기준 등이 한 달 사이에도 바뀔 수 있다. 이 시대의 과제는 특정 도구를 배우는 것이 아니라, 지속적인 혼란을 흡수할 수 있는 프로세스를 구축하는 것이다.

글로벌 인재 마켓플레이스 플랫폼 안델라(Andela)의 CPO 바룬 싱은 이것이 “이 시대를 규정할 가장 중요한 역량”이라고 말했다. 싱은 필자와의 인터뷰에서 “지식 노동 전반이 급격한 변화를 겪고 있지만, 그중에서도 소프트웨어 엔지니어링이 가장 먼저, 그리고 가장 크게 변하고 있다. AI 도구는 사람의 이해 속도를 가속화할 수도 있지만, 동시에 생산성이 향상된 것 같은 착각과 함께 거대한 기술 부채를 남길 수도 있다”라고 설명했다.

싱은 적응력을 기술적 능력이자 인지적 역량으로 봤다. 싱은 “높은 수준의 관점과 세부적인 실행 단계를 동시에 사고할 수 있을수록 더 성숙한 엔지니어다. 전통적인 시스템 아키텍처를 깊이 이해하면서 실제 서비스 환경에서 LLM을 다뤄본 경험을 가진 사람. 지금 그런 인재가 가장 구하기 어렵다”라고 말했다.

또한 “AI 시대의 전문가에게 중요한 것은 경계를 설정하는 일”이라며 “테스트를 통해 오류를 운영 단계 이전에 잡아내는 것처럼, 스스로의 업무에 안전한 한계를 두는 능력이 그 어느 때보다 중요해졌다”라고 강조했다.

이런 맥락에서 싱이 말하는 적응력은 새로운 기술을 무조건적으로 좇는 태도가 아니라, 변화를 안전하게 수용하고 통제할 수 있는 전문적 사고방식을 의미한다.

컴플라이언스 담당자에 준하는 위험 완화 역량

AI 엔지니어링의 세 번째 핵심 역량은 위험 완화(de-risking)다. 이제 엔지니어는 단순한 개발자가 아니라 컴플라이언스 담당자처럼 사고해야 한다. 데이터 소스, 모델, 파이프라인이 규제 기관이나 외부의 검증을 견딜 수 있도록 설계하고 관리해야 하기 때문이다.

법률 자문 전문 로펌 윌슨 손시니(Wilson Sonsini)의 법률 고문 미셸 리는 필자와의 인터뷰에서 “이제 엔지니어는 이런 문제를 스스로 책임지고 다뤄야 한다. 엔지니어는 데이터 관련 고려사항과 아키텍처 설계에 훨씬 더 가까이 있기 때문이다. 전 세계 규제 기관이 이미 ‘AI 시스템이 피해를 초래했을 때 누가 책임을 지는가’라는 질문을 던지고 있다. 학습 데이터와 모델의 작동 방식에 대한 투명성이 더 이상 선택이 아닌, 엔지니어링의 필수 요건이 되고 있다”라고 말했다.

지난 10월 미국 샌프란시스코에서 열린 AI 컨퍼런스 2025(AI Conference 2025)에서 뉴데이터(Neudata)의 데이터 수익화 컨설턴트 제시카 리 게버트는 이 문제를 “위험이자 동시에 기회”라고 언급했다.

게버트는 기업 데이터가 “잠재적 가치를 품은 보물창고”라고 표현하면서도, 많은 기업이 데이터의 가치를 ‘인지’하는 단계에서 ‘실현’하는 단계로 어떻게 넘어가야 하는지 전혀 감을 잡지 못하고 있다고 지적했다. 게버트는 “데이터에 가치가 있다고 믿는 것과, 그 가치를 안전하게 실현하는 방법을 이해하는 것 사이에는 커다란 지식 격차가 존재한다”라고 말했다.

게버트는 이 간극을 메우는 핵심 역할을 맡게 될 이들이 바로 데이터 거버넌스와 데이터 계보 관리 체계를 구축할 수 있는 엔지니어라고 강조했다.

뉴데이터 기업 솔루션 담당 부사장 마이클 하이트마넥은 “여전히 대부분의 기업은 AI 개발자와 데이터를 공유하는 행위 자체를 ‘감당할 수 없는 위험’으로 본다. 데이터 시스템과 위험 관리 양쪽에 모두 정통한 엔지니어가 앞으로 AI 도입의 핵심 인력이 될 것”이라고 강조했다.

모델이 할 수 없는 것을 설계하는 AI 엔지니어

지난 20여 년 동안 기업은 소프트웨어 개발 환경의 효율성을 높이는 데 경쟁해 왔다. CI 파이프라인, 클라우드 플랫폼, 협업 워크플로우 등은 코드를 더 쉽게 테스트하고 재현하며, 관찰 가능하게 만드는 기반이 됐다. 이제 이 경쟁의 다음 단계는 소프트웨어 개발에 적용됐던 것과 같은 수준의 정교함과 체계성을 AI 시스템에 구현하는 데 달려 있다.

평가 루프, 모델 레지스트리, 거버넌스 프레임워크를 구축하는 엔지니어는 단순히 혁신의 속도를 따라잡는 것이 아니다. 그들은 지능이 어떻게 기업의 애플리케이션과 워크플로우에 통합될지 그 방식을 새롭게 정의하고 있다. CI가 소프트웨어 개발에 신뢰성, 예측 가능성, 보안성을 가져왔듯이 이런 새로운 시스템은 AI 모델의 동작을 측정 가능하고 개선 가능하며, 책임을 물을 수 있는 형태로 만드는 역할을 할 전망이다.
dl-itworldkorea@foundryco.com