생성형 AI를 소프트웨어 개발에 사용할 수 있다고 해서 꼭 사용해야 하는 것은 아니다. 대규모 언어 모델(LLM) 기반의 AI 코딩 도우미는 일부 상황에서는 생산성 향상을 이끌지만, 다른 상황에서는 디버깅 악몽이 되기도 한다. 그렇다면 AI를 어디까지 믿고 맡길 수 있을까?

레이어드 시스템(Layered System)에서 API 전략을 담당하는 케빈 스와이버는 “AI 코딩 도우미를 언제, 어떻게 신뢰할 수 있을지 아는 것은 중요한 기술이며, 기술이 발전함에 따라 그 기준도 날마다 변하고 있다”라고 말했다.

스택 오버플로우가 발표한 2024년 개발자 설문조사에 따르면, 전체 전문 개발자의 63%가 현재 개발 프로세스에 AI를 활용하고 있다. AI 코딩 도우미는 보일러플레이트 코드, 단순 함수, 문서화, 디버깅 등 반복적이고 일상적인 작업에서 엄청난 시간을 절약한다.

하지만 AI가 생성한 코드의 품질에 대한 우려는 여전하며, 너무 과도하게 의존하면 기술 부채를 가중시킬 수 있다. 전문가는 완전히 새로운 프로젝트, 복잡한 아키텍처 설계, 긴 개발 주기, 코드 재사용이 많은 경우에는 AI 사용이 적절하지 않다고 말한다.

요약하자면, AI는 상황에 따라 성능이 달라진다. ‘바이브 코딩’을 한다고 해도 인간의 감독은 여전히 필요하다. 다음은 AI가 유용하게 쓰일 수 있는 상황과 그렇지 않은 경우, 그리고 소프트웨어 엔지니어링 책임자가 참고할 수 있는 몇 가지 조언이다.

AI 코딩 도우미가 빛을 발하는 영역

스와이버는 “AI는 복잡도가 낮고 목표가 명확하게 정의돼 있으며 널리 사용되는 라이브러리를 활용하는 상황에서 새로운 코드를 생성하는 데 특히 뛰어나다”라고 말했다.

허니콤(Honeycomb) CTO 채리티 메이저스는 “웹 개발, 모바일 개발, 그리고 비교적 단순한 백엔드 개발 같은 흔한 패턴의 작업일수록 AI 모델이 더 잘 작동한다”라고 덧붙였다. 온라인에 예시가 많을수록 AI의 성능도 올라간다.

빠른 피드백 사이클도 AI 활용에 긍정적인 영향을 준다. 메이저스는 “프론트엔드 개발이나 단위 테스트 작성처럼 피드백이 빠르게 오는 작업이 특히 잘 맞는다. 반면, 백엔드 코드를 배포하는 데 2시간이 걸리는 경우에는 어려움이 따른다”라고 설명했다.

소나(Sonar) 최고 성장 책임자 해리 왕은 “마이크로서비스 스캐폴딩, REST API 생성, 새로운 아이디어 프로토타입 제작처럼 잘 정의된 프로그래밍 작업에 AI가 강하다”라고 말했다.

왕은 “AI 코딩 도우미는 반복적인 작업을 대신해 보일러플레이트 코드, 코드 스니펫, 함수, 클래스 등을 제안함으로써 신속한 프로토타이핑과 실험적 설계를 돕는다. 초기 아이디어를 코드로 빠르게 구체화할 수 있다”라고 강조했다.

실제 코딩 외의 실무에도 AI는 유용하다. 콕로치랩스(Cockroach Labs)의 엔지니어는 디자인 스캐폴딩, 테스트 수정, 관찰 가능성 데이터 정리, 블로그 작성 등에 AI를 활용한다. CEO 스펜서 킴볼은 전체 AI 활용 중 70%가 직접적인 코딩이 아닌 작업에 쓰이고 있으며, 이를 통해 개발자가 더 많은 시간을 코드 작성에 집중할 수 있다고 말했다.

AI 코딩 도우미의 한계

AI가 잘 작동하지 않는 상황도 있다. 목표가 불분명하거나, 단순한 함수 수준을 넘어서는 복잡한 작업, 대규모 리팩토링, 완전히 새로운 프로젝트 등에서는 AI 도구가 제대로 작동하지 않을 수 있다.

스와이버는 “AI가 스스로 하도록 맡기면 코드 손실, 시간 낭비, 예산 초과가 발생할 수 있다”라고 경고했다. 이러한 위험은 코드 검토를 소홀히 하거나 버전 관리를 제대로 하지 않을 때 더욱 커진다.

메이저스 역시 “AI는 기존 코드베이스를 수정하거나 확장하는 데보다 새로운 코드를 작성하는 데 훨씬 강하다”라고 말했다. 단, 해당 작업에 맞춰 학습된 LLM이라면 예외가 있다고 덧붙였다.

AI가 개발 속도를 높여주는 것은 사실이지만, 그 결과물을 검토하고 검증해야 하는 새로운 부담이 생긴다. 왕은 “AI가 생성한 코드의 문제를 디버깅하고 수정하는 데 드는 시간과 노력이 오히려 처음부터 직접 작성하는 것보다 더 클 수 있다”라고 지적했다.

특히 프롬프트가 불명확하거나 코드베이스가 크고 복잡할 경우, AI는 맥락을 잘못 이해해 보안이나 품질 문제가 발생할 수 있다. 변환기 기반 모델은 토큰 윈도우의 한계로 인해 프로젝트 전체 맥락을 제대로 파악하지 못할 수 있다.

왕은 AI가 문법적으로는 맞지만 논리 오류나 미묘한 버그를 포함한 코드를 생성하는 사례를 봤다고 말했다. AI의 출력 과정이 ‘블랙박스’ 형태이기 때문에, 거버넌스가 엄격하게 요구되는 엔터프라이즈 환경에서는 더욱 위험할 수 있다는 것이다.

왕은 “초기 단계 프로젝트는 AI의 유연성을 활용할 수 있지만, 성숙한 코드베이스에서는 맥락 손실과 통합 충돌 위험이 있어 더욱 신중해야 한다”라고 강조했다. 이는 AI가 해당 작업에 필요한 정확한 맥락이나 데이터를 충분히 확보하지 못한 데서 기인한다.

콕로치랩스의 킴볼도 “AI 코딩 도구가 개선되고 있지만, 콕로치의 방대한 코드베이스는 여전히 AI에겐 어려운 대상”이라고 평가했다. 여기에 더해 킴볼은 “전체 맥락을 모두 불러오기보다는, 현재 보고 있는 파일과 관련된 인터페이스로 범위를 좁혀야 생산성을 유지할 수 있다”라고 조언했다. 시스템의 일부를 추상화해 작은 범위 내에서 반복적으로 작업하는 접근이 복잡한 시스템에서도 유용하다는 설명이다.

엔지니어링 책임자가 알아야 할 것

킴볼은 “AI는 전기화나 전산화 수준의 패러다임 전환이다. CEO로서 직접 써보니 생산성 향상의 가능성을 실감할 수 있다”라고 말했다. 최근 콕로치에서는 API를 감싼 MCP(Model Context Protocol) 서버를 통해 바이브 코딩 실험을 진행했다.

킴볼은 생산성이 30% 향상되면 30명을 새로 고용한 것과 같은 효과를 낸다며, 단기적인 AI 지출은 걱정할 필요가 없다고 말했다. 또한 “AI 기술을 활용하는 방법을 고민하는 것이 더 중요하다. 5,000명짜리 회사보다 500명짜리 회사가 더 낫다”라고 주장했다.

DX의 최근 연구에 따르면, 중간 규모 기업이 다른 규모의 기업보다 엔지니어당 수익이 가장 높았다는 점도 이를 뒷받침한다.

최근 쇼피파이(Shopify) CEO가 AI 전면 도입을 선언한 후, 유사한 방침이 다른 기업에서도 이어질 것으로 보인다. 그러나 AI에 대한 기대가 커지는 만큼, 기업 책임자는 AI 기술의 한계를 이해하고 명확한 경계를 설정해야 한다.

스와이버는 “AI를 아무 통제 없이 방치하면 테스트 실패의 무한 루프에 빠지기도 한다. AI 도구가 하는 작업을 반드시 모니터링해야 한다”라고 강조했다.

아직 공식 승인이나 라이선스를 받지 않은 상태에서도 이미 많은 개발자가 AI 도구를 사용하고 있다. 블루옵티마(BlueOptima)의 2024년 보고서에 따르면, 생성형 AI를 사용하는 개발자의 64%는 공식 승인을 받기 전에 사용을 시작했다.

따라서 개발자와 리더 모두 AI 코딩 도우미의 장단점을 이해해야 한다. 그 후 이해를 바탕으로 도입 전략을 세우는 것이 필수다.

지금이 AI 품질이 가장 낮은 시점

AI 기술은 빠르게 발전하고 있으며, 관련 논의가 불과 몇 주 만에 무의미해질 수 있다. 메이저스는 “AI 코딩 도우미는 너무 빠르게 변하고 있어서 지금 하는 어떤 말도 유통기한이 짧을 것”이라고 말했다.

미래의 AI 기능은 예측하기 어렵지만, 점점 더 많은 개발자가 일상 업무와 장기적인 목표에서 AI의 역할에 기대를 걸고 있다. 세일즈포스의 최신 IT 보고서에 따르면, 전체 개발자의 92%가 에이전트형 AI가 자신의 커리어를 발전시킬 것이라고 예상하고 있다.

킴볼은 에이전트형 AI가 수많은 기회를 열어주는 동시에 새로운 위협 벡터도 만들 것이라고 전망했다. “앞으로 수십억, 수백억, 어쩌면 조 단위의 AI 에이전트가 API를 호출하게 될 것”이라는 설명이다.

기업 수준에서는 데이터 주권 문제도 점차 중요해지고 있다. 지역별 데이터 규제가 증가하고 있는 가운데, 에이전트형 AI는 데이터 접근의 진입 장벽을 낮출 것으로 보인다. 궁극적으로 데이터 제공자는 이러한 규제를 만족시키고 데이터를 안전하게 보호하는 법을 배워야 할 것이다.

AI 모델이 한 번에 고려할 수 있는 텍스트 양인 ‘컨텍스트 윈도우’는 현재 LLM의 한계 중 하나다. 하지만 이 역시 지속적으로 확장되고 있다. 컨텍스트 윈도우가 수백만, 수억 토큰 수준까지 늘어나면 대규모 코드베이스 관련 문제는 대부분 해소될 수 있다.

지금도 LLM을 코딩 작업에 활용하는 데 있어 다양한 문제가 발생하지만, AI 도구를 언제 어떻게 써야 할지에 대한 통찰력을 갖추면 그 효과를 극대화할 수 있다. 킴볼의 말처럼, AI는 점점 더 나아지고 있으며 지금이 가장 낮은 품질의 상태일 뿐이다.
dl-itworldkorea@foundryco.com