며칠 전, 필자는 한 업체로부터 받은 초대장을 쳐다보고 있었다. 업체는 자사의 “획기적인” LLM을 소개하고 싶어 했다. 아이러니한 것은 불과 몇 주 전, 이 업체가 자사의 환경 관련 이니셔티브와 인상적인 환경, 사회, 거버넌스 점수를 자랑스럽게 소개했다는 것이다. 그런데 오늘, 이미 포화 상태에 이른 시장에 막대한 자원을 소모하는 또 하나의 AI 모델을 출시한다는 것이다.

컨퍼런스 콜에 참여하자 익숙한 열정이 필자의 화면 위로 쏟아져 나왔다. 혁신적인 기능, 최첨단 성능, 경쟁 우위 등등. 그러나 필자가 생각할 수 있는 것은 어딘가에 있는 거대한 데이터센터, 수천 개의 GPU가 윙윙거리며 돌아가고, 기존 기술의 또 다른 변형에 불과한 것을 훈련하기 위해 메가와트의 전력을 소비하는 데이터센터뿐이었다.

이 대목에서 궁금해지지 않을 수 없다. 이 업체는 지속 가능성에 대한 약속과 야심 찬 AI를 탄소 배출량 관점에서 어떻게 조화시킬 수 있을까? 그것은 마치 누군가가 나무를 심는 것을 보면서 동시에 숲을 불태우는 것과 같은 느낌이었다.

전 세계가 LLM의 폭발적인 증가를 목도하고 있다. 이미 수백 개의 LLM이 존재한다. GPT-4, PaLM과 같은 거대 기업의 독점 LLM부터 라마나 팔콘 같은 오픈소스 대안까지 다양하다. 오픈소스 접근성과 기업 투자가 이런 붐을 일으켰고, 모든 기업이 자체 버전의 AI 마법을 원하는 혼잡한 생태계를 만들어 냈다. 하지만 이런 성장이 엄청난 비용을 수반한다는 사실을 아는 사람은 거의 없는 것 같다.

이런 AI 모델에 대한 접근이 대부분 사용자에게 열려있다. GPT-4와 같은 일부 프리미엄 모델은 접근을 제한하지만, 많은 강력한 대안이 무료이거나 최소한의 비용으로 제공된다. 오픈소스 운동은 이런 추세를 더욱 가속화시켰다. 라마, 미스트랄, 그리고 수많은 AI 모델을 누구나 자유롭게 다운로드, 수정, 배포할 수 있다.

환경 및 경제적 영향

LLM의 수를 보여주는 그래프를 보면, 자원이 한정된 상황에서 그 영향이 어떨지 생각해 볼 수밖에 없다. 모델 학습만으로도 주력 모델의 경우 최대 500만 달러의 비용이 들며, 운영비는 매달 수백만 달러에 달한다.

많은 기업이 아직 AI가 환경에 미치는 엄청난 영향을 깨닫지 못하고 있다. LLM 하나를 학습하는 데는 엄청난 컴퓨팅 자원이 필요하다. 이는 1년 동안 수천 가구에 전력을 공급하는 것과 맞먹는 규모다. 단 하나의 주요 모델을 훈련하는 데 필요한 탄소 발자국은 전통적인 전력망을 사용할 때 40대의 자동차가 1년 동안 배출하는 양과 맞먹는 약 200톤의 이산화탄소에 해당한다. 추론은 학습만큼 자원을 많이 사용하지는 않지만, 사용량이 증가하면서 연간 수백만 달러의 비용과 기가와트급 데이터센터에서 맞먹는 전력을 소비한다.

현재 운영 규모를 고려하면 이 수치는 더욱 심각해진다. 최신 LLM은 훈련을 위해 수천억 개의 매개변수를 필요로 한다. GPT-3는 1,750억 개, BLOOM은 1,760억 개, 구글의 PaLM은 5,000억 개의 매개변수를 사용한다. 각 모델은 훈련을 위해 수십만 시간의 GPU 시간이 필요하고 엄청난 양의 전력을 소비하며, 전문 하드웨어 인프라가 필요하다.

연산 요구량은 전력 소비와 하드웨어의 탄소 발자국으로 인한 환경 영향으로 직결된다. 모델 학습을 위한 시설의 위치도 상당한 영향을 미친다. 화석 연료에 의존하는 지역에서 훈련된 모델은 재생 가능한 전력원에 의해 구동되는 모델보다 최대 50배 더 많은 탄소를 배출할 수 있다.

미미한 차이와 너무 많은 중복

어느 정도의 경쟁과 병행 발전은 혁신을 위한 건강한 요소이지만, 현재 상황은 점점 더 낭비적인 경쟁으로 보인다. 여러 업체가 유사한 기능을 구축하고 있으며, 각 기업은 막대한 탄소 발자국을 남기고 있다. 많은 모델이 표준 벤치마크와 실제 작업에서 유사하게 수행될 때 이런 중복성은 특히 문제가 된다.

LLM 간의 기능 차이는 미묘하다. 대부분은 언어 생성, 요약, 코딩과 같은 유사한 작업에서 탁월하다. GPT-4나 클로드 같은 일부 모델은 벤치마크에서 다른 모델보다 약간 더 우수한 성능을 보일 수 있지만, 그 격차는 일반적으로 혁신적인 수준이라기보다는 점진적인 수준이다.

대다수 LLM은 공개적으로 이용 가능한 인터넷 콘텐츠를 포함한 중복 데이터 세트로 학습한다. 이런 공유된 기초는 모델이 동일한 사실 데이터, 언어적 패턴, 편향성을 흡수함에 따라 지식과 기능의 유사성을 초래한다. 독점적인 데이터 세트의 미세 조정이나 약간의 구조적 조정으로 인해 차이가 발생하지만, 핵심적인 일반 지식은 모델 전반에 걸쳐 매우 중복적이다.

결과적으로, 이들 모델의 산출물은 종종 동일한 정보 프레임워크를 반영해 자주 액세스되는 지식의 경우 최소한의 차이만 생긴다. 이런 중복성은 다음과 같은 질문을 제기한다. 비슷하게 훈련된 LLM이 이렇게 많이 필요한가? 더욱이, 한 LLM 버전에서 다음 버전으로의 개선은 기껏해야 미미한 수준이다. 모든 데이터가 이미 훈련에 활용됐고 새로운 데이터를 유기적으로 생성하는 우리의 능력은 큰 개선을 가져오지 못한다.

이제 속도를 조절해야 할 때

LLM 개발에 좀 더 조화로운 접근 방식을 취한다면, 혁신을 유지하면서 환경에 미치는 영향을 크게 줄일 수 있다. 각 기업이 처음부터 구축하는 대신, 자원을 공유하고 기존의 오픈소스 모델을 기반으로 구축함으로써 훨씬 적은 환경적, 경제적 비용으로 유사한 역량을 달성할 수 있다.

몇 가지 잠재적인 해결책이 있다.

• 기업이 기초로 사용할 수 있는 표준화된 모델 아키텍처를 만든다.
• 재생 에너지를 기반으로 하는 공유 교육 인프라를 구축한다.
• 더 적은 컴퓨팅 자원을 필요로 하는 더 효율적인 교육 방법을 개발한다.
• 새로운 모델을 개발하기 전에 탄소 영향 평가를 실시한다.

필자는 매일 LLM을 사용한다. 기사 작성을 위한 조사에 매우 유용하다. 필자의 요점은 LLM이 너무 많고, 대부분 같은 일을 한다는 것이다. 우리는 언제쯤 더 나은 방법을 찾을 수 있을까?
dl-itworldkorea@foundryco.com