대규모 언어 모델(LLM)이 새로운 작업에 맞춰 미세조정될 경우 기존 역량을 잃는 경향을 보인다. 새로운 자기 증류 접근법은 성능 회귀를 줄이고 모델 관리 단순화를 목표로 한다.

새로운 미세조정 기법은 기업 환경에서 반복적인 모델 업데이트를 복잡하게 만드는 한계인 ‘치명적 망각’을 해결하는 것을 목표로 한다.

MIT, 임프로버블 AI 랩, 취리히연방공대 연구진은 모델이 새로운 작업을 학습하면서도 기존에 습득한 역량을 유지하도록 설계된 미세조정 방법을 공개했다.

기존 역량 저하를 방지하기 위해 많은 기업이 새로운 작업을 별도의 미세조정 모델이나 어댑터로 분리해 운영한다. 그러나 이런 분산 구조는 비용을 증가시키고 거버넌스 복잡성을 높이며, 성능 회귀를 방지하기 위해 팀이 모델을 지속적으로 재검증해야 하는 부담을 주기 쉽다.

새 기법은 자기 증류 미세조정(self-distillation fine-tuning, SDFT)이라 불리며, 이런 상충 관계를 해결하도록 설계됐다.

연구진은 SDFT가 “시연 조건 모델을 자체 교사로 활용해 문맥 내 학습을 활용하며, 기존 역량을 유지하면서 새로운 역량을 습득하도록 온정책 학습 신호를 생성한다”라고 설명했다.

또한 지도 미세조정(SFT) 대비 역량 학습과 지식 습득 작업 전반에서 일관되게 우수한 성능을 보였으며, 신규 작업 정확도를 높이면서도 치명적 망각을 크게 줄였다고 밝혔다.

실험 결과, 해당 기법은 모델이 이전 작업 성능을 유지하면서 새로운 역량을 순차적으로 축적할 수 있도록 지원하는 것으로 나타났다. 이런 특성은 기업이 운영 모델을 시간 경과에 따라 업데이트하고 특화하는 방식을 단순화할 수 있는 가능성을 제시한다.

급증하는 파운데이션 모델 발전에도 불구하고, 대다수 기업 AI 시스템은 배포 이후 정적인 상태로 유지된다. 프롬프트 조정이나 검색 기반 기법으로 추론 단계에서 동작을 조정할 수는 있지만, 모델 파라미터 자체가 새로운 역량이나 지식을 내재화하도록 변경되지는 않는다.

그 결과, 새로운 미세조정 주기마다 신규 작업에서의 성능 향상이 이전 작업 성능 저하로 이어지는 치명적 망각 위험이 발생한다.

연구진은 “차세대 파운데이션 모델을 구현하기 위해서는 연속 학습 문제를 해결해야 한다”며 “인간이 평생에 걸쳐 지식을 축적하고 역량을 정교화하듯, AI 시스템이 시간에 따라 지속적으로 학습하고 개선될 수 있어야 한다”라고 밝혔다.

강화 학습은 모델 자체 정책으로 생성된 데이터를 활용해 학습하는 방법을 제공하며, 망각을 줄이는 효과가 있다. 그러나 강화 학습은 일반적으로 명시적 보상 함수를 필요로 하며, 모든 상황에서 이를 정의하기는 쉽지 않다.

SDFT는 다른 대안을 제시한다. 보상 함수를 추론하는 대신, 문맥 내 학습 능력을 활용해 시연 데이터로부터 온정책 학습 신호를 생성한다.

학습 과정에서 동일한 모델이 두 역할을 수행한다. 교사 버전은 질의와 전문가 예시에 모두 조건화되며, 학생 버전은 실제 배포 환경을 반영해 질의만을 입력받는다. 학생 모델은 자체 생성 출력에 대해 교사 예측과 정렬되도록 파라미터를 업데이트한다.

연구진은 “순차 학습 실험에서 SDFT는 단일 모델이 시간에 따라 여러 역량을 축적하면서도 성능 회귀 없이 유지되도록 했으며, 시연 기반 연속 학습을 위한 실용적 경로로 온정책 증류를 확립했다”라고 설명했다.

옴디아 수석 애널리스트 리안 지에 수는 SDFT는 별도의 어댑터나 미세조정 변형을 관리하는 이른바 ‘모델 동물원’ 운영 필요성을 제거한다는 점에서 현실적인 기법으로 보인다고 평가했다.

그러나 상용 배포로 이어질지는 아직 미지수다. 아직 남은 과제가 있기 때문이다.

예를 들어 SDFT는 기존 SFT 대비 상당히 긴 학습 시간과 약 2.5배의 연산 자원을 요구한다. 또한 강력한 문맥 내 학습 능력을 갖춘 충분히 우수한 기반 모델에 의존한다.

그레이하운드 리서치 수석 애널리스트 산치트 비르 고기아는 SDFT가 성능 회귀 검증 인프라 필요성을 제거하지는 않는다고 지적했다. 모델이 자체 생성 롤아웃에서 학습하기 때문에 기업은 엄격한 버전 관리와 산출물 로그 기록을 통해 재현성을 확보해야 한다는 설명이다.

고기아는 “통합은 모델 수에서 발생하던 운영 복잡성을 거버넌스 깊이로 전환한다”라고 분석했다.

리안 지에 수는 핵심 맥락에 대한 치명적 망각과 강화 학습의 복잡한 보상 함수 설계를 피할 수 있다는 점에서 비용을 상쇄할 수 있다고 평가했다. 다만 기업 현장 도입까지는 시간이 필요할 것으로 보인다. 기술 시장조사·컨설팅 업체 테카크 설립자 파이살 카우사는 SDFT가 금융이나 의료 의사결정처럼 규제가 엄격한 영역보다 ‘자가 학습 오류’ 위험이 상대적으로 낮은 내부 개발자 도구나 범용 어시스턴트에서 먼저 실험될 가능성이 크다고 말했다.
dl-itworldkorea@foundryco.com