챗GPT가 2022년 말 등장한 이후, 대형 언어 모델(large language model, LLM)은 생성형 AI의 가능성을 지속적으로 확장해왔다. 예를 들어, GPT-3.5는 상식 추론 데이터셋에서 85.5%의 정확도를 기록했으며, 2023년에 출시된 GPT-4는 같은 데이터셋에서 95%의 정확도를 달성했다. GPT-3.5와 GPT-4가 주로 텍스트 처리에 중점을 둔 반면, 2024년 5월에 공개된 GPT-4o는 멀티모달 모델로, 텍스트뿐 아니라 이미지, 오디오, 비디오까지 다룬다.

그러나 GPT 모델군과 다른 오픈소스 LLM의 발전에도 불구하고 가트너는 2024년 AI 하이프 사이클 보고서에서 “생성형 AI가 과장된 기대의 정점을 지났지만, 여전히 과대평가되고 있다”라고 지적했다. 실망감의 주요 원인은 GPT 모델군의 높은 비용, 데이터 관련 프라이버시 및 보안 문제, 그리고 모델의 투명성 문제 때문이다. 이런 문제에 대한 대안으로 SLM이 주목받고 있다.

SLM은 훈련하기 더 쉽고 비용도 적게 든다. 또한 온프레미스 환경에서 운영할 수 있어 데이터 관리와 보안 측면에서 유리하다. 다만 SLM은 LLM보다 정확도가 낮다는 단점이 있다. 기업은 SLM의 장점을 활용하고 약점을 보완하기 위해 도메인 특화 소형 모델을 찾고 있다. 이들 모델은 특정한 사용례에 대해서는 높은 정확도를 제공할 수 있다. 사전 학습된 모델을 특정 도메인 데이터로 파인튜닝하거나 프롬프트 엔지니어링을 활용해 성능을 끌어올린 것이 도메인 특화 SLM이다.

다음은 SLM이 특히 유용하게 활용되는 5가지 사례와 각 사례에 적합한 모델이다.

PII 마스킹

기업에서 가장 중요한 문제 중 하나는 데이터를 LLM에 사용할 때 개인 식별 정보(personally identifiable information, PII)가 노출될 가능성이다. 예를 들어, 고객의 사회보장번호나 신용카드 번호가 이에 해당한다. 따라서 PII 데이터를 마스킹하는 솔루션을 구축하는 것은 매우 중요하다. 또한 동일한 SSN이 일관되게 마스킹되도록 데이터 계보 유지도 핵심 요구사항이다.

파이-3와 글라이너(Gliner) 모델이 PII 마스킹에서 좋은 성능을 보이지만, 현시점에서 가장 우수한 성능을 보이는 모델은 라마-3.1-8B다.

독성 콘텐츠 감지

이 사용례는 텍스트에서 혐오 발언이나 욕설과 같은 독성 콘텐츠를 감지하는 것이다. 고객 서비스와 같은 상호작용에서 언어 모델을 채택하는 기업이 늘어나는 만큼, 모델의 응답에 독성 콘텐츠가 포함되지 않도록 하는 것이 중요하다. 이 작업에는 RoBERTa 모델이 가장 적합하다.

코딩 지원

코딩 지원은 생성형 AI의 첫 사용례 중 하나다. 현재 코딩 지원 도구는 기업 전반에 걸쳐 많은 개발자가 채택했다. 마이크로소프트는 깃허브 코파일럿(GitHub Copilot) 사용자 70%의 생산성이 향상됐다고 주장한다. 코드 라마(Code Llama)와 코드젬마(CodeGemma)와 같은 모델은 GPT-4와 같은 LLM에 대한 훌륭한 대안으로 평가된다.

의료 데이터 요약

의료 데이터 요약 및 이해는 의료 분야에서 중요한 특화 사례다. 해당 분야에 특화된 의학 용어를 사용하도록 훈련된 모델이 사용된다. 예를 들어, 환자와 의사 간의 대화나 의료 영업 담당자와 의사 간의 대화를 요약하는 작업이 대표적이다. 이런 대화에서는 특수한 의료 용어가 사용되기 때문에 SLM이 더 효과적이다. 이 작업에는 T5 모델이 강력한 후보로 꼽힌다.

대규모 송장 처리

기업의 조달 부서에서 대규모 송장을 처리하는 일은 매우 중요하다. 수천 가지의 서로 다른 송장 구조 때문에 송장에서 정볼르 자동으로 추출하는 것은 결코 단순한 작업이 아니다. 이 작업을 위한 모델로는 파이-3-비전이 가장 적합하다.

LLM은 강력하고 정확하지만, 비용이 높고 데이터 프라이버시 및 보안 문제가 큰 고민거리가 된다. SLM은 성능, 비용, 보안의 균형을 맞추는 데 도움이 되며, 프로덕션 단계까지 걸리는 시간을 줄일 수 있다. 언급된 5가지 사례는 SLM이 특정 도메인 요구사항을 충족하면서 대형 모델의 한계를 극복하는 몇 가지 방법 중 일부에 불과하다.

*Aravind Chandramouli는 Tredence의 AI 엑설런트 센터 책임자다.
dl-itworldkorea@foundryco.com