요즘 회의에서 가장 중요한 참석자는 사람이 아니다. 회의록 요약 기능을 제공하는 AI(AI notetaker)다.

AI 회의록 요약 시스템은 발언의 중요도를 평가하고, 발언 내용을 기반으로 각 참석자에게 실행 과제를 할당한다. 나중에 회의 내용을 다시 검토해야 할 경우, AI가 생성한 요약문은 객관적 증거로 간주된다.

하지만 영리한 회의 참석자는 이 시스템의 작동 원리를 이용해 기록을 자신에게 유리하게 조작할 수도 있다. 즉, 동료에게 말하기보다 AI가 요약 과정에서 중요하게 인식하는 표현이나 구조에 맞춰 발언함으로써, 자신이 원하는 내용이 회의 요약문에 포함되도록 유도하는 것이다. 이런 참석자는 AI 요약에 잘 포착되는 언어를 사용하고 발언 시점을 전략적으로 조정하며, 핵심 문장을 반복하거나 AI가 잘 인식하는 일정한 문장 패턴을 활용하는 경향을 보인다. 이른바 ‘AI 요약 최적화(AI Summarization Optimization, AISO)’의 세계다.

알고리즘 조작을 겨냥한 최적화

AI 요약 최적화(AISO)에는 이미 잘 알려진 선행 모델이 있다. 바로 검색엔진최적화(SEO)다.

검색엔진최적화(SEO)는 인터넷의 역사만큼 오래됐다. 개념은 단순하다. 검색엔진은 인터넷상의 수많은 웹페이지를 탐색하며 사용자의 모든 검색어(query)에 대해 최적의 결과를 제공하고자 한다. 콘텐츠 제작자나 기업, 단체의 목표는 검색엔진이 개발한 알고리즘에 맞춰 자사 웹페이지가 더 높은 순위에 오르도록 ‘최적화’하는 것이다.

이를 위해 작성자는 두 가지 독자를 동시에 고려해야 한다. 하나는 실제 사람 독자, 다른 하나는 웹페이지를 색인(indexing)하는 검색엔진 크롤러다. 이 작업을 효과적으로 수행하는 기법이 일종의 영업 비밀처럼 공유되고 있으며, 현재 약 750억 달러 규모의 글로벌 SEO 산업이 이런 서비스를 제공한다.

최근 연구자들은 AI의 응답을 조작하거나 유도하기 위한 다양한 기법을 보고하고 있다. 대표적인 예로는 대형언어모델최적화(Large Language Model Optimization, LLMO)와 생성엔진최적화(Generative Engine Optimization, GEO)가 있다.

이런 기법에는 인용문이나 통계자료를 추가해 콘텐츠를 최적화하는 방식과, 특수하게 구성된 문장 패턴을 사용하는 적대적(adversarial) 접근법이 포함되며, 주로 LLM이 자주 참조하는 출처, 예를 들면 레딧을 겨냥한다(실제로 AI가 생성한 응답의 약 40%가 레딧 데이터를 인용한다는 분석이 있다). 다만 이러한 방법은 아직까지 실효성과 현실 적용 가능성이 제한적이며, 주로 실험 단계에 머물러 있다. 그럼에도 러시아 등 일부 국가는 이미 이러한 기술을 적극적으로 연구·활용 중이라는 뚜렷한 정황이 포착되고 있다.

AI 요약 최적화(AISO)는 같은 논리를 더 작은 규모에서 적용한 것이다. 회의에 참여한 사람들은 특정 사실이 회의록에서 강조되거나, 자신의 의견이 공식적 입장으로 반영되길 원할 수 있다. 이들은 동료를 직접 설득하기보다, 이후 공식 요약문을 작성할 AI 회의록 시스템에 맞춰 발언을 조정한다. 예를 들면 다음과 같은 표현이 있다.

• “지난 분기 지연의 주요 원인은 공급망 차질이었다.”
• “핵심 성과는 압도적으로 긍정적인 고객 피드백이었다.”
• “이번 논의에서의 우리의 결론은 앞으로의 방향성에서 의견이 일치한다는 것이다.”
• “여기서 중요한 것은 일시적인 비용 초과가 아니라 효율성 향상이다.”

이런 기술은 매우 은밀하고 정교하다. 참석자들은 ‘핵심 요점(key takeaway)’, ‘실행 항목(action item)’처럼 AI가 중요하게 인식하는 표현을 활용하고 문장을 짧고 명확하게 유지하며, 필요할 경우 반복한다. 또한 ‘이것이 중요하지, 저것이 아니다(this, not that)’와 같은 대비 구조를 사용하고, 회의가 시작되거나 주제가 바뀌는 타이밍에 맞춰 발언한다.

발언이 전사되면, 그 내용은 AI 모델의 입력값으로 들어간다. 이때 특정 표현은 물론, 전사 과정에서 생긴 작은 오류조차도 요약에 포함될 내용을 좌우할 수 있다. 또한 여러 회의 요약 도구는 ‘핵심 요약’이나 ‘실행 항목’ 같은 섹션을 자동으로 생성한다. 따라서 이런 제목과 비슷한 표현을 사용하면, 해당 문장이 요약에 포함될 가능성이 훨씬 높아진다. 결국 적절히 선택한 문장이 AI에 ‘이 내용을 요약에 넣어라’라는 신호처럼 작용하는 셈이다.

이를 뒷받침하는 연구 결과도 있다. 초기 AI 요약 관련 연구에 따르면, 요약체 문장을 재구성하도록 학습된 모델은 이런 유형의 표현을 체계적으로 과도하게 중요하게 평가하는 경향이 있다. 또한 뉴스 기사처럼 문서의 앞부분 혹은 뒷부분에 위치한 내용을 지나치게 신뢰하고, 중간 부분의 내용은 상대적으로 덜 반영하는 경향도 나타났다.

최근 연구에서는 이런 취약점이 더욱 명확히 드러났다. 문장 표현만으로도 모델의 판단을 쉽게 조작할 수 있으며, 특히 특정 신호와 비슷한 어조나 문장을 사용하면 모델은 이를 일반적인 내용과 구분하지 못하는 것으로 확인됐다.

AI 요약 최적화(AISO)에 대응하는 방법

AISO가 일반화되면, 이에 대응하기 위한 3가지 형태의 방어 전략이 나타날 것으로 보인다.

첫째는 참석자 간의 사회적 압력이다. 연구팀이 레딧의 r/changemyview 커뮤니티에 AI 봇을 비밀리에 투입했을 때, 이용자와 운영진은 이를 심리적 조작(psychological manipulation)이라고 비판하며 강하게 반발했다. 마찬가지로 회의에서 누군가 노골적으로 AI의 요약 방식을 노린 표현을 사용한다면, 비슷한 사회적 비난이나 거부감을 불러일으킬 가능성이 크다.

둘째, 기업은 AI를 활용해 회의 문화를 직접 관리하기 시작할 것으로 보인다. 회의가 열리기 전에는 위험도 평가와 접근 제한을 실시하고, 회의 중에는 AISO 기법 사용 여부를 탐지하며, 회의가 끝난 뒤에는 결과 검증과 감사 과정을 거치는 식이다.

셋째, AI 요약 시스템 자체도 기술적 방어 장치를 갖추게 될 것이다. 예를 들어 AI 보안 업체 클라우드섹(CloudSEK)은 다음과 같은 대응책을 제안했다. 의심스러운 입력을 제거하는 콘텐츠 정제(content sanitization), 숨은 지시문이나 과도한 반복을 탐지하는 프롬프트 필터링(prompt filtering), 반복된 내용을 덜 중요하게 처리하는 컨텍스트 창 균형 조정(context window balancing), 그리고 요약에 포함된 정보의 출처를 사용자에게 표시하는 콘텐츠 출처 경고(user provenance warning) 등이다.

여러 AI 보안 및 안전성 연구에서 개발된 기술을 활용하는 더 광범위한 방어 전략도 있다. 예를 들어 위험한 패턴을 감지하기 위한 콘텐츠 전처리, 일정 수준의 일관성을 요구하는 합의 기반 접근법, 조작된 내용을 탐지하기 위한 자체 검증 기법, 그리고 중요한 의사결정 단계에서 인간 검토를 거치는 감독 프로토콜 등이 있다.

회의용 AI 시스템이라면 여기에 추가적인 방어 장치를 더할 수도 있다. 입력 데이터를 출처별로 태깅하고, 발언자의 역할이나 회의 내 중심성을 기준으로 문장 단위 중요도를 산정하며, 과도하게 강조된 표현의 가중치를 낮추고, 열정적인 발언보다는 합의된 의견을 우선 반영하는 방식이다.

인간 행동의 변화

AI 요약 최적화(AISO)는 작고 미묘한 변화처럼 보이지만, AI 도입이 인간의 행동 방식을 얼마나 예상치 못한 방향으로 바꾸고 있는지를 잘 보여주는 사례다. 그 영향력은 조용하지만 일상에 깊숙이 스며들고 있다.

회의는 인류가 오랫동안 이어온 가장 기본적인 협업의 형식이다. 이제 알고리즘의 선호를 이해하는 사람이 조용히 회의를 재구성하고 있다. 말을 잘하는 사람이 현명한 사람보다 더 큰 영향력을 얻게 되는 시대다. 적대적 사고(adversarial thinking)가 일상적인 업무 습관 속에 스며들고 있으며, AI가 조직 운영의 일부로 자리 잡으면서, AI 회의록 작성자나 요약 시스템과 전략적으로 상호작용하는 능력은 머지않아 기업 문화를 이해하고 주도하는 새로운 핵심 역량이 될 수 있다.

AI 요약 최적화(AISO)는 인간이 새로운 기술에 얼마나 빠르게 소통 방식을 맞춰 나가는지를 보여주는 사례다. AI가 업무 커뮤니케이션의 핵심에 점점 깊이 스며들수록 이런 변화의 징후를 인식하고 대응하는 능력이 더욱 중요해질 것이다.
dl-itworldkorea@foundryco.com