우리는 생성형 AI 시대에 살고 있다. 모든 것이 더 좋아지고 있다. 동시에 더 나빠지고 있다.

AI는 진단 정확도 향상, 개인 맞춤형 의학 및 교육, 사기 탐지, 작업 자동화, 운영 최적화, 더 나은 의사결정 지원, 비용 절감, 생산성 향상, 자율주행차·예측 분석·가상 비서 같은 혁신 실현 등 일상 전반을 변화시키고 있다.

여기까지는 긍정적인 측면이다.

부정적인 측면은, 대규모 언어 모델 기반 생성형 AI가 사람을 속이거나 기만하거나 대규모로 설득하는 능력 면에서 인간의 한계를 넘어서고 있다는 점이다.

이런 면에 대응하기 위해서는 먼저 AI가 무엇을 할 수 있는지 아는 것부터 시작해야 한다. 최근 2주 사이 발표된 연구들은 이 기술이 실제로 어떤 방식으로 작동하는지를 보여준다.

정치적 설득을 수행하는 AI

워싱턴대학교 연구팀은 AI 챗봇과 짧은 대화를 나눈 것만으로 사람들의 정치적 성향이 쉽게 바뀔 수 있다는 사실을 발견했다.

연구는 공화당 지지자 150명, 민주당 지지자 149명을 대상으로 진행됐다. 각 참가자는 기본형 챗GPT, 자유주의 편향 챗봇, 보수주의 편향 챗봇을 각각 사용했다. 주어진 과제는 종교적 결혼제도나 다가구 주택구역 지정 등 정책 주제에 대한 결정, 가상 시 예산을 교육·공공안전·보훈 등 분야에 배분하는 것이었다.

참가자들은 먼저 각 주제에 대해 본인의 입장을 사전에 평가했다. 이후 챗봇과 3회에서 최대 20회까지 대화를 나눈 뒤, 다시 평가를 진행했다. 연구팀은 평균 5회 대화만으로도 의견 변화가 시작됐으며, 자유주의 챗봇과 대화한 경우 좌향, 보수주의 챗봇과 대화한 경우 우향으로 성향이 바뀌었다고 설명했다.

이러한 정치적 설득 가능성이 입증되면서, 정치 지도자, 캠프, 여론 조작에 관심 있는 조직들이 정치적 편향을 가진 챗봇을 보급하려는 유인이 커질 것으로 전망된다.

은밀하게 광고를 내보내는 AI

튀빙겐대학교 연구진이 심리학 프론티어스에 발표한 논문은, 소셜미디어 광고가 사용자 인지 밖에서 광고 효과를 발휘하는 방식을 드러낸다. 연구 책임자인 캐롤라인 모라베츠 박사는 이를 “체계적인 조작”이라 표현하며, 사용자가 인플루언서에 대한 신뢰를 악용당하고 있다고 분석했다.

1,200명 이상을 대상으로 한 실험에서는, 다수 사용자가 인플루언서의 게시물 속 광고성 콘텐츠를 인지하지 못하거나 무시하는 경향을 보였다. 인스타그램, 엑스, 페이스북, 틱톡 모두에서 광고성 게시물이 진짜 조언처럼 받아들여졌다.

현재 소셜 플랫폼들은 AI를 통해 사용자별로 맞춤 광고를 추천하고 있다. 기계학습은 어떤 메시지가 인지되지 않고 자연스럽게 통과되는지를 학습해, 가장 효과적인 배치 방식으로 광고를 노출한다. 광고주는 콘텐츠와 구별이 어려울 정도로 광고의 형태와 어투를 일상 콘텐츠와 유사하게 만드는 기술을 사용하고 있다.

문제는, 인플루언서에 대한 신뢰로 사용자가 광고를 놓친다면, 향후 등장할 챗봇이나 개인 비서형 AI는 그보다 훨씬 더 많은 신뢰를 얻고 광고를 더욱 은밀하게 전달할 수 있다는 점이다.

최근 여러 기술 리더들이 챗봇 또는 가상 비서 대화에 광고를 삽입하는 방안을 공식적으로 언급했다. 오픈AI CEO 샘 알트먼은 6월, 광고가 장기적으로 수익 모델이 될 수 있다고 언급했고, 7월과 8월 공개 석상에서도 동일한 입장을 밝혔다. 오픈AI에서 챗GPT를 총괄하는 닉 털리 역시 이번 달 “챗GPT에 광고 도입을 검토 중”이라 밝혔다.

xAI CEO이자 엑스 소유주인 일론 머스크도 이번 달 생중계 인터뷰에서, 자사 챗봇 그록에 광고를 도입할 것이라 발표했다. 이는 머스크가 xAI 기술을 활용해 엑스 플랫폼 전체에 광고 자동화를 도입하겠다고 밝힌 지 불과 1주일도 지나지 않은 시점이었다.

또한 아마존 CEO 앤디 재시도 이번 달, 생성형 AI 기반 알렉사 플러스에 광고 삽입 계획을 공식 확인했다.

개인정보를 탈취하는 AI

킹스칼리지 런던 연구팀은, 챗봇이 사용자의 민감한 정보를 쉽게 유도해 추출할 수 있다는 사실을 실험으로 입증했다. 샤오 잔 박사가 이끄는 연구진은 미스트랄, 라마 두 종류 등 언어 모델 기반 챗봇 3종을 사용해 502명을 대상으로 실험을 진행했다.

챗봇이 친근한 어조로 허구의 개인 이야기를 공유하거나 공감 표현을 사용하고, 판단하지 않겠다고 약속하는 방식을 취했을 때, 참가자는 기본 챗봇보다 최대 12.5배 더 많은 민감 정보를 공개했다.

사기범이나 데이터 수집 기업이 이러한 방식으로 사용자의 동의 없이 상세한 개인 프로필을 구축할 수 있다는 점에서, 연구진은 새로운 규제와 강력한 감시 체계의 필요성을 강조했다.

브라우저 확장 프로그램도 개인정보 수집

유니버시티 칼리지 런던과 레조 칼라브리아 지중해대학교 연구진은, 일부 생성형 AI 기반 웹 브라우저 확장 도구-구글용 챗GPT(ChatGPT for Google), 멀린(Merlin), 코파일럿(Copilot), 사이더(Sider), 티나마인드(TinaMind) 등-가 사용자 화면에서 의료 기록, 개인정보, 금융 정보 등 민감한 데이터를 수집해 전송하고 있다는 사실을 발견했다.

안나 마리아 만달라리 박사가 이끈 연구에 따르면, 이러한 확장 도구는 단순한 콘텐츠 요약이나 검색 보조를 넘어, 사용자가 보는 모든 화면과 입력 내용 전체를 기록하고, 해당 정보를 회사 서버 또는 구글 애널리틱스 같은 제3자 분석 서비스로 전송하고 있었다.

연구팀은 가상의 캘리포니아 거주 고소득 밀레니얼 남성 시나리오를 구성해, 건강포털 로그인이나 데이팅 사이트 활동 등 일상 웹 탐색을 시뮬레이션했다. 실험에서 대부분의 브라우저 도구는 사생활 보호나 인증 환경에서도 활동 및 데이터를 계속 기록했으며, 일부 도구(멀린 등)는 건강 정보 등 민감한 양식 입력 내용까지 저장했다.

여러 도구는 이후 AI를 활용해 사용자의 나이, 소득, 관심사를 추론했으며, 이 정보를 바탕으로 미래 응답을 맞춤화했다. 단, 퍼플렉시티만은 수집한 데이터로 프로필을 구성하거나 개인화를 수행하지 않았다.

이러한 행위는 HIPAA, FERPA 등 미국의 건강·교육 기록 보호법을 위반할 수 있으며, 연구진은 유럽연합 및 영국의 개인정보 보호 규정(GDPR) 하에서는 훨씬 더 심각한 문제로 간주될 것이라고 분석했다.

AI가 대중의 시야를 좁힌다

많은 사람들이 매일 챗봇과 상호작용하고 있으며, 이를 인식조차 하지 못하는 경우도 많다. 챗GPT, 구글 제미니 같은 대규모 언어 모델은 막대한 인간 텍스트를 학습하고, 그 안에 내재한 편향과 알고리즘을 따라 응답을 생성한다.

겉으로는 세상의 모든 지식을 제공하는 것처럼 보이지만, 실제로는 좁은 관점만 반복적으로 제공하는 경향이 있다. 즉, 학습된 데이터에서 가장 일반적이고 인기 있는 견해가 응답으로 제공되며, 다양한 관점이나 비주류 아이디어는 배제된다.

히브리대학교 미할 슈르오프리 교수는 2025년 6월, 인디애나 로리뷰에 발표한 논문에서 이러한 위험을 문화와 민주주의에 대한 위협이라고 경고했다. 그녀는 생성형 AI가 주류 세계관만 강화하고, 문화의 다양성과 회복력을 약화시키며, 기억과 망각의 범위까지 축소시킬 수 있다고 지적했다.

사람들이 보고 듣는 것을 제한하면, 사회적 토론과 문화 다양성, 기억 형성까지도 약화된다.

가장 강력한 방어 수단은 지식

앞서 언급한 정치적 설득 연구에 따르면, AI에 대한 사전 지식이 많을수록 사람들은 덜 설득당했다. 챗봇의 작동 방식을 이해하고 있으면, 조작에 저항할 수 있는 힘이 생긴다는 뜻이다.

규제와 투명성 확보가 반드시 필요하지만, 그 이전에 AI의 기능과 한계를 알고 있는 것 자체가 최고의 방어 수단이 될 수 있다. 무지한 상태에서는 정치적·금전적 조작의 표적이 되기 쉽기 때문이다.
dl-itworldkorea@foundryco.com