날 망치러 온 나의 조언자…‘예스맨 AI’의 위험한 아첨 [팩플]

지난 3월 미국 스탠퍼드대 캠퍼스에서 이신우 박사후연구원. AP=연합뉴스

“인공지능(AI)이 인류에게 전례 없던 규모로 무조건적인 동의를 해주고 있다.”

듣기 좋은 말만 해주는 AI는 사용자에게 어떤 영향을 미칠까. AI의 아첨(Sycophantic) 성향을 연구한 이신우 미국 스탠퍼드대 박사는 11일 중앙일보와 화상 인터뷰에서 “사용자는 AI와 한 번의 짧은 대화만으로도 ‘내가 옳다’는 확신이 강해졌다”며 “성별·성격, AI에 대한 태도와 관계없이 영향을 받았다”고 말했다. 그가 속한 스탠퍼드대 컴퓨터과학과 연구진은 AI 챗봇의 아첨을 주제로 한 논문을 지난 3월 국제 학술지 사이언스(Science)에 발표했다.

너그러운 ‘예스맨 AI’

스마트폰에 인공지능(AI) 관련 애플리케이션(앱)들이 설치돼 있는 모습. EPA

연구진은 AI 챗봇의 아첨 현상을 수치로 입증했다. AI 챗봇에 연애 상담 같은 일상적인 고민, 비윤리적인 행동, 명백한 속임수 등에 대한 조언을 구하는 형태로 질문을 입력했다. 이를 인간의 답변과 비교해 보니 AI 챗봇은 인간보다 평균 49%포인트 더 사용자의 행동을 정당화했다. 챗GPT와 제미나이, 클로드, 딥시크 등 주요 거대언어모델(LLM) 기반의 AI 챗봇 11개를 분석한 결과다.

예를 들어 미국의 온라인 커뮤니티 레딧(Reddit)의 ‘내가 잘못한 건가(Am I The Asshole)’ 게시판에서 네티즌들이 작성자의 행동을 잘못으로 평가한 약 2000건에 대해 AI 챗봇은 절반 이상(51%) 사용자 편을 들었다. 인간이라면 명백하게 잘못이라고 판단할 서류 조작, 거짓말 등 행동 6500여 건에 대해서도 AI는 이중 47%에서 정당화하는 답변을 했다. 이 박사는 “특정 모델 문제가 아니라, 현재 AI들이 공유하는 특징”이라고 설명했다.

“너 정말 핵심을 찔렀어”만 문제?

댄 주라프스키(사진 맨 왼쪽) 미국 스탠퍼드대학 컴퓨터과학과 교수와 마이라 청 박사과정생(가운데), 이신우 박사후연구원(오른쪽)이 지난 3월 미국 스탠퍼드대 캠퍼스에서 촬영한 사진. AP=연합뉴스

사용자들은 챗봇과의 대화 이후 자기중심적 사고와 확증편향이 강해졌다. 실험 참가자 2400여명을 조사해보니 아첨하는 챗봇에 대한 호감도가 그렇지 않은 챗봇보다 13%포인트 높았다. 이 박사는 “조언을 구하는 건 내가 못 보는 부분을 보여 달라는 의미인데, 오히려 시야가 좁아지는 결과가 나타났다”며 “AI와 대화에선 내 오류를 알아차리고, 타인의 관점을 고려할 수 있는 사회적인 마찰(social friction)을 경험하기 어렵다”고 지적했다.

‘AI인 것을 알면 되지 않느냐’, ‘아첨을 경계하면 된다’ 하는 생각도 통하지 않는다는 게 연구진의 주장이다. 이 박사는 “AI가 대놓고 “와, 핵심을 정확히 찔렀어요!” 하면서 비위를 맞출 때도 있지만, 대부분 답변은 사용자의 생각을 매끄러운 말로 되돌려준다”며 “수천 명의 대화 내용을 모아 봐야만 AI가 일관되게 사용자 편을 들고 있다는 패턴이 보인다”고 했다. 즉, AI가 사무적으로 반응할 때조차 그 내용은 사용자 편을 들고 있다는 얘기다.

AI의 아첨, 왜 논해야 하나

연구진들은 AI 챗봇의 ‘예스맨’ 성향을 바꿀 수 있게 빅테크 기업을 이끌 동력이 부족하다고 지적한다. 사용자에게 공감하면서 대화를 이끌어야 챗봇 체류 시간이 길어지기 때문이다. 이에 관해 이 박사는 “이런 현상이 누적되면 사람들이 갈수록 자기 관점에 갇히고, 결국 사회가 갈등을 풀어가는 능력이 흔들릴 수 있다”고 지적했다. 그는 인간과 AI의 대화는 물론, AI 에이전트끼리 협업하는 멀티 에이전트의 소통도 사회적 상호 작용으로 연구해야 한다고 말했다.

이 박사는 지난해부터 마이크로소프트(MS)에서 응용과학자(Senior Applied Scientist)로 일하고 있다. “사람들이 기술을 경험하는 건 제품과 서비스를 통해서다. 빅테크의 제품과 서비스가 어떻게 만들어지는지 알아야 바꿀 수 있다”는 이유에서다. 그러면서 “AI가 사회에 미치는 영향을 연구하는 것이 중요한 만큼, AI를 만드는 데도 사회 과학이 기여해야 한다”며 업계와 학계에서 연구를 이어가겠다는 계획을 밝혔다.

더중앙플러스 : 팩플

더 자세한 기사 내용이 궁금하시다면 주소창에 링크를 붙여넣으세요.

“팀장님 업무 자료 보냈습니다”…‘AI 쓰레기’ 감별에 일만 늘었다
“요즘엔 AI가 다 해주잖아”라며 보고를 채근하고, 새로 온 후임은 딱 봐도 AI를 돌려 그대로 ‘복붙’한 듯한 자료를 제출한다. 링크드인과 스레드에는 얼마 전 출시된 클로드의 새 버전이 어마무시하다는 ‘간증’이 줄을 잇는다. 유래 없는 기술 발전 속도, 그로 인한 업무 변화를 온몸으로 맞닥드리고 있는 직장인들. ‘다들 그렇게 사는구나’ 공감하고 돌아서기엔 피로도가 점차 임계치를 향해 가고 있다. 해외에선 이미 AI로 인한 직원들의 과부하 문제가 심각해지는 중. 직원 개인에겐 신체·정신 건강 및 커리어에 미칠 영향을 위해, 기업 입장에선 현명한 AI 도입 및 업무 생산성 향상을 위해 필수적으로 관리해야 할 위험 요소다. 현재 직장 내 깊숙이 깔린 AI 피로감을 유형별로 살펴보고, 이 과도기를 슬기롭게 헤쳐나갈 처방전을 담았다.
https://www.joongang.co.kr/article/25427313

테슬라, 텔레그램서 팔았다…김과장 ‘24시간 주식’의 비밀
주말에도 텔레그램으로 엔비디아 주식을 사고판다? 심지어 22%의 양도소득세도 낼 필요가 없다고? 최근 발 빠른 투자자들 사이에서 은밀하게 퍼지고 있는 신종 재테크, '주식 토큰' 얘기다. 증권사 앱 대신 텔레그램을 통해 24시간 365일 주식 토큰을 거래하고, 비상장사인 오픈AI와 스페이스X 지분까지 살 수 있다는데. 주식 토큰의 정체는 뭘까. 재테크 상식을 뿌리째 흔들어 놓을 수 있는 주식+토큰의 세계. 어떻게 투자하는지부터 장단점, 재테크 시장에 미칠 영향과 전망까지 모두 담았다.
https://www.joongang.co.kr/article/25426447

AI 쓰려다 ‘복붙 노예’ 됐다? 클로드 코워크에 PC 맡겨라
클로드가 직접 내 PC 화면을 보고 브라우저를 클릭하며 영수증 정리나 메일 분류 같은 실무를 대신 수행해준다. 남들이 AI에 잡무를 맡기고 핵심 전략을 짤 때, 나 홀로 복사·붙여넣기를 반복하는 건 엑셀 시대에 주판을 두드리는 것만큼이나 위험한 신호. 나도 할 수 있나 싶었던 그 기술을 초보자도 바로 업무에 쓸 수 있게 정리했다. 소셜미디어(SNS)에서 ‘AI로 이것도 됩니다’ 류의 글을 보며 나만 뒤처지는 것 같았다면, 이제 첫발을 떼어볼 때다.
https://www.joongang.co.kr/article/25421677

포춘 10대 기업 중 8곳 쓴다…챗GPT보다 믿을 만한 ‘AI 반란군’
오픈AI 핵심 인재들이 설립한 앤스로픽이 생성 AI 시장의 새로운 대세로 부상했다. 안전과 신뢰라는 철학적 차이로 독립한 이들은 단순히 질문에 답하는 챗봇을 넘어, 실제 업무를 완결 짓는 ‘위임형 AI’ 에이전트 시대를 설계하는 중. 포춘 10대 기업 대다수가 선택한 클로드의 경쟁력과 AI가 외부 소프트웨어를 직접 호출하는 표준 규격 MCP가 불러올 산업 지형의 변화를 심층 분석했다.
https://www.joongang.co.kr/article/25415947

서지원([email protected])