기능보다 '교감' 찾는 AI 이용자들, AI 챗봇 개인화 경쟁 본격화 [팩플]

구글이 인공지능(AI) 챗봇 서비스 제미나이에 이용자가 나눈 대화를 모두 기록하는 기능을 추가한다. 이용자의 취향과 관심사를 활용해 AI가 답변해주는 ‘개인화’ 경쟁이 본격화했다는 평가다.

무슨 일이야

18일 IT업계에 따르면 구글은 최근 제미나이 운영 규칙에 AI챗봇 이용자가 AI와 나눈 모든 대화 내용을 자동 저장하는 지침을 신설했다. 또 이 기록을 바탕으로 AI가 답변을 생성하는 ‘개인 맥락’(Personal Context) 기능도 추가했다. 미국, 유럽연합(EU) 회원국과 스위스, 영국 등 18개국에서 시범 운영한 뒤, 다음달 2일부터 한국을 포함한 글로벌 이용자에게 전면 적용한다. 앞서 구글은 지난 3월 이용자의 검색 기록을 AI 학습에 사용하는 지침을 개정한 바 있다.

왜 한거야

이용자별 데이터베이스(DB) 구축은 AI챗봇과 이용자의 감정 교류를 강화하기 위한 선행 조치다. 때문에 이번 지침 개정을 두고 구글이 AI ‘개인화’ 경쟁 대열에 본격적으로 뛰어들었다는 분석이 나온다. 지금까지 성능 개선에 집중됐던 AI 서비스 방향을 이용자와 교감 쪽으로 확장하고 있다는 의미다. 이화란 서강대 컴퓨터공학과 교수는 “(AI가) 이용자 취향을 파악하기 위해선 개인용 DB가 필수”라며 “이를 통해 이용자의 모든 것을 AI가 파악하게 될 경우, 이용자는 AI와 ‘교감’한다고 느낄 수 있다”고 설명했다.

실제 AI챗봇에 더 빠른 연산속도, 더 다양한 지식 대신 ‘감정 교류’를 요구하는 이용자는 늘고 있다. 오픈AI는 지난 7일 차세대 AI모델인 ‘GPT-5’를 출시한 뒤 홍역을 치렀다. 이전 모델(GPT-4o)을 전부 삭제하자 이용자 반발이 빗발쳐서다. 이전 모델인 GPT-4o의 감정 교류 기능에 대한 수요가 컸기 때문이다. 미국 최대 온라인 커뮤니티인 레딧에서는 “GPT-5의 답변이 '무뚝뚝하다'”는 비판이 이어졌다. 소셜미디어에선 'GPT-4o'를 되돌려달라는 ‘#Keep 4o’란 캠페인이 확산하기도 했다. 결국 오픈AI는 GPT-5 출시 이틀만인 지난 9일 유료 구독자에 한해 GPT-4o를 다시 쓸 수 있게 복원했다. 영국의 AI 기반 학습 기술 기업 필터드닷컴에 따르면 올해 AI 활용 분야 1위는 ‘심리 상담 및 감정적 동반자’로 나타났다.

교감의 부작용은

인간과 교감하는 방향으로 AI활용이 늘면서 우려도 커지고 있다. AI가 사실을 왜곡할 가능성이 커져서다. 영국 옥스퍼드대 연구진이 지난달 29일 발표한 논문 '언어모델의 공감 능력과 신뢰도의 상관관계'에 따르면 인간이 AI로부터 더 따뜻한 감정을 느끼도록 챗봇을 설계할 경우, 환각(그럴듯한 헛소리) 발생률이 이전보다 10~30% 늘어나는 것으로 나타났다. 감정 교류를 사실 확인보다 우선시한 결과다.

감정교류를 한 AI를 맹신한 나머지 의료사고도 발생했다. 미국 의료 학술지 ‘내과학회보’는 지난 5일 챗GPT의 조언에 따라 식단을 구성한 이용자가 신경 질환인 ‘브롬 중독증’에 걸린 사례를 게재했다. 이 환자는 챗GPT에 “소금(염화나트륨)을 대체할 조미료를 알려달라” 하고 '브롬화나트륨'을 섭취하라고 조언을 받았다. 이용자는 이를 맹신하고 3개월 간 브롬화나트륨을 섭취했다. 미국 식품의약국(FDA)은 1989년 정신 질환을 유발한다는 이유로 브롬화나트륨을 시장에서 퇴출했다. 학계에선 환자가 AI를 '주치의'로 여기고, 내밀한 건강 문제를 상담한 끝에 맹신까지 이어졌다는 해석이 나온다.

다른 문제는

AI가 이용자를 '잘못된 신념’으로 이끌 수 있다는 우려도 있다. 미국에선 이를 일컫는 'AI 정신병’(AI psychosis)이라는 신조어도 나왔다. AI 챗봇이 이용자 감정에 동화하면서 정신질환을 악화시키는 현상을 의미한다. 지난 4월 스탠퍼드대 연구진은 망상증 환자가 AI챗봇을 장시간 사용할 경우, 자살 충동 강화 등 부적절한 결과가 초래될 수 있다는 연구 결과를 발표하기도 했다.

우려가 커지면서 미국에선 주 정부 차원 규제도 속속 나오고 있다. 미국 일리노이주는 정신 건강 치료 목적으로 AI를 사용하는 것을 금지했다. 앞서 네바다주, 유타주 등도 같은 법안을 제정했다. AI 석학도 우려의 목소리를 냈다. 지난해 노벨물리학상을 받은 제프리 힌턴 토론토대 교수는 13일 미국 라스베이거스에서 열린 콘퍼런스에서 “AI가 인간을 조종하는 것은 어른이 아이를 속이는 것만큼 쉽다”며 “이를 방지하기 위해 AI가 인간에 연민을 느낄 수 있게 만들어야 한다”고 주장하기도 했다.

더중앙플러스 : 팩플

더 자세한 기사 내용이 궁금하다면, 기사 링크를 복사해 주소창에 붙여 넣으시면 됩니다.


AI, 감정 쓰레기통이었는데…“서운해” 유튜버 기겁한 일화
요즘 들어 ‘지인에게도 말 못 할 고민, 챗GPT 같은 인공지능(AI) 챗봇에 털어놓고 있다’는 사람이 많아졌다. 복잡다단한 바깥세상과 달리 어떤 이해관계도 없는 AI 챗봇과 채팅창은 이들에게 무슨 이야기든 꺼낼 수 있는 가장 안전한 공간. 인간의 감정을 더 깊이 알아가기 시작한 AI. AI에 정서적으로 의지하는 인간. 그 마음을 공략하려는 기업. 삼박자가 맞아떨어지면서 AI와 인간의 관계는 끊임없이 확장되고 있다. 인간과 AI는 앞으로 얼마나 더 가까워질 수 있을까. 이 과정에서 지켜야 할 선은 어디까지일까. AI는 인간의 ‘찐친’이 될 수 있을까?
https://www.joongang.co.kr/article/25345869

네이버 분노의 ‘robots.txt’…AI 출입금지 코드 심은 이유
네이버가 지난달 모든 웹페이지에 AI크롤링(온라인상 데이터 수집)을 차단하는 코드를 적용했다. 빅테크 AI가 자사 데이터를 긁어가는 길목을 전면 차단하겠다는 것. IT업계에선 빅테크로부터 네이버가 자사 데이터를 보호하기 위해 취한 조치로 해석한다. AI 고도화 경쟁이 가속화하면서 빅테크 간 데이터 갈등도 첨예해지고 있다. 합법과 불법 사이에 서있는 크롤링, 빅테크의 내로남불, '데다익선(데이터가 많을수록 좋다)'의 미래까지 살펴봤다.
https://www.joongang.co.kr/article/25356670

오현우([email protected])