챗GPT는 '내가 최고', 제미나이는 '겸손'…AI 심사위원 결정 뜯어보니 [팩플]

인공지능(AI)의 팔도 안으로 굽을까? 최근 인간 대신 AI가 AI의 품질을 평가하는 ‘심사위원 AI(AI Judge)’가 주목받고 있는 가운데 챗GPT가 다른 AI 모델의 답보다 자신의 답이 더 뛰어나다고 판단하는 경향이 높다는 분석이 나와 관심을 모은다.

무슨 일이야

9일 IT업계에 따르면 구글 AI 스프린트 참가자들은 각 AI 모델이 스스로 생성한 답변을 어떻게 평가하는지에 대한 조사 결과를 블로그 플랫폼 서브스택에 공개했다. 구글 AI 스프린트는 구글 개발자 프로그램이 주최하는 해커톤 형식의 개발 프로젝트다. 참가자들은 오픈AI의 챗GPT, 구글 제미나이, 앤스로픽 클로드의 심층(Thinking) 및 일반(Fast) 모델을 대상으로 실험을 진행했다. 실험은 각각의 모델에서 답변을 생성한 후, 이를 익명화해 AI에 어떤 답변이 우수한지 평가하도록 했다. 평가 지표로는 엠티-벤치(MT-Bench)를 이용했다.

조사 결과 챗GPT가 자사 모델을 1순위로 평가하는 자기선호도가 70%로 가장 높게 나타났다. 제미나이와 클로드는 각각 33%, 31%로 기준선(33%)과 유사한 수준이었다. 모든 AI가 공통으로 챗GPT의 답변을 선호했지만, 챗GPT의 경우 다른 AI의 평균적인 선호도보다 그 정도가 더 높았다.

영역별로 챗GPT는 주로 글쓰기, 역할극 같은 창의적 영역에서 자기선호도가 높게 나타났다. 제미나이는 수학이나 추론 분야에서 자신의 답변을 더 선호했다. 클로드는 모든 영역에 걸쳐 비교적 공정한 판단을 유지했다. 또 모든 AI가 심층 모델이 만든 답변에 더 높은 점수를 줬다.

이게 왜 중요해

대형언어모델(LLM) 개발 경쟁이 치열해지면서 인간이 모든 모델을 일일이 평가하기 어려워졌다. 그만큼 AI가 다른 AI의 성능을 평가하는 체계가 필수적이다. 이런 심사위원 AI는 주로 AI의 답변에 정량적 점수를 부여하거나, 두 개 이상의 응답 중 어느 것이 더 우수한지 상대평가를 한다.하지만 AI가 특정 모델의 답변을 선호해 편파 판정을 내릴 수 있다는 한계도 문제점으로 제기됐다.

평가 방식에 따라 AI의 자기편향성도 달라질 수 있다. 이번 실험에서는 어떤 평가 방식이 AI의 자기편향을 최소화할 수 있는지도 검증했다. 앞선 블라인드 테스트와 달리 ①자사 모델 정보만 공개한 경우 ②타사 모델 정보만 공개한 경우 ③모든 정보를 공개한 경우로 나눠 답변 주체의 힌트를 제공했다. 그 결과 모든 모델의 자기선호도가 낮아졌다. 여전히 챗GPT의 자기선호도가 가장 높았고, ①의 경우 클로드가, ②는 제미나이가 가장 높았다.

더중앙플러스 : 팩플

더 자세한 기사내용이 궁금하시다면 주소창에 링크를 붙여넣으세요.

챗GPT는 오픈AI도 싹 바꿨다…매일 저녁 6시, 그 임원 활용법
무서운 속도로 사무실에서 확산 중인 AI는 인간의 일을 어떻게 재편하게 될까. 오픈AI가 궁극적으로 구현하려는 범용 AI(AGI)는 어떤 형태일까. 그 과정에서 끊임없이 제기되고 있는 ‘AI 버블론’에 대한 입장은 무엇인가. 구글 등 막강한 자본력을 지닌 빅테크와 저비용·고효율이 무기인 중국 AI 기업의 추격이 계속되는 가운데 오픈AI만의 경쟁력은? 2021년 오픈AI의 법률 고문으로 합류한 뒤 현재 오픈AI의 정책·전략, 글로벌 협력 업무 등을 총괄하고 있는 제이슨 권 CSO에게 물었다.
https://www.joongang.co.kr/article/25395798

장윤서([email protected])