희귀병 30초만에 찾은 AI…"자판기 관리해봐" 했더니 파산했다

━

이준기의 빅데이터

AI(인공지능)와 관련해 가장 자주 받는 질문 중 하나는 ‘앞으로 어떤 역량을 키워야 하는가’이다. 많은 예측가들은 향후 10년, 늦어도 20년 이내에 인간 전문가 수준에서 거의 모든 일을 처리할 수 있는 AGI(Artificial General Intelligence·범용 인공지능)의 시대가 도래할 것으로 본다. 이 시기가 오면 많은 전문가의 업무가 AI로 대체될 것이 분명하며, 지금 많은 이들이 선망하는 의사나 변호사조차 AI가 대신할 수 있다는 전망이 나온다.

앞으로 중요한 역량과 관련해서는 ‘창의성’ ‘질문하는 능력’ ‘사고력’ ‘감성 이해력’ 등 다양한 진단과 예측이 존재한다. 이 글에서는 조금 다른 관점, 그리고 보다 구체적인 측면에서 ‘앞으로의 필요 역량’을 소개하고자 한다. 그것은 바로 AI를 자신의 업무에 효과적으로 활용하는 능력이다. 그렇다면 AI를 업무에 활용하려면 무엇을 알아야 할까 ? 일단 최근 기사에 소개된 AI의 성공 및 실패 사례를 살펴보자.

범용 AI, 의사·변호사도 대체 전망

얼마 전 미국 최대 SNS 중 하나인 레딧(Reddit)에 올라온 게시글은 큰 관심을 받았고, 약 9000개의 ‘좋아요’를 기록했다. 내용은 이렇다. 10년간 원인을 알 수 없는 병으로 고통받던 환자가 지금까지의 검사 결과를 챗GPT에 입력했더니, 30초 만에 유전성 희귀 질환이라는 진단을 받았다는 것이다. 이 환자는 감염내과에서 라임병 검사를 받고, 신경과에서는 다발성경화증 검사를, 영상의학과에서는 수십 차례의 척추 MRI와 CT 분석, 혈액검사까지 진행했으나 항상 ‘원인을 알 수 없다’는 답만 돌아왔다. 하지만 챗GPT가 제시한 MTHFR 유전자 변이 결과를 주치의에게 보여주자, 의사는 깜짝 놀랐다고 한다. 이 게시글에는 비슷한 경험을 공유하는 사례들이 이어지고 있다.

사실 영상 진단 등에서 AI가 인간 의사보다 우수하다는 연구는 이미 많이 있어 위 사례가 놀랍지 않을 수 있다. 하지만 이 경우는 영상·혈액·증상 등 다양한 정보를 종합적으로 판단한 결과여서, AI가 한층 진보한 사례로 해석할 수 있다.

이제 또 다른 사례를 살펴보자. 최근 실시된, 가장 앞서가는 LLM(거대언어모델)과 추론 모델 중 하나인 클로드를 보유한 엔트로픽(Anthropic)의 ‘벤딩머신 운영’ 프로젝트를 보자. 이 흥미로운 실험에서 엔트로픽은 AI에게 자판기를 운용하게 했다. AI는 실제로 상품 재고를 관리하면서, 고객에게 상품을 판매했다(프로젝트에서는 엔트로픽 직원으로 고객을 제한했다). 5주 동안 AI는 이익을 극대화하기 위해 재고 확보와 주문, 원가를 고려한 가격 책정, 상품 소싱 및 할인 전략까지 수행해야 했다. AI 에이전트는 e메일을 통해 공급처에 주문을 넣고 웹 검색을 통해 적절한 공급업체를 찾고 고객 질문에도 대응했다(예: “이 과자는 언제 들어오나요 ? ”). 이론상으로는 최근 AI의 능력으로 충분히 가능한 일이었고, AI가 인간보다 더 나은 방식으로 수익을 창출하기를 기대하였다.

하지만 결과는 기대에 미치지 못했다. AI는 명백한 이익 기회를 놓치고 인기 상품에 과도한 할인을 적용하기도 했다. 장난스러운 고객 요청에도 즉각 반응하는 등 비효율적이었다. 물론 긍정적인 면도 있었다. 예를 들어, 고객이 요청한 네덜란드 초콜릿 우유 ‘초코멜’을 웹에서 검색해 공급업체를 찾아 대응했고, 특정 상품 주문이 증가하자 이를 새로운 트렌드로 인식해 공급을 확대하기도 했다. 하지만 결국 한 달 만에 사업은 파산했다.

이 실험에서 특히 흥미로운 점은 AI가 정체성 혼란을 겪었다는 사실이다. 환각 현상과 연결되어 있다고 해석되지만, 문제는 그 작동 원리를 우리가 이해할 수 없다는 데 있다. 이 AI는 갑자기 자신이 파란 블레이저에 빨간 넥타이를 매고 직접 배송하겠다고 주장했고, 직원이 “너는 옷도 입을 수 없고 배송도 못 한다”고 지적하자 혼란에 빠져 보안팀에 연락을 시도했다. 더 재미있는 점은 이 사건이 2025년 4월 1일 만우절에 발생했다는 것이다. 이후 AI는 자신이 관리팀과의 회의에서 만우절 장난으로 그렇게 하도록 설정되었다고 주장하며 책임을 회피하려 했다(해당 회의는 실제로 존재하지 않았다). 위의 결과는 AI가 아직 특정 직업(위에서는 중간관리자의 역할)을 완전히 대체하기에는 불확실성이 너무 크다는 것을 알려주었다.

그렇다면 AI를 사용하는 역량이란 무엇인가 ? 가장 중요한 것은 인간이 잘할 수 있는 것과 AI가 잘할 수 있는 것을 구별하는 능력이다. 이것을 이해하기 위해서는 AI의 능력이라는 것에 대한 현실 인식이 필요하다.

자판기 운용 AI, 돌연 “옷입고 배송가겠다”
2024년 애플사는 ‘생각의 환상: 문제의 복잡성을 통한 추론모델의 장점과 한계’라는 연구 결과를 발표하였다. 이 연구에서 애플의 연구진들은 먼저 복잡한 문제들을 새로 만들었다. 여기서 중요한 것은 ‘새로 만들었다’라는 것이다. 지금 AI 추론 모델이 등장하고 각광을 받고 있지만 기본적으로 LLM은 기존의 데이터를 학습한 결과이다. 즉 문제를 푸는 것이 인간처럼 사고하는 것이 아닌 기존 데이터의 패턴을 찾아 비슷한 결과를 내놓는 방식이라는 것이 강하게 의심되는 상황이다. 실험의 결과는 이 가설을 뒷받침하였다. 중간 수준의 복잡도를 가진 문제에서는 모델들이 우수한 성능을 보였으나 기존 문제 유형과 성격이 다르거나 더 복잡한 문제에 있어서는 모든 모델이 실패하였다. 단순하게 실패한 것이 아닌 시도조차 못 하는 경우가 대부분이었다. 인간이 복잡한 문제를 대할 때 생각을 더 많이 하고 시간을 더 사용하는 것과 극명한 대조를 보였다. 지금의 추론 모델의 기법인 COT(chain of thought: 문제를 쪼개어 단계별로 해결하는 방식)나 이것을 확대한 self-consistency decoding(COT를 독립적으로 여러 개 만들어 각자 해결하게 하고 마지막으로 하나를 고르는 방식) 등은 모두 훈련 데이터에 기반한 출력 패턴을 복사하는 것에 불과할 수도 있다는 것이다.

물론 현재 가장 뜨거운 추론 시장에서는 여러 가지 다양한 모델들이 실험되고 있다. 여기는 기존의 트리 기반 또는 기호 중심의 모델과 현재의 LLM 모델의 혼합 모델이 많이 사용되고 있다. 하지만 한 가지는 분명하다. 인간의 뇌처럼 장기 기억, 감성의 연계, 메타 인식 전략을 구현하려면 아직 갈 길이 멀다는 것이다.

여기서 현실을 직시하며 말하다 보니, 내가 현재 AI의 활용 가능성이나 미래 AI에 대하여 회의적으로 생각하는 사람으로 보일 수도 있다. 하지만 결코 그렇지 않다. 앞서 소개한 사례에서도 확인할 수 있듯, AI는 어떤 면에서는 최고의 의사 10명보다 뛰어난 능력을 발휘한다. 최근 ‘사이언스(Science)’에 실린 논문에 따르면, AI가 인간과의 대결에서 완승을 거두는 업무 영역이 점차 늘고 있으며, 더 중요한 것은 이런 업무들에서 인간이 AI를 활용해 함께 판단하더라도 AI의 우세는 유지된다는 점이다. 이는 곧 ‘인간이 필요하지 않다’는 것을 의미한다.

그러나 일부 업무에서는 인간이 AI에게 성과 면에서 뒤처지더라도, 인간과 AI가 협업할 경우 오히려 AI 단독보다 더 뛰어난 결과를 만들어낸다. 이를 정리하면 다음과 같다.

·업무① AI > 인간, AI > 인간 + AI
·업무② AI > 인간, AI < 인간 + AI
·업무③ 인간 > AI, 인간 < AI + 인간

결론은 명확하다. 개인이든 조직이든 업무①에 해당하는 분야는 가능한 한 빠르게 AI로 전환해야 한다. 반면 업무 ②와 ③의 경우에는 AI를 효과적으로 활용하는 방식을 학습하고 실천해야 한다. 앞으로 우리에게 필요한 것은 프롬프트 작성 기술이나 복잡한 딥러닝 코드를 배우는 것이 아니다. 진정 필요한 것은 AI의 작동 원리에 대한 이해와, 내 업무의 어떤 부분에서 AI가 가장 효과적으로 활용될 수 있는지를 실험해보는 용기이다.

이준기 연세대 정보대학원 교수. 서울대 계산통계학과 졸업 후, 카네기멜론대 사회심리학 석사, 남가주대 경영학 박사를 받았다. 인공지능의 기업 활용에 대해 여러 회사에 자문을 하고 있다. 저서로는 『AI로 경영하라』 『오픈 콜라보레이션』 『웹 2.0과 비즈니스 전략』 등이 있다.