내 속 긁지마, AI에 선전포고…네이버 '크롤링 전쟁' 뭐길래

AI 시대, 불붙는 ‘크롤링 전쟁’

경제+

이 정도면 ‘메이드 인 판교 인공지능(AI)’보다 낫다고? 요즘 실리콘밸리산(産) 빅테크 AI, 한국 사정과 한국어에 빠삭하다. 소버린 AI(각국 독자적 AI)로 불리는 국산 AI가 아쉽지 않을 정도. 쇼핑, 블로그, 부동산, 지식인, 증권 등 AI 훈련에 필수인 방대한 한국어 데이터베이스(DB)를 가진 네이버 입장에선 ‘우리 데이터를 가져다 쓴 것 아니냐’는 의심을 선뜻 거둘 수 없다. 하지만 심증은 있어도 물증은 없다. 그러자 네이버는 결단을 내렸다. 지난 6월부터 모든 웹페이지에 AI의 크롤링(온라인상 데이터 수집)을 차단하는 코드를 적용한 것. 빅테크 AI가 자사 데이터를 긁어가는 길목을 전면 차단했다. 그런데 이런 갈등, 처음이 아니다. 구글, 오픈AI 등 빅테크는 오래 전부터 콘텐트 창작자와 크롤링 갈등을 벌여왔다. 네이버도 언론사 기사를 자사 AI 학습에 활용한 대가를 제대로 지급하지 않고 있다는 비판을 받고 있다. AI 시대 전면전 양상으로 치닫고 있는 ‘크롤링 전쟁’. 빅테크부터 네이버까지 모두 뛰어든 이 전쟁의 승자는 누가 될까.

◆빅테크 침공, 방어 나선 네이버=네이버는 지난 6~7월에 순차적으로 네이버의 모든 서비스에 AI의 크롤링을 차단하는 코드를 적용했다. 이전까지 쇼핑, 부동산 등 일부 서비스에 적용하던 것을 모든 서비스로 확대했다. 실시간으로 정보를 외부에서 검색해 답변을 생성하는 외국 AI의 검색증강생성(RAG)도 전면 차단했다. 크롤러를 막는 법은 간단하다. ‘robots.txt’라는 크롤링 금지 코드를 웹사이트 최상위 폴더에 집어넣는 것. 국제인터넷표준화기구(IETF)가 2022년 9월에 내놓은 표준 텍스트 양식이다. 크롤러가 진입하는 길목에 울타리를 치고 ‘접근 금지’ 팻말을 꽂아놓은 것과 같은 효과를 낸다. 외산 AI 개발사는 앞으로 네이버의 허가 없이 콘텐트를 인용하거나, 수집할 수 없다.

네이버 측은 “AI의 크롤링으로 인해 서버 트래픽이 단기간에 급증하는 현상이 발생해, 과부하를 막기 위해 접근 자체를 전면 차단했다”고 설명했다. 다만 IT업계의 해석은 조금 다르다. 네이버가 검색 시장 점유율을 지키기 위해 나섰다는 분석이 많다. ‘AI 검색 시장’이 커질수록 네이버는 트래픽과 검색 광고 수익이 줄어들 가능성이 높다. 이용자들이 AI 검색 답변에 만족해서 다른 웹페이지를 ‘클릭’하지 않아서다. 리서치업체 퓨리서치센터에 따르면 구글의 AI검색 기능인 ‘AI 오버뷰’ 이용자 중 다른 웹페이지로 넘어가는 비율은 8%에 불과했다.

이 같은 조치는 플랫폼 입장에선 오히려 손해가 될 수 있다. 네이버에 쓴 글을 AI챗봇이 인용 못하게 막으면 해외로 바이럴 될 기회를 원천 차단하기 때문이다. 예를 들어 “8월에 한국에서 갈 만한 휴가지를 추천해 줘”라 질문하면 챗GPT는 네이버 블로그 글 대신 한국관광공사 홈페이지, 구글 지도 리뷰 등을 참조해 대답해준다. 해외 소비자를 겨냥한 콘텐트 제작자들이 네이버를 ‘패싱’할 가능성도 생긴다. AI검색으로 검색 시장의 중심축이 움직이고 있는 상황에서 시장 트렌드에 역행하는 조치이기도 하다. 구글, 카카오(다음) 등은 AI 크롤링을 허용하고 있다. 강정수 블루닷 AI연구센터장은 “콘텐트 제작자들이 폐쇄적인 네이버 대신 개방적인 경쟁사로 이탈할 수 있다”고 말했다.

◆AI가 촉발한 크롤링 2차전=네이버가 부작용을 감수하며 데이터 전면 사수에 나선 이유는 AI시대 크롤링의 양상이 달라지고 있어서다. 검색 엔진 시절 크롤러는 부동산 매물, 채용 정보 등 상업적 가치를 체계적으로 정리한 DB를 노렸다. 그런데 AI 시대가 오면서 크롤링은 상업적 DB뿐 아니라 누구나 열람할 수 있는 ‘공개 데이터’까지 전방위로 노리게 됐다. 이 데이터가 AI의 한국어 학습지 역할을 하기 때문이다. 블로그, 종목 토론방 게시글 등 한국어로 쓴 데이터가 있는 곳은 외산 AI가 한국어 문맥, 신조어를 캘 금광이나 다름없다. AI스타트업 트릴리온랩스의 신재민 대표는 “대규모언어모델(LLM)을 첫 단계(프롬 스크래치)부터 개발하려면 최대한 많은 양의 텍스트 데이터가 필요하다”고 설명했다.

그간 상업적 가치가 있는 DB의 경우, 국내 법 상 보호받을 수 있었다. 저작권법은 ‘인적·물적으로 상당한 투자를 해 DB를 만든 제작자’의 권리를 보호한다. 영리 목적으로 데이터를 대량으로 긁어가는 크롤링의 경우 법원에서 부정경쟁 행위로 간주하는 게 일반적이었다. 네이버도 ‘크롤링 1차전’에서 승기를 잡은 바 있다. 네이버는 2022년 부동산 중개 플랫폼 ‘다윈중개’가 부동산 매물 DB를 크롤링해 저작권법을 위반했다고 소송을 제기했고, 지난해 9월 1심에서 일부 승소했다.

하지만 AI 시대 그간 별 가치 없다고 생각해 공개했던 데이터가 AI시대 크롤링 대상이 되면서 법률에도 빈틈이 생겼다. 특히 네이버가 공개한 데이터는 누구든 볼 수 있게 허용한 만큼, AI에 묵시적으로 접근 권한을 부여했다고 해석할 여지가 있다. 이 경우 크롤링을 부정경쟁 행위로 볼지도 모호하다. AI 개발사들은 크롤링이 데이터 ‘복제’하는 행위가 아니고 ‘열람’해서 학습하는 것이라고 주장하고 있다. 피해를 입증하는 것도 난제다. AI가 데이터를 얼마나 빼갔는지 증명할 책임은 ‘원고’(데이터 소유자)에게 있어서다. 달라진 현실에 맞지 않는 법인 셈이다. 법무법인 비트의 안일운 파트너 변호사는 “AI의 알고리즘이 복잡한 탓에 데이터 유출을 입증하는 건 사실상 불가능하다”고 설명했다.

◆빅테크의 ‘내로남불’=AI 고도화 경쟁이 가속화면서 데이터를 둘러싼 갈등은 갈수록 첨예해지고 있다. 데이터를 빼앗겼다는 피해자 회사들이 데이터를 빼앗아오는 가해자가 되는 공수전환이 숱하게 이어지고 있다. 뉴욕타임스에 따르면 지난해 오픈AI는 데이터 고갈을 해소하기 위해 영상에서 스크립트를 추출하는 소프트웨어 ‘위스퍼’를 개발했다. 유튜브 영상 오디오를 텍스트로 바꿔 ‘GPT-4’ 훈련에 사용했단 의심을 받는 이유다. 하지만 영상을 AI 학습에 쓴 건 오픈AI만이 아니었다. 당시 구글도 유튜브를 자체 AI 개발에 사용했는데, 오픈AI 행동을 문제 삼으면 자신도 유튜브 영상을 활용하기 어려울 수 있어 이를 막지 않았다는 내부 직원 폭로가 나오기도 했다.

네이버도 이 논란에서 자유롭지 않은 것은 마찬가지다. 신문협회는 지난 4월 공정거래위원회에 네이버를 신고했고, 방송사들도 저작권 침해 소송을 제기했다. 네이버가 동의없이 뉴스 콘텐트를 AI 학습에 썼다는 취지다. 네이버는 “2023년 6월 약관을 개정한 뒤 언론사 동의 없이 뉴스 콘텐트를 AI 학습에 사용하고 있지 않다”며 “앞으로 개별협약을 통해 데이터 갈등을 해결하겠다”고 밝혔다. 하지만 충분히 뉴스 콘텐트를 활용해 AI 모델을 훈련 시킨 뒤 이제야 개별 기업과 협업에 나서는 것 아니냐는 비판이 나온다.

◆크롤링의 미래=AI의 학습 데이터는 ‘다다익선’이다. 범용성이 중요한 LLM 개발에선 데이터가 있어야만 언어 이해·구사의 폭을 넓힐 수 있다. 하지만 한국어 데이터는 희소한 상황이다. 텍스트 데이터 대다수가 영어로 작성돼 있기 때문. 한국어 데이터가 몰린 네이버가 크롤러의 타깃이 되는 이유다.

이로 인해 텍스트 데이터 자체가 유료화 될 것이란 전망도 나온다. AI 덕에 크롤링을 막는 기술이 고도화하고 있기 때문. 공격보다 방어 비용이 저렴한 덕분에 크롤링 공방전이 계속되면 데이터를 보유한 쪽이 유리한 구조다. AI개발사가 백기 투항하고 데이터를 사서 쓰는 시대가 올 수 있을 것이란 관측이다. AI 개발사 아스테로모프의 이민형 대표는 “크롤러를 업그레이드하는 비용이 불어나면 데이터를 구매하려는 수요가 커지고, 데이터셋이 유료화될 것”이라고 내다봤다.

혁신의 최전선에서 비즈니스의 미래를 봅니다. 첨단 산업의 '미래검증 보고서' 더중플에서 더 빨리 확인하세요.

네이버 분노의 ‘robots.txt’…AI 출입금지 코드 심은 이유
https://www.joongang.co.kr/article/25356670

“역대급 채용” 불붙은 정보보안…네카스크엘 현직자 합격 꿀팁
https://www.joongang.co.kr/article/25359801

배민·토스 꼭 묻는 질문 있다…이력서 구려도 채용된 비결
https://www.joongang.co.kr/article/25358813

서울 한복판, 원전 생긴다면? 韓 최초 개발 ‘벽타일’ 배터리
https://www.joongang.co.kr/article/25357164

오현우.여성국([email protected])