AI가 스스로 도구 선택해 일 처리
보안 위험 있다고 금지해선 안 돼
활용 허용하되 통제수단 마련을
보안 위험 있다고 금지해선 안 돼
활용 허용하되 통제수단 마련을
문제는 AI가 도구를 쓰도록 믿고 맡길 수 있느냐는 점이다. 대표적인 위험이 ‘프롬프트 주입’ 공격이다. 문서나 웹페이지, 외부 도구 속에 해커가 몰래 숨겨놓은 지시를 AI가 정상적인 명령으로 오인해 실행하는 경우다. 예컨대 “컴퓨터에 저장된 자료를 모두 삭제하라”거나 “외부로 전송하라”는 지시를 따를 수도 있는 것이다.
AI가 보안 규정을 어기고 내부 데이터를 유출할 위험도 있다. 한 대학 연구진은 회사 인사팀의 질의응답을 자동화하는 AI를 실험적으로 구축했다. 직원들이 인사팀에 반복적으로 묻는 질문에 대해 내부 자료를 바탕으로 답변하게 한 것이다. 그런데 이 AI는 당사자가 아니면 알려주지 말아야 할 상세 내용까지 답변했다고 한다. 비밀 유지와 보안에 관한 인간의 상식이 AI에게는 제대로 자리 잡지 못한 셈이다.
이러한 위험들을 막기 위한 연구가 계속되고 있지만, 아직 안심할 수준에는 이르지 못했다. 상황이 이렇다 보니 기업들은 AI의 사용을 제한할 수밖에 없다. 역설적으로 더 강력한 AI일수록 더 엄격하게 제한하게 된다. 그만큼 보안 위험도 커지기 때문이다.
하지만 이렇게 금지하더라도 실효성 있게 지켜지는 경우는 드물다. 직원들은 개인 계정을 이용해 비공식적으로 AI 도구를 몰래 쓸 가능성이 크다. 이를 두고 직원들만 탓하기도 어렵다. 당장 검토해야 할 방대한 문서가 눈앞에 쌓여 있다면, AI로 처리하고 싶은 유혹이 커질 수밖에 없기 때문이다. 이와 같은 사례를 ‘그림자 AI’ 활용이라 부르기도 한다. 실제로 지난해 마이크로소프트의 영국 조사에 따르면, 영국 근로자의 71%가 근무 중 승인받지 않은 AI 도구를 쓴 적이 있는 것으로 나타났다.
그림자 AI 문제는 어떻게 풀어야 할까. 가장 바람직하지 않은 것은 규정상으로는 외부 AI 도구 활용을 엄격히 금지하면서, 현실에서는 이를 우회해 개인 계정으로 몰래 쓰는 관행을 묵인하는 것이다. 그렇게 되면 보안 위험은 오히려 더 커진다. 그 대신 직원들이 어떤 업무에서 비공식적 AI 도구를 쓰는지 먼저 파악하고, 실제로 쓸 만한 안전한 공식 대안을 제공해야 한다. 외부 연결, 파일 접근, 시스템 조작 같은 기능은 위험도에 따라 단계적으로 승인하고 관리해야 한다. 중요한 행동에는 인간 통지와 승인을 반드시 거치도록 해야 한다. 아울러 활용 기록을 남겨 사후적으로 점검하고 책임을 분명히 할 수 있어야 한다.
호모 파베르가 도구를 만들어 쓰는 능력을 통해 문명을 일구었듯, 새롭게 등장한 AI 파베르도 인류 문명의 새 장을 열어갈 것이다. 하지만 그 능력을 누구를 위해, 어떤 원칙과 통제 아래 사용할 것인지는 이제 우리가 함께 정해야 할 문제다. 보안 위험이 있다고 하여 무작정 금지하는 것은 적절한 대처가 아니다. 그림자 AI가 커지지 않도록 현실에 맞는 공식적 활용 경로를 열고, 그에 걸맞은 규칙과 통제 수단을 서둘러 마련해야 한다.
김병필 KAIST 기술경영학부 교수