[AI 인사이트] AI, 인종 차별도 학습한다

김선호 USC 컴퓨터 과학자

영국 런던정경대학(LSE) 연구팀이 최근 흥미롭지만 불편한 실험 결과를 발표했다. 잉글랜드 일부 지방자치단체에서 사회복지 사례를 요약하는 데 사용된 구글 AI 모델 ‘젬마(Gemma)’가, 같은 상황에서도 성별에 따라 전혀 다른 평가를 내린 것으로 밝혀졌다. 같은 건강 상태에 관해 남성과 여성에 대한 묘사가 달랐는데, 문제는 단어 몇 개의 차이가 복지 수급 여부를 바꿀 수 있는 심각한 점이라는 것이었다.
 
이번 연구는 성별 편향에 초점을 맞췄지만, 이런 질문은 다른 분야로도 확장된다. 만약 이런 AI모델이 인종이나 민족성까지 고려해 판단한다면 어떻게 될까? 특히 다인종 사회인 미국에서라면 그 파장은 훨씬 크고 복잡해질 수 있다.
 
아시아계 미국인은 이런 상황에서 보이지 않는 피해자가 되기 쉽다. 얼굴인식 기술은 여전히 아시아인과 흑인의 오류율이 높고, 기업의 채용 알고리즘은 비서구권 이름이나 해외 학위를 가진 지원자를 불리하게 평가한다. 의료 AI는 아시아인의 피부 톤, 언어적 특성, 문화적 건강 지표를 반영하지 못해 진단 정확도가 떨어진다. 고객 상담 AI는 억양이나 문장 구조를 오해해 서비스 품질이 떨어진다. 피해는 존재하지만 논의조차 잘 이뤄지지 않는다.
 
더 심각한 것은 이런 편향이 교차하면 더욱 심화할 수 있다는 점이다. 성별과 인종, 나이 등 여러 정체성이 겹칠 때 편향으로 인한 피해는 배가된다. 예를 들어 고령의 아시아계 여성은 AI 분석에서 ‘도움이 필요 없는 독립적인 사람’으로 분류되어 사회복지 혜택에서 간과될 수 있다. 이는 단순한 기술 문제가 아니라 돌봄, 고용, 사법 접근성 전반에 걸친 형평성의 문제이다.
 

이런 문제가 있어도 AI는 놀라운 속도로 공공·민간 시스템에 스며들고 있다. 복지 수급 결정을 맡던 기술이 어느새 보험금 지급, 채용 합격, 경찰 보고서 작성까지 확대될 수 있다. 하지만 진짜 문제는 이런 응용 과정에서 대중의 감시나 논의는 거의 없다는 점이다. ‘투명성’과 ‘책임성’이라는 최소한의 안전장치조차 갖추지 못한 채, 우리는 기술을 신뢰하라는 말만 듣게 되는 것이다.
 
올 여름 코넬대가 발표한 연구도 같은 우려를 제기했다. 연봉 협상 조언을 주는 AI 채팅봇이 여성과 소수인종, 특히 아시아계 여성에게 백인 남성보다 낮은 금액을 제안하는 것이다. 똑같은 조건에서 남성 지원자에게는 40만 달러를, 여성 지원자에게는 28만 달러를 권했다. 무려 12만 달러 차이다. 심층 분석 결과 ‘남성 아시아계 해외 거주자’가 가장 유리했고, ‘여성 히스패닉 난민’이 가장 불리했다. 교차된 정체성이 결과를 좌우한 셈이다.
 
이 모든 것은 단순한 데이터 품질만의 문제가 아니다. 잘못 설계된 AI는 기존 사회의 차별을 학습해, 더 빠르고 더 은밀하게 재생산한다. 그 과정에서 우리는 차별의 작동 방식을 제대로 알 수도, 피해자조차 차별을 인식하지 못한 채 불이익을 당할 수 있다.
 
정책 결정자들은 시급히 AI 편향성 검증을 의무화하고, 개발 과정의 투명성을 높이며, 공공시스템에 대한 독립적인 감시를 도입해야 한다. 무엇보다도 아시아계, 의료 전문가, 지역 사회 단체 등 현장의 목소리를 포함해 시스템 설계에 반영해야 한다.
 
AI는 단순히 현실을 비추는 거울이 아니다. 지금 존재하는 불평등과 차별을 학습해, 더 강력하고 빠르게 퍼뜨리는 엔진이 될 수 있다. 개입하지 않는다면, 차별은 코드 속에 녹아 우리 삶 깊숙이 스며들 것이고, 그 결과는 훨씬 오래 지속할 것이다.

김선호 / USC 컴퓨터 과학자