[시론] 대선 예측이 빗나가는 이유

치열한 선거전의 결과를 예측하는 것은 쉬운 일이 아니다. 하지만 접전이 될 것이란 것조차 예측하지 못했다는 건 큰 문제다. 이번 미국 대선 결과와 상관없이 2016년에 이어 2020년에도 가장 명백한 패자는 결과를 제대로 예측하지 못한 각종 여론조사 기관이라고 할 수 있다. 4년 전에는 아예 승자를 맞추지도 못했지만, 이번에도 대선과 의원 선거의 결과가 예상 밖의 접전양상으로 나타났으니 여론조사 방법에 심각한 의구심을 가질 만한 상황이다.

많은 분석가들은 4년전 크게 벗어난 예측을 표본추출 오류의 결과로 결론을 내렸었다. 인구밀도가 낮은 지역에서 주요 변수의 대표성에 문제가 생기면 예측결과가 아예 틀릴 수 있다. 특히 양당의 선호도가 도시와 교외지역에 따라 명확히 갈리는 미국의 경우 샘플링 오류의 영향은 더욱 증폭된다.

전과 같은 실수를 되풀이하지 않기 위해 이번에는 ‘대졸 이하의 백인 남성’등의 특정 그룹에 가중치를 부여한 조사기관도 있다고 들었는데, 결과적으로 그런 방식도 예측 정확도에 큰 기여를 하지 못했다.

그래서 분석작업에서의 ‘인간적 요소’도 간과하면 안된다. 모델링을 놓고 흔히 “반은 과학, 반은 예술”이란 표현을 쓰지만, 이렇게 크게 벗어난 예측을 보자면 그 예술이란 부분이 문제가 될 수도 있다는 생각이다. 고전적 모델링 과정에서 예측변수나 알고리즘의 선택에 전문가의 성향이 전적으로 배제될 수는 없다.

게다가 구조적 오류나 아예 틀린 데이터는 그 어떤 통계적 방식으로도 극복하기 어렵다. 미국식 표현인 “쓰레기를 넣으면 쓰레기 같은 결과가 나온다”라는 표현이 적절할 것이다.

그 ‘인간적 요소’는 단지 모델링 작업뿐 아니라 사용자들이 예측결과를 적용하는 과정에서도 문제가 될 수 있다. 단순한 일기예보에 대한 반응도 사람마다 다르며, 예측의 적절함에 상관없이 사용자에게 감정을 다 빼고 결과를 보라는 것은 애초부터 무리한 주문이다.

구조적 편향성으로 인해 이제 기존의 여론조사 방식은 종말을 맞고 있는 것인지도 모른다. 특히 전화를 통한 여론조사는 더 이상 적절하지 않다. ‘모르는 번호에서 걸려온 전화를 받고 모든 질문에 성실히 대답한 사람’이란 집단은 그저 희망사항일 뿐이며 샘플링 오류의 근원이다. 발신자 신원이 표시되는 휴대 전화기를 가지고 누가 미확인 번호에 응답할 것이며, 설문방식이 적절하더라도 선호하는 후보에 관한 대답을 회피하는 사람도 많다.

2016년 미 대선 당시 ‘앞마당에 설치한 지지후보 표식의 수’ 등의 실제적 변수를 바탕으로 결과를 정확히 예측한 머신 러닝 알고리즘이 화제가 되었다. 그런 변수는 분명 사람들의 성향을 나타내지만 질문에 대한 대답의 형태는 아니다. 사람들의 말과 행동이 다른 경우는 흔하다.

일례로 어떤 배달 피자가게의 1년 판매량을 조사할 때 주인이 대답한 판매량과 사용한 피자 박스의 수 중 어느 변수에 편향성이 더 있을 것인가?

찾아보자면 질문이 필요 없는 변수는 도처에 널려 있다. 데이터가 흔한 미국에서 대선결과 예측에 쓸 만한 변수들은 그 앞마당 표식숫자 말고도 정치 집회자들이 차지한 면적, 소셜미디어상 긍정적·부정적 언급 수, 지지자별 평균 기부금액, 최초·반복 기부자 수 등을 고려해 볼 수 있다.

머신 러닝은 주로 자동화 도구로 인식되어 있지만 그것을 모델링 과정에서 인간적 요소를 최소화하는 방식으로 이용할 수도 있다. 감정이 없는 기계는 역설적으로 틀린 예측으로 인한 인간들의 감정적 손실을 최소화할 것이다. 넘쳐나는 데이터와 AI 시대에서 기존의 방식만을 고집할 일이 아니다. 장벽은 기술적 요소들이 아니라 상상력 부족에 있다.


유혁 / 윌로우 데이터 스트래티지 대표