애덤 쿠차르스키 지음
고호관 옮김
세종서적
이 책 『수학자가 알려주는 증명의 함정』에는 4색 정리 증명 과정에 대한 강연의 일화가 소개된다. 4색 정리는 어떤 지도도 네 가지 색만으로 인접한 지역을 구분할 수 있다는 수학적 정리다.
120여 년 동안 많은 수학자들이 증명에 도전했다가 실패한 끝에, 1976년 컴퓨터로 가능한 모든 경우의 수를 계산하는 방식으로 해결됐다. 그 증명은 수백장의 컴퓨터 출력물이었다. 이런 역사를 들은 한 청중은 컴퓨터에 그렇게 의존한 증명을 어떻게 믿을 수 있느냐고, 다른 청중은 수백 쪽을 사람이 일일이 확인해야 하는 증명을 어떻게 믿을 수 있느냐고 물었다. 확실한 증명을 위해 무엇이 필요한지를 두고 엇갈리는 시각이다.
지은이는 이런 엇갈림이 고대부터 반복되어 온 문제라고 지적한다. 이런 깨달음에는 그의 개인적 경험도 큰 몫을 한 듯싶다. 우리식 분류로는 이론 및 응용 수리통계학자에 가까운 그는 전염병 유행의 수리 모델 연구로 박사 학위를 받았고, 코로나 팬데믹 당시 영국의 대응에도 참여했다. 그 과정에서 찬사와 비판을 동시에 경험했다. 아직 충분히 입증되지 않은 위험을 과장한다는 비난도, 반대로 위험을 과소평가한다는 비난도 받았다.
여러 시대와 분야를 넘나들면서도, 책의 전체적 흐름은 역사적 전개를 따른다. 1~2장은 명료한 정의와 자명한 공리에 기반한 유클리드식 증명 체계가 중심이다. 링컨은 유클리드식 명징함을 구사한 연설로 일약 스타 정치인으로 떠올랐지만, 같은 시기 수학자들은 직관적으로 명료하고 자명할지라도 오류인 경우들을 발견했다. 매끄러운 대상 두 개를 더하면 결과물은 상식적으로 당연히 매끄럽다. 그런데 매끄러운 함수(무한히 미분 가능해 그래프가 매끄럽게 이어지는 함수)를 무한히 더했더니 모든 점에서 울퉁불퉁한 함수가 나오기도 하는 것이었다. 수학계는 직관을 넘어 논리적 엄밀성을 택했고, 덕분에 새로운 수학이 개척될 수 있었다.
3~6장은 배심원 제도, 과학 연구, 수리통계학 등 다양한 영역에서 증명과 입증이 결코 단순하지 않은 과정임을 보여준다. 우리는 잘 설계되고 제대로 수행된 실험을 충분히 반복하면 확실한 답을 얻을 수 있으리라고 직관적으로 믿는다.
그러나 현실의 실험과 관찰은 불완전한 상태에서 제한된 횟수로만 이루어진다. 실험 자체가 불가능한 질문도 많다. 게다가 데이터를 다루는 목적이 참인 명제를 찾는 것인지, 아니면 실제 판단에 도움이 되는 근거를 확보하는 것인지에 따라서도 문제 성격은 달라진다.
인과관계를 밝히는 일 역시 쉽지 않다. 홍차에 우유를 따랐을 때와 우유에 홍차를 따랐을 때의 맛 차이를 감지할 수 있는 사람이 존재한다는 사실이 입증되고, 그 감각을 설명하는 인과관계가 밝혀지기까지도 수십 년이 걸렸다.
마지막 세 장은 컴퓨터와 정보 과잉, 그리고 AI(인공지능) 시대에 증명이 직면한 문제를 다룬다. 충격적인 대목은 ‘공정한 알고리즘’이 수학적으로 불가능할 수도 있다는 지적이다. 일찍이 계몽주의 철학자 콩도르셰는 완벽히 자유로운 유권자들의 의사를 언제나 정확히 반영하는 투표 제도는 수학적으로 불가능하다고 증명했다.
지은이에 따르면, 동일한 가치관과 사회적 조건 아래 도출된 공정성 기준들일지라도 이를 동시에 충족하는 알고리즘은 알려진 바 없고, 어쩌면 수학적으로 불가능할지도 모른다. 점점 더 자동화된 추론 시스템에 의존하는 현실에서 중요한 의미를 갖는 문제다. 완벽하게 공정하지는 못해도 감내할 수 있을 정도로 작고 사소한 편향성만 지녔다고 입증된 알고리즘과 AI를 요구하는 것이 시급할 수 있다.
분명한 것은 현실 세계에서 절대적으로 확실하게 입증할 수 있는 일은 드물다는 점. 그래서 지은이는 서로 다른 증거와 독립적인 여러 방법을 겹쳐 사용해서 결론을 확인하는 ‘삼각측량’ 전략을 제안한다. 임시 대책 같지만, 지은이의 깊은 고심 끝에 나온 방책이다.