Kookmin WebzineVol.98

“대량살상 수학무기”

- 어떻게 빅데이터는 불평등을 확산하고
민주주의를 위협하는가 -

(소프트웨어학부 윤종영 교수)

여러분이 아침에 일어나 스마트폰을 확인하는 순간부터, 유튜브 쇼츠를 보고, 소셜 미디어를 확인하며, 배달 앱으로 음식을 주문하고, 넷플릭스에서 영화를 고르는 모든 순간에 알고리즘이 함께합니다. 이들은 여러분의 선택을 예측하고, 관심사를 분석하며, 때로는 여러분보다 여러분을 더 잘 아는 것처럼 보입니다. 하지만 이런 편리함 뒤에 숨겨진 어두운 면이 있다면 어떨까요?

취업을 준비하며 지원한 회사에서 서류 탈락 통보를 받았을 때, 은행에서 대출을 거절당했을 때, 보험료가 갑자기 오를 때, 우리는 그 이유를 정확히 알 수 있을까요? 혹시 그 결정이 공정했을까요? 캐시 오닐(Cathy O’Neil)의 『대량살상 수학무기(Weapons of Math Destruction)』는 바로 이런 질문에서 시작됩니다. 이 책은 우리가 당연하게 받아들이던 ‘객관적’이고 ‘과학적’인 알고리즘의 판단이 실제로는 어떻게 불평등을 심화시키고, 개인의 삶을 파괴하며, 사회 정의를 훼손하는지를 날카롭게 고발합니다.

저자가 제시하는 ‘대량살상 수학무기(Weapons of Math Destruction, WMD)’라는 용어는 알고리즘의 다음 세 가지 위험을 지칭합니다.

WMD는 그 작동 방식이 외부에 공개되지 않습니다. 마치 검은 상자처럼, 데이터가 들어가면 결과가 나오지만, 그 과정은 알 수 없습니다. 기업들은 ‘영업비밀’이나 ‘복잡한 기술’이라는 이유로 알고리즘을 공개하지 않습니다. 그 결과 채용에서 탈락하거나, 대출이 거절되거나, 보험료가 오를 때 우리는 그 이유를 정확히 알 수 없고, 이의를 제기할 방법도 제한적입니다.

예를 들어, 많은 기업이 사용하는 AI 채용 시스템은 지원자의 이력서를 분석해 점수를 매기지만, 어떤 요소가 어떤 가중치로 평가되는지는 공개되지 않습니다. 지원자는 자신이 왜 탈락했는지 알 수 없고, 따라서 개선할 방법도 찾기 어렵습니다.

WMD는 한 번 개발되면 수십만, 수백만 명에게 동시에 적용됩니다. 인간 면접관의 실수는 몇 명에게만 영향을 미치지만, 알고리즘의 실수는 디지털 시대의 확장성을 통해 엄청난 규모로 복제됩니다. 예를 들어, 채용 알고리즘이 특정 대학 출신을 불리하게 평가하도록 설계되었다면, 이는 수많은 해당 대학 졸업생들의 기회를 박탈할 수 있습니다.

WMD는 개인과 사회에 실질적 피해를 입힙니다. 이는 주로 알고리즘이 학습하는 데이터의 편향성에서 비롯됩니다. 과거의 차별이 반영된 데이터로 훈련된 알고리즘은 그 차별을 학습하고 재생산하며, 때로는 증폭시킵니다. 더 심각한 것은 이러한 피해가 사회의 가장 취약한 계층에 집중된다는 점입니다.

미국 워싱턴 D.C.의 공립학교에서 도입된 시스템은 학생들의 시험 점수 변화를 기반으로 교사를 평가했습니다. 이 시스템은 수많은 우수한 교사들을 부당하게 해고시켰습니다. 문제는 학생 성적에 영향을 미치는 요인이 교사의 능력만이 아니라는 점입니다. 학생의 가정환경, 전년도 담임교사의 영향, 학급 구성, 심지어 시험 당일의 컨디션까지 다양한 변수가 있지만, 알고리즘은 이를 모두 교사의 책임으로 돌렸습니다.

더 심각한 것은 이 시스템이 통계적으로 신뢰할 수 없는 방법론에 기반했다는 점입니다. 같은 교사의 평가 점수가 해마다 크게 달라졌고, 이는 시스템의 불안정성을 보여줍니다. 그럼에도 이 점수는 교사의 운명을 결정하는 절대적 기준으로 사용되었습니다.

많은 기업들이 지원자의 ‘적성’을 측정한다며 온라인 성격검사를 실시합니다. 하지만 이러한 테스트들은 과학적 근거가 부족할 뿐만 아니라 특정 계층에 불리하게 작용합니다. 예를 들어, “규칙을 어긴 적이 있는가?”라는 질문에 정직하게 답한 지원자가 오히려 불이익을 받을 수 있습니다.

또한 일부 기업들은 채용 과정에서 지원자의 신용도를 조회합니다. 하지만 신용도는 개인의 업무 능력과 직접적 관련이 없으면서도, 경제적 어려움을 겪는 사람들에게 추가적인 불이익을 가합니다. 이는 빈곤의 악순환을 만들어냅니다.

금융회사들은 빅데이터를 활용해 개인의 신용도를 평가하고 대출 조건을 결정합니다. 겉으로는 인종이나 성별을 직접 고려하지 않는다고 하지만, 거주 지역, 구매 패턴, 소셜 네트워크 등의 ‘대리 변수(proxy variables)’를 통해 사실상 차별이 이뤄집니다. 예를 들어, 특정 우편번호는 소득 수준과 인종을 암시하고, 이는 대출 승인 여부와 금리 결정에 영향을 미칩니다. 결과적으로 이미 경제적으로 어려운 사람들이 더 높은 금리의 대출을 받게 되어 불평등이 심화됩니다.

COMPAS와 같은 재범 위험도 평가 도구는 피고인의 재범 가능성을 예측하여 판사의 판결에 영향을 미칩니다. 하지만 이러한 시스템들이 인종 편견을 내포하고 있다는 연구 결과들이 나오고 있습니다. 흑인 피고인들이 백인 피고인들보다 높은 재범 위험도로 평가받는 경향이 있으며, 이는 기존의 사회적 편견이 알고리즘을 통해 자동화되고 있음을 보여줍니다.

『대량살상 수학무기』는 우리 시대의 가장 중요한 쟁점 중 하나를 다루고 있습니다. 이 책은 알고리즘이 중립적인 도구가 아니라, 인간의 편향과 사회적 불평등을 학습하고 재생산하며 때로는 증폭시키는 ‘무기’가 될 수 있음을 명확히 보여줍니다.

하지만 저자의 목적은 절망을 주는 데 있지 않습니다. 오히려 문제를 정확히 인식함으로써 더 나은 해결책을 찾을 수 있는 출발점을 제공합니다. 우리는 이 책을 통해 알고리즘의 편리함에만 현혹되지 않고, 그 이면의 위험과 윤리적 문제들을 비판적으로 사고할 수 있는 능력을 기를 수 있습니다.

저자는 우리에게 다음과 같은 중요한 질문들을 던집니다: 우리는 어떤 사회를 원하는가? 효율성과 공정성 사이에서 어떤 균형을 찾을 것인가? 어떻게 기술을 선하게 활용할 것인가? 이런 질문들에 대한 답을 찾아가는 과정에서 우리는 단순히 기술을 사용하는 사람을 넘어, 기술이 사회에 미치는 영향을 책임감 있게 고려하는 시민으로 성장할 수 있을 것입니다.

『대량살상 수학무기』를 읽고 나면, 우리는 세상을 보는 새로운 관점을 갖게 됩니다. 그리고 그 관점을 통해 더 공정하고 투명한 알고리즘 사회를 만들어가는 데 기여할 수 있을 것입니다. 이 시대의 중요한 과제들을 이 책과 함께 고민하고 해결책을 모색해 보기를 강력히 추천합니다.