[AI 편향(bias): 알고리즘으로 인해 잘못 고소 당했다고요?] 🖋️ 우리가 일상적으로 사용하는 서비스들에서 AI의 역할이 점점 커지고 있다. 소비자들은 비디오 스트리밍 서비스가 자동으로 추천하는 개인취향에 맞는 비디오를 보고, 구글 어시스턴트, 아마존 알렉사 등 보이스 어시스턴트를 사용하여 음악을 틀거나 조명의 밝기를 조절한다. 현재 맡은 제품도 AI를 사용하는데, 언제나 training data의 질과 알고리즘의 bias (편향)에 주의를 기울이고 철저히 테스트를 해야하며, 결과를 활용할 때 항상 신뢰수준과 한계점들에 대한 충분한 이해가 필요하다는걸 느낀다. 📑 미국에서 경찰의 인종차별과 폭력으로 인해 불만이 고조되고 있는 가운데 기술력이 떨어지는 안면 인식 소프트웨어와 경찰의 미숙한 사용으로 인한 첫 공식적인 피해 사례가 보도됐다. 작년 말에 미시간 주 디트로이트의 흑인 남성이 집 앞에서 체포되었는데, 경찰이 몇 달 전에 한 시계 가게 CCTV영상에 잡힌 절도범의 이미지와 약 5천만 장의 사진을 비교하여 찾은 사람이었다. 문제는 미시간 주 경찰은 DataWorks Plus라는 기업의 안면 인식 소프트웨어를 사용하는데, 이 기업은 기존에 범인 사진 관리 소프트웨어를 만들다가 외주를 통해 안면 인식 기능을 추가했다. 이들은 시스템의 정확도와 편향을 제대로 측정하지 않고, 수동으로만 검사를 해왔다. 또한 미시간 주가 사용하는 알고리즘은 연방기관의 테스트에서 흑인과 동양인 얼굴의 안면인식 성공률이 백인의 얼굴에 비해 10~100배나 낮은 것으로 측정되었다. 이 사건의 경우, 알고리즘은 몇 명의 용의자 사진과 이에 대한 신뢰도를 제공했고, 검사자는 디트로이트 경찰에게 이 결과를 ‘수사 단서 리포트’를 통해 제공했다. 딜로이트 경찰은 휴대폰 위치 추적, 목격자 증언 등 다른 증거를 충분히 확보하지 않은 상태에서 6명의 사진을 가게 점원에게 보여준 후 그가 지목한 사람에게 바로 체포 영장을 발부했다. 심문 과정 중에 경찰관은 범인 사진이 체포된 윌리엄 씨의 얼굴과 다르다는 것을 발견했지만, 윌리엄 씨는 체포 후 30시간이 지나서야 보석으로 석방되었다. 🖋️ 이처럼 AI 기술을 적용 시 충분히 검증된 알고리즘을 사용하고, AI가 제공하는 결과값을 제대로 이해하고 올바르게 사용하는 프로세스를 수립하는 것이 중요하다는 것을 알 수 있다.