최근 부당해고 이슈로 많은 논란을 촉발한 전 구글 AI 윤리팀장 팀닛 게브루 박사의 논문을 요약한 기사입니다. 해당 기사에 따르면 팀닛의 논문은 구글의 NLP 모델 BERT는 물론 언어모델 전반이 가지고 있는 다음의 4가지 문제를 지적했다고 합니다. 1. 대규모 언어모델 훈련 시 소비되는 탄소배출량 2. 측량하기 어려울 만큼 늘어나는 데이터 양 3. 섬세한 큐레이션 없이 컴퓨팅 파워로 승부하는 대형 모델에 편향된 연구 4. 악용에 대한 우려 저는 팀닛이 제기한 4가지 문제 중에서 특히 1, 3번에 대한 이야기를 조금 해보고 싶습니다. 기후변화가 우리 눈 앞의 현실이 되고 비관적인 시나리오가 현실화 되어가는 가운데 IT 기업이 소비하고 있는 에너지와 그에 따른 탄소배출량에 대한 이야기도 점점 중요한 이슈가 되어가고 있습니다. 최근엔 IDC가 소비하는 전력을 줄이기 위해 더 이상 읽지 않는 이메일을 삭제하는 운동도 벌어지기도 했고요. 그런데 특히 딥러닝을 통한 AI모델의 발전은 IT 업계가 배출하는 탄소의 양을 폭발적으로 증가시켰다고 합니다. 어느 정도냐 하면 한개의 NLP 모델을 훈련시킬때 발생하는 탄소의 양이 평균적인 미국 자동차가 수명이 다할 때까지 배출하는 탄소의 양보다 다섯 배나 더 많은 수준이라는거죠.(관련기사: https://www.itworld.co.kr/news/124194) 애초에 딥러닝은 동시에 소비하는 전력과 컴퓨팅 파워만을 놓고보면 지극히 비효율적인 기술입니다. 딥러닝의 개념이 제시된지 몇십년이 지나서야 현실에서 빛을 볼 수 있게 된 배경도 컴퓨팅 파워의 단가가 비교할 수 없이 낮아졌기 때문이니까요. 물론 딥러닝은 지금까지 우리가 컴퓨터로 처리할 수 있을거라고는 꿈도 꾸지 못했던 일을 가능하게 해줬고, 앞으로도 인류 문명에 더 많은 기여를 할 기술임은 분명합니다. 하지만 딥러닝이 가진 태생적인 비효율성을 고려하면 우리의 생애 안에 닥쳐올 것이 분명한 기후재앙을 막기 위해서는 물론, 당장 눈 앞의 비용효율화를 위해서라도 딥러닝은 반드시 '딥러닝이 아니면 해결할 수 없는, 그리고 꼭 해결되어야 하는 문제'에 한해 신중하게 사용되어져야 한다고 생각합니다. (그리고 평범한 분석가의 레벨에서 보자면, 우리가 마주치는 문제의 거의 대부분은 단순한 회귀모형이나 그 응용을 통해 해결할 수 있는 경우가 훨씬 많습니다!) p.s : 사족입니다만 저는 위와 같은 이유로 퍼블릭 블록체인과 암호화폐는 근절되어야 할 기술이라고 생각합니다. 비트코인의 어마어마한 전력사용량은 현재 인류가 처한 상황을 고려해 볼 때 그 어떤 이득으로도 정당화가 안되는 수준이라고 생각하기 때문입니다.