곽기은

MunichRe 데이터 분석가 & Georgia Tech 석사

팔로우

[ ESG가 중요? AI 모델은 얼마나 친환경 적일까? ] AI 모델을 하나 훈련시키는데 배출되는 탄소는 28만kg로, 자동차 5대가 폐기될 떄 까지 배출하는 탄소보다 많다. 특히 자연어 처리 모델은 인터넷에서 데이터를 지속적으로 긁어오면서 훈련이 되기 때문에 매우 많은 computational power가 필요하다. 그 예로 Transformer, ELMo, BERT, GPT-2가 있다. 한 산업의 폭발적인 성장을 견인한 AI 모델들인데 자동차 5대 정도의 이산화탄소 배출량 정도는 괜찮은 것 아닌가? ● 다음은 각 모델 생성에 필요한 전력을 이산화탄소로 전환한 수치들 - 2018 BERT - 전력 소비량 1,507kWh  ->  이산화탄소 배출량 652kg - Transformer 파라미터 213,000,000개 - 전력 소비량 201kWh  ->  이산화탄소 87kg - Transformer 파라미터 213,000,000개 + 뉴럴 아키텍처 탐색 - 전력 656,346kWh -->  이산화탄소 280,000kg ● 조금 더 고려해야 할 사항들 - 보통 모델을 한 번 훈련시키는데 그치지 않고 파라미터를 바꿔가며 다양한 시도를 통해 가장 정확도가 높은 모델을 만들어낸다. - 또한, 이것으로 끝나지 않고 다양한 데이터 셋을 바탕으로 모델을 만들기도 하고, 만든 모델을 기반으로 새로운 모델을 만들기도 한다. - 보통 논문에 활용할 수 있는 모델을 만들기까지 약 4,700개의 모델을 6개월 동안 만든다. - 어림잡으면 28만 kg * 4,700 -> 13억kg + - 그리고 이건 하나의 AI 모델이며, 구글, 아마존, 페북, 마이크로소프트 등에서 다수의 AI 모델을 매년 생성해내고, 그 숫자 역시 지속적으로 증가 ● 조금 더 피부에 와 닿게 - AI 모델과 논문 하나를 만드는 데 배출되는 이산화탄소 = 자동차 5대 * 4700 = 자동차 23,500대가 버려질 때까지 배출하는 이산화탄소 - 이는 강원도에서 한 달에 새로 등록되는 차 대수와 일치 (2021.02 기준) 링크: http://stat.molit.go.kr/portal/cate/statFileView.do?hRsId=58&hFormId=5409&hKeyWord=%EC%9E%90%EB%8F%99%EC%B0%A8%EB%93%B1%EB%A1%9D&hTotalFlag=Y AI 모델 하나를 훈련하는데 많은 양의 이산화탄소가 배출되지만, 개인적으로 이런 AI 모델의 발전은 다른 산업에 비하여 훨씬 더 많은 가치를 창출한다고 생각. 전 세계 많은 사람들이 이 모델을 바탕으로 새로운 서비스를 제공하고, AI와 IT, 데이터의 발전의 근간이라고 할 수 있다. 또한, 이런 AI 모델들은 아무나 하는 것이 아니라, 대규모 자본을 갖고 있는 기관들만이 진행할 수 있음. 물론, 그럼에도 불구하고 무시할만한 수치는 아님. 앞으로 이런 모델은 더욱 더 복잡해지고 많아질 것임. 본문에서: “Human brains can do amazing things with little power consumption. The bigger question is how can we build such machines.”

Training a single AI model can emit as much carbon as five cars in their lifetimes

MIT Technology Review