[인공 신경망에서의 멀티모달 뉴런 👽] 외계인 고문 기술로 유명한 OpenAI에서 올해 초 2개의 멀티모달 학습 모델을 선보였습니다. 그중 하나가 입력된 텍스트에 상응하는 이미지를 생성해주는 DALL·E이고 다른 하나가 CLIP(Contrastive Language–Image Pre-training)입니다. 멀티모달 학습이란 상이한 종류의 데이터로부터 학습을 수행하는 작업을 뜻하죠. 사진과 캡션을 함께 입력받아 그 관계를 학습한 뒤 사진에 캡션을 자동으로 달아주는 형태의 모델이 가장 유명한 예라고 할 수 있겠습니다. CLIP은 DALL·E보다 주목도가 덜 하지만 중요도는 그에 못지않습니다. 우선 인터넷에서 사진과 그에 대한 설명 데이터를 4억 건 정도 수집하여 (1) 해당 이미지와 텍스트를 각각 인코더를 통해 벡터화하고 이들 간의 유사도(Contrastive Objective)를 학습시켰습니다. 이미지 인코더로 ResNet 또는 Vision Transformer를, 텍스트 인코더로 Transformer를 사용했습니다. (2) 추론의 경우 '강아지의 사진', '고양이의 사진',..., 이렇게 분류를 원하는 클래스를 원하는 만큼 텍스트로 나열합니다. (3) 입력된 사진의 이미지 벡터와 방금 나열한 클래스들의 텍스트 벡터 간 유사도를 계산하여 가장 값이 높은 클래스로 배정합니다. 이때 클래스 집합이 사전 정의한 레이블이 아니라는 점이 중요합니다. ImageNet처럼 전통적인 데이터셋의 경우 분류 정확도가 ResNet과 동일하나 사물에 대한 소묘나 여러 변형이 담긴, 노이즈가 큰 데이터셋에 대해서는 성능이 월등히 앞섭니다. 즉 CLIP이 훨씬 범용성 있고 강건한 모델임을 뜻하지요. CLIP 모델을 설명 가능한 형태로 표현하려는 시도가 OpenAI 내에서 이뤄지고 있습니다. 지난 3월 4일 포스팅에서는 그 과정에서 발견한 놀라운 사실을 언급하고 있습니다. 신경망 모델 상위 계층에서 특정 개념을 담당하고 있는 단일 뉴런이 존재한다는 거죠. 다시 말해 거미 사진이든, 만화 속 스파이더맨 그림이든, 'spider'라고 하는 활자 이미지든, "거미"라는 개념에 강하게 반응하는 뉴런 한 녀석이 존재합니다. 예컨대 좌측에서 42번째인 이 뉴런 친구에게 "스파이더맨 뉴런"이라고 이름 붙여줍시다. 이건 데이터의 모달리티와 관계없이 모델이 고도의 추상화 작업을 해내고 있다는 방증이기도 합니다. 그러니까 다양한 변종에 강건해질 수 있는 거겠죠? 피쳐 시각화 기법을 이용해 특정 뉴런을 최대로 활성화시키는 이미지를 생성해볼 수 있고 데이터셋에 속한 샘플을 탐색해볼 수도 있습니다. 그래서 뉴런마다 적절한 이름표를 달아주는 작업을 할 수 있죠. 포스팅에서 언급한 흥미로운 소주제를 몇 가지 훑어볼까요? • 샌프란시스코에서 찍은 사진을 정확히 인식해내지만 그에 상응하는 "샌프란시스코 뉴런"은 아무리 뒤져도 찾지 못했답니다. 더 복잡한 형태의 매니폴드로 인코딩 되어 있는 걸까요? • 각 뉴런 가중치에 대해서 사칙 연산을 해보며 마치 Word2vec처럼 유추를 해볼 수 있습니다. "친밀함 뉴런" = "부드러운 미소 뉴런" + "마음 뉴런" - "질병 뉴런"이랍니다. 병상에 누운 환자와 친밀하게 어울리는 광경, 인터넷에서 찾아보기에 드문 사진인 것 같네요. • 모델이 추상화, 일반화시키는 능력이 강력하다 보니 사과에 메모지로 'iPod'라고 써서 붙여놓으면 그 활자에 강력히 반응하여 사과 사진을 iPod으로 분류합니다. 기계는 이런 면에서 인간의 메타 인지를 따라가려면 멀었네요. • 인터넷에서 선별한 데이터셋으로 학습했음에도 여전히 무분별한 편향이 존재합니다. 예컨대 "중동 뉴런"은 테러에, "이민 뉴런"은 라틴 아메리카 사진에 강렬히 반응합니다. 인간의 뇌가 특정 개념을 기억하기 위해 어떻게 작동하는지, 많은 논쟁이 있어왔고 두 가지 상반된 견해가 존재합니다. 하나는 수백만 개의 뉴런이 협력하여 다양한 정보를 하나의 일관된 상으로 연결하리라는 것. 다른 하나는 뇌가 각 개체를 인식하는 별도의 뉴런을 갖고 있다는 주장입니다. 1960년대 신경 생물학자 Jerome Lettvin은 후자의 아이디어를 "할머니 세포" 이론이라고 불렀습니다. 뇌가 각 가족 구성원을 인식하기 위해 전용 뉴런을 가지고 있다는 뜻입니다. 이 뉴런을 잃으면 더 이상 할머니를 알아볼 수 없습니다. (와이프 뉴런은 어디쯤이죠?...) 😔 2005년 Rodrigo Quian Quiroga는 간질 환자 실험을 통해 후자를 뒷받침하는 결과를 찾아냈습니다. 어떤 환자에게서 배우 Halle Berry에 특화된 뉴런을 찾아낸 거죠. 그 뉴런은 Halle Berry 사진뿐만 아니라 그녀의 그림, 이름 철자 이미지에도 반응했습니다. 심지어 캣우먼 마스크를 써도 말이죠. 위의 포스팅은 비슷한 현상이 신경망 모델 내부에서도 벌어지고 있음을 보여줍니다. 이 유사성이 단지 우연의 산물인지, 공통의 근본적인 원리가 기저에 존재하는지 더 엄밀히 연구해봐야 합니다. 인공지능의 겨울에서 그래 왔듯이 자연에 대한 모사는 발상의 둥지이자 편견의 늪이니깐요.