“언어 모델이 지식 베이스처럼 사용될 수 있는가”에 대한 페이스북 연구원들이 쓴 리뷰 논문을 일부 요약 정리해봤습니다. 어색한 표현이 많습니다. 그럼에도 읽어주셔서 감사합니다. # 서론 최근에

“언어 모델이 지식 베이스처럼 사용될 수 있는가”에 대한 페이스북 연구원들이 쓴 리뷰 논문을 일부 요약 정리해봤습니다. 어색한 표현이 많습니다. 그럼에도 읽어주셔서 감사합니다. # 서론 최근에 NLP 커뮤니티에서는 이미 학습된 NLP 모델들을 Knowledge Base로 쓰고자 하는 시도가 많다. → 그래서 Language Model(이하 LM)은 결국 Knowledge Base(이하 KB)처럼 행동해야 한다는 의견 제시 → 이를 LMs-as-KBs라고 표현한다. → 그리 하면 인간의 supervise 없이 작업을 수행할 수 있다는 장점 존재 이 논문에서는 LMs-as-KBs가 마주한 문제나 가져야 할 특성들에 대해 서술한다. ## LM이 따라가야 할 KB의 특성 이는 당연히 LM이 KB보다 모자르다는 소리는 아니다. 아직 KB는 인간의 손을 많이 타야 한다는 명확한 단점이 있고, 확장성과 표현성 측면에서 LM이 제공하는 유연함이 부족한 것으로 아직 관측되고 있다. 하지만, 분명 LM이 아직 부족한 부분도 있다. 이 논문에서는 KB에 대조하여 LM이 나아가야 할 방향성을 제시하였다. KB는 가능하지만, LM은 아직 한참 부족한 특성들은 다음과 같다고 한다. 1. Access 2. Edit 3. Consistency 4. Reasoning 5. Explanability 6. Interpretability 물론 마지막 3가지는 KB도 아직 가야할 길이 멀지만, LM에서보다는 KB에서 구현되는 것이 훨씬 쉽다고 한다. ### Access KB는 그래프 쿼리를 통한 질의가 비교적 쉽다는 특징이 있다. 반면, LM은 모델에 끼어있는 knowledge에 대해서 질의하는 것이 아직은 불가능하다. 학계에서는 이를 위하여 KB에 질의하는 것처럼 LM에 질의하는 시도를 하고 있다고 한다. 가령, LM이 fill-in-the-blank 같은 시도를 통해서 LM이 가지고 있는 Knowledge에 대한 시도를 한 사례가 있긴 하다고 한다. → Wilson L Taylor. 1953. “cloze procedure”: A new tool for measuring readability. Journalism quarterly, 30(4):415–433. 하지만, 아직 LM에 direct access을 하기 위해서 해야할 것이 너무 많다고 한다. ### Edit LM은 어떻게 보면 특정 시점의 시간에 수집된 데이터로 학습된 모델이다. 그러다 보니 LM이 가지고 있는 모델은 늘 최신이 아닐 수 있다. 더하여 모델은 시간이 지나면서, incorrect, biased, toxic 할 수 있다고 하였다. 이 문제를 MLOps에서는 Concept Shift나 Data Shift 라고도 부른다. 가령, 예를 들자면, 코로나가 창궐했을 때, 기존의 데이터로는 코로나 현상을 해석할 수 없다는 것을 들 수 있다. 그리고, Privacy 측면에서 LM이 지워야 할 예민한 데이터를 학습했다면, 모델 단에서 수정하지 못하고, 새로 모델을 만들어야 한다. 알다시피 언어 모델을 새로 빌드하는 것은 리소스가 상당히 많이 든다. 이러한 문제들을 쉽게 해결되기 위해서 LM의 knowledge editing 작업이 필요하다는 것이다. 하지만, 그렇다고 LM의 weight 하나를 수정하기도 뭐하다. 하나의 weight을 수정하는 것이 전체 모델에 어떤 영향을 미칠 지 알 수 없기 때문이다. ### Consistency 인간이 사용하는 언어는 여러가지로 해석될 수 있다는 특징을 지니고 있다. 이러한 특징은 LM에도 똑같이 반영되어서 의미가 같은 질문에 대해서 LM이 consistent한 대답을 낼 수 없다는 특징을 지니게 했다. 물론 일관적이라는 것이 정확도가 더 높다는 말은 아니다. KB는 Structured KB가 따로 있을 정도로 KB의 일관적인 표현에 대한 연구는 많이 되어 있지만, 그렇다고 KB에 들어있는 Knowledge가 늘 정확하다는 말이 아닌 것처럼 말이다. ### Reasoning KB로 먼저 예를 들자면, KB는 원인을 찾아가는데 있어서 그래프를 그대로 따라가면 된다는 특징이 있다. 이에 LM도 데이터셋 자체가 인과를 학습하기에 적절하다면, 여러 종류(?)의 reasoning을 할 수도 있게 한다는 여러 연구가 있지만, 아직 structured reasoning 같은 reasoning 같은 분야에서는 형편없는 성능을 낸다는 한계가 있다. ### Explainability and Interpretability KB는 단순하게 node와 link를 보는 것만해도 쉽게 이해할 수 있지만, LM은 단순하게 output 만을 본다고 해서 이해할 수 있지는 않다. 본문은 여기서 이해할 수 없다는 것에 부연 설명으로, 가령, LM은 특정 지식이 어느 파라미터에서 나오는지 조차도 알 수 없다는 것을 들었다. LM은 또 Blackbox라는 것에 자주 발목이 걸린다. 이 말인 즉슨, NLP에 대해 선행 지식이 없는 관련자들을 설득하는데 있어서 큰 어려움을 만든다는 것이다. 한 술 더 떠서 최근 LM 연구는 Blackbox 해결과는 거리가 먼 행보를 보이고 있다.