1. 이번 주 목표

• 회사, 개인 일정이 너무 빡빡해 성실하게 임하지 못했던 2주차까지 학습의 진도를 따라잡는 것이 최우선 목표였다.

2. 학습 내용

1. Transfer Learning

• data가 부족하거나 충분한 상황에서도 훨씬 빠르게 generalization이 잘되는 모델을 학습하는 방법

💡 자연어 처리 문제들은 어차피 입력이 다 같은 자연어인데, 다른 자연어 처리 문제를 푸는 모델(Pre-trained Model)을 잘 활용하면 data가 적은 자연어 처리 문제도 풀 수 있지 않을까?

• 구성요소

  • Pre-trained Model: 충분한 data로 학습하여 자연어 이해 능력 자체가 좋은 모델.

  • Fine-tuning: pre-trained model을 우리가 목표로 하는 자연어 처리 문제에 맞게 학습시키는 방법. 이 때 목표로 하는 자연어 처리 문제를 일반적으로 downstream task라고 부른다.

1.1 Pre-training

• Supervised pre-training: 입력과 출력 pair가 충분한 자연어 처리 문제에 대해서 모델을 학습하는 방식.

  • 학습에 사용되는 데이터가 “정답”을 가지고 있음

  • 감정 분석 (긍정/부정), 스팸 메일 분류(스팸/일반)

• Unsupervised pre-training: 주어진 text로부터 가상의 label을 생성하여 가상 label을 맞추는 방향으로 모델을 학습하는 방식.

  • 데이터에 정답이 없음

  • 모델이 스스로 데이터 내의 패턴, 구조, 관계를 스스로 찾아감

  • 단어 임베딩, 텍스트 카테고리 분석 (비슷한 문서끼리 정렬하는)

2. BERT(Bidirectional Encoder Representations from Transformers)

• 2018년 구글에서 발표한 Transformer Encoder Block을 사용한 NLU 모델

💡 BERT는 un-supervised 방식으로 pre-trained 모델을 학습하는 방식으로, 입력은 자연어이기만 하면 된다. 특별한 label이 필요가 없기 때문에 위키피디아 등의 text를 그대로 긁어와서 사용할 수 있다.

• 다음 2가지 loss에 대해 pre-training을 진행한다.

2.1 MLM(Masked Language Model)

💡 문장의 일부분을 지웠을(Masking) 때, 나머지를 보고 맞추는 식으로 모델을 학습하면 자연어 처리율이 올라갈 것 같은데?

1. 특정 token mask: 학습 단계에서 랜덤하게 token들을 [MASK] 라는 special token으로 변경(Masking)

2. Masking한 token 예측: 1에서 masking한 token들을 예측하는 방향으로 모델을 학습.

2.2 NSP(Next Sentence Prediction)

• Text가 두 문장으로 이루어져 있을 때, 두 문장이 실제로 이어진 문장인지 아니면 별개의 문장인지 맞추는 식으로 학습.

DistillBERT

• knowledge distillation이라는 방식을 활용하여 BERT와 비슷한 성능을 내지만 더 빠르고 가볍게 만든 pre-trained Transformer 모델

1. Teacher, student 모델 선정: teacher와 student 모델을 선정함. 일반적으로 teacher 모델은 성능이 좋은 pre-trained 모델, student 모델은 적당히 작게 학습된 모델.

2. Soft label 생성: teacher 모델을 가지고 soft label을 생성함. 예를 들어, MLM에서 label을 mask하기 전 token의 값이 아니라 해당 mask token에 대한 teacher 모델의 예측 값으로 설정한다(teacher 모델의 예측 값은 argmax를 하기 전의 값을 의미).

3. Student 모델 학습: 생성한 soft label을 가지고 student 모델을 학습하면 됨.

💡 DistillBERT는 위와 같은 knowledge distillation을 활용하여 학습하며 더 적은 parameter 수와 inference time으로 BERT와 비슷한 성능을 낸다.

3. GPT(Generative Pre-trained Transformer)

• 생성하는 사전학습 트랜스포머(?)

• BERT와 비슷한 방식으로 pre-training을 했으나, 약간 다른 next token prediction loss를 사용한다.

3.1 GPT의 next token prediction

• 기존 MLM loss: 문장 중간의 token을 masking.

• GPT의 next token prediction: 마지막 token을 masking.

• 앞의 문장만 보고 예측을 하기 때문에 문장 전체를 가지고 학습할 수 있음.

• 따라서 fine-tunning의 난이도와 효율이 굉장히 좋다.

3.2 Token Generative Model

• GPT의 text 생성은 다음과 같이 이루어진다.

1. 주어진 문장을 보고 token 생성

   1. GPT에 어떤 문장을 입력으로 넣음.

   2. next word prediction과 똑같은 과정으로 주어진 문장의 다음 token을 생성할 수 있음.

2. 생성한 token을 주어진 문장에 concat

   1. 위의 과정에서 생성된 token을 주어진 문장에 concat함.

   2. 그리고 다시 GPT에 입력으로 넣어 token을 생성함.

3. Special token이 나올 때 까지 생성

• 생성하는 방식은 sequence-to-sequence model의 decoder가 text를 생성하는 방식과 동일함.

3.3 Large Language Model

• parameter의 수를 폭발적으로 늘려 더 이상 fine-tuning에 의존하지 않을 수 있어졌다.

• 대신 파라미터의 수 만큼 많은 컴퓨팅 자원을 필요로 한다.

3.4 Few-shot learning

• 어떤 자연어 처리 문제를 풀 때 그 문제의 예시들을 먼저 보여주고, 주어진 문제를 풀리게 하는 것.

• train data로 존재하는 입력, 출력의 pair를 그대로 text로 변환하여 넣어주면 마지막에 주어지는 문제를 잘 풀 수 있음.

• 이렇게 few-shot learning을 활용하면 train data를 이용한 성능 올리기가 가능하다. 또한 여전히 fine-tuning과 같은 별개의 학습 과정도 필요 없다.

3. 느낀점

• 이번 주차, 재미있었다.

• 설명의 개연성이 충분하다고 느껴졌고 실제로 들으면서 음… 이런 느낌인가? 라는 연상도 좀 들었다.

• few-shot learning에서는 아 프롬프팅의 원리가 이건가? 싶은 생각이 들었다.