항해 플러스 AI 2주차 후기 - 딥러닝 NLP 여정기

지난 주차 동안 항해플러스 AI 코스에서 자연어 처리(NLP)의 세계를 탐험했습니다. 특히 딥러닝을 활용한 자연어 처리 모델인 RNN과 Transformer를 배우면서 많은 생각을 하게 되었어요. 이번 글에서는 제가 배운 내용을 돌아보면서 느꼈던 점들과 추가적인 개념 정리도 함께 해보려고 합니다.

먼저, 자연어 처리 분야에서 딥러닝 모델을 활용할 때 가장 큰 문제가 데이터의 양이라는 점입니다. 우리가 자주 사용하는 영어 표현이나 인기 있는 언어들은 충분한 데이터를 확보할 수 있지만, 비주류 언어나 특수한 분야, 예를 들어 고대 문자나 의학적인 질문들에 대해서는 학습 데이터가 충분하지 않은 경우가 많습니다. 처음 이 문제를 접했을 때 저는 “AI라면 모든 걸 쉽게 해결할 수 있지 않을까?” 하는 막연한 생각을 가지고 있었습니다. 하지만 이번 학습을 통해 현실적인 한계와 그 해결책에 대해 구체적으로 알게 되었죠.

이러한 데이터 부족 문제를 해결하기 위한 방법이 바로 ‘Transfer Learning(전이학습)’이었습니다. Transfer Learning은 충분한 데이터로 미리 학습한 모델을 가져와서, 데이터가 적은 문제에 추가적으로 학습을 진행하는 방식입니다. 이때 사용하는 미리 학습된 모델을 Pre-trained 모델이라고 합니다. 대표적인 모델로는 BERT와 GPT가 있습니다. 이 모델들은 이미 일반적인 언어 패턴과 구조를 이해하고 있기 때문에 작은 데이터셋만으로도 좋은 성능을 낼 수 있습니다.

Transfer Learning은 크게 두 단계로 나누어집니다. 첫 번째는 ‘Pre-training(사전학습)’ 단계로, 충분한 데이터를 이용하여 모델을 학습시키는 단계입니다. 이 사전학습은 Supervised(지도학습) 방식과 Unsupervised(비지도학습) 방식으로 나뉘게 됩니다. Supervised 방식은 데이터에 정답(label)이 있는 경우를 의미하며, 예를 들어 감정 분석(긍정/부정)이 있습니다. Unsupervised 방식은 데이터에 정답이 없어 모델이 스스로 데이터를 학습하는 방식이며, 주로 단어 임베딩 학습에 사용됩니다. 처음에 Unsupervised 방식이 데이터를 효과적으로 학습할 수 있을까 의문이었지만, 실제로 적용된 사례들을 보며 그 효율성과 정확성에 깊은 인상을 받았습니다.

두 번째 단계는 ‘Fine-tuning(미세조정)’으로, 사전 학습된 모델의 파라미터를 활용하여 실제 목표로 하는 문제에 맞춰 추가로 학습시키는 과정입니다. Fine-tuning 과정에서도 두 가지 방법이 있는데, 하나는 모든 파라미터를 재학습시키는 방식이고, 다른 하나는 특정 층(layer)만 고정하고 학습시키는 방식입니다. 보통 메모리 이슈나 과적합(overfitting)을 방지하기 위해 특정 층을 고정하고 학습시키는 방법을 선호합니다. 특히 파라미터 수를 줄이면 학습 속도가 빨라지고 모델 성능도 향상될 수 있다는 점에서, 효율성을 중시하는 제 성향과 잘 맞는 방식이었습니다.

이러한 모델들이 실제 서비스에 활용되는 것을 보면서 많은 영감을 받았습니다. 실제 커머스 웹서비스에서 BERT와 GPT는 개인화 추천, 고객 서비스 자동화, 리뷰 분석, 검색 향상, 콘텐츠 생성, 다국어 지원 등 다양한 방식으로 활용되고 있었습니다. 이러한 실제 적용 사례를 보면서 “나도 이런 모델들을 내 손으로 직접 구현하고 서비스에 적용할 수 있겠구나” 하는 기대감이 생겼습니다. 특히 제가 관심 있는 개인 맞춤형 추천 서비스에 딥러닝 기반의 자연어 처리를 적용하면 사용자 경험을 획기적으로 개선할 수 있겠다는 생각이 들었습니다.

다음으로 배웠던 RNN(Recurrent Neural Network)에 대해 조금 더 자세히 살펴보겠습니다. RNN은 주로 시퀀스 형태의 데이터를 다룰 때 사용되며, 문장 내에서 단어의 순서에 따라 의미가 달라지는 언어 데이터를 잘 처리할 수 있습니다. RNN은 각 단어를 입력받아 hidden state라는 내부 상태를 업데이트하며 문맥을 이해합니다. 그러나 일반적인 RNN은 긴 문장에 대해 초반 내용을 잊어버리는 단점이 있습니다. 이러한 단점을 처음 접했을 때, 사람의 기억력과 비슷한 제한점이 있다는 점이 흥미로웠습니다.

이 문제를 해결하기 위한 모델로 LSTM(Long Short-Term Memory)과 GRU(Gated Recurrent Unit)가 개발되었습니다. LSTM은 Forget gate(잊기), Input gate(입력), Output gate(출력) 세 가지 게이트를 사용하여 필요한 정보를 선택적으로 기억하거나 잊도록 설계되었습니다. GRU는 이 구조를 더 간략화하여 연산 효율성을 높였습니다. 특히 LSTM을 학습하면서 사람의 기억 메커니즘과 유사한 부분이 많아 흥미롭게 느껴졌습니다. 모델이 마치 사람처럼 중요한 정보를 오래 기억하고, 덜 중요한 정보를 잊는다는 점에서 인간의 사고 방식을 모방하려는 시도라는 생각이 들었습니다.

이 외에도 Sequence-to-Sequence 모델을 통해 입력과 출력이 모두 텍스트인 번역이나 질의응답 문제를 해결할 수 있다는 점을 배웠습니다. Encoder-Decoder 구조로 입력 문장을 벡터로 압축하여 전달하고, Decoder에서 새로운 문장을 생성하는 방식입니다. 특히 Attention 메커니즘은 Decoder가 각 단어를 생성할 때 Encoder의 모든 단어 중 중요한 단어를 집중적으로 참고하게 만드는 방식으로, 인간이 특정 정보를 더 잘 기억하는 방식과 비슷하여 매우 인상 깊었습니다. Attention 메커니즘을 통해, “중요한 부분에 집중하라”는 학습의 지혜를 모델이 자동으로 구현한다는 사실에 깊은 공감을 했습니다.

마지막으로, Transformer 모델은 RNN 대신 Attention만으로 텍스트 데이터를 처리하며 효율성을 극대화한 모델입니다. Transformer는 병렬 연산이 가능하여 처리 속도가 빠르고, Positional Encoding을 통해 단어의 순서를 학습하게 합니다. 이러한 특징들은 앞으로 서비스 개발에 많은 도움이 될 것으로 보이며, 앞으로 더욱 공부하고 싶은 주제가 되었습니다.

이번 주차를 마무리하며 자연어 처리에 대해 더 깊게 이해하게 되었고, 실제 서비스에 어떻게 적용할 수 있는지 구체적으로 생각하게 되었습니다. 앞으로도 항해플러스 AI 코스에서의 배움을 실천하며 꾸준히 성장해 나가겠습니다. 읽어주셔서 감사합니다!

항해 플러스 - 추천인 코드: CF7LUQ

#항해99 #항해 플러스 AI 후기 #AI 개발자 #LLM