<NLP 자연어처리와 NLU 자연어 이해의 차이를 알고 계시나요?> 요즘 많은 곳에서 AI와 딥러닝을 이용한 NLP (Natural Language Processing 자연어 처리)를 한다라는 이야기를 듣습니다. 그에 비해서 NLU (Natural Language Understanding 자연어 이해)에 관해서는 많은 이야기가 없는데, 오늘은 이 이야기를 좀 할까 합니다. 1. NLU는 NLP의 후기 단계에 이루어지는 과정이라고 생각하면 됩니다. 자연어 처리(NLP)는 NLU의 전제 조건이됩니다. NLP는 컴퓨터 시스템의 텍스트 또는 오디오 분석을 통해 인간의 언어를 이해하도록 훈련됩니다. 단어와 문장을 토큰이라고 하는것으로 나누어서 이렇게 합니다. 그런 다음 이러한 토큰은 각 단어의 뿌리를 식별하는 스테밍 (Stemming)을 통해 추가로 분석됩니다. 예를 들어, 단어 "먹는다", "먹었다", "먹고 있는", "먹는중"은 모두 루트 "먹다"로 필터링된다. 그러나 모든 단어가 쉽게 뿌리째 뽑히는 것은 아니며, 프로세스를 완료하기 위해서는 추가 단계가 필요합니다. 문법, 형태학, 음운학에 관한 다양한 형태의 단어들을 함께 묶는 과정인 레마티제이션Lemmatization은 정확한 줄임말(줄임말)이 반환되도록 하기 위해 파생 과정을 더욱 조정하는데 도움을 줍나다. NLP와 NLU는 모두 인간의 언어에 초점을 맞추고 있지만, 그들의 목적은 다릅니다. 언어의 분석에 집중하는 NLP와 달리, NLU는 단어 뒤에 있는 의미론이나 의미에 관심을 갖습니다. 즉 '먹다'와 '섭취하다', '식사하다', 등을 구별하면서도 같은 의미라고 파악을 하는 과정입니다. 이것은 컴퓨터 시스템에 알려진 문법 규칙을 사용하여 단어를 이해하는 의미 있는 방법을 제공한다. 이러한 규칙은 컴퓨터 시스템이 텍스트 마이닝(추출) 분류 또는 검색을 통해 얻는 언어 데이터에 대해 훈련될 때 학습되고, 일단 시스템이 단어의 의미를 올바르게 식별하고 이해하거나 모호함을 명확하게 할 수 있다면, NLU는 달성이 가능해 집니다. 2. 언어의 특성 파악 A. 모호성 컴퓨터는 인간이 경험해 온 축적된 지식과 상황적 경험이 부족하기 때문에 늘 애매모호함을 해결해야 합니다. 예를 들어, "배"라는 단어는 그것이 사용되는 상황에 따라 몇 가지 다른 의미를 가질 수 있죠. 그것은 인간(또는 동물) 신체의 일부, 과일의 이름, 물에서 이동하는 수단등의 여러 뜻이 존재하며 그때마다 문장의 구조와 의미로 파악해야 합니다. 그것에 더해서, NLU 과정에서는, "배가 아프다"라는 의미가 물리적인 아픔인지, 질투를 표현하는것인지를 구별해야 합니다. B. 읽기 vs. 이해하기 문장을 읽는것과 그것을 이해한다는것은 매우 다른 두 가지입니다. 한국말의 '잘 한다'라는 의미는 그 억양과 상황에 따라 전혀 다른 뜻으로 해석이 되어야 합니다. 이것이 NLU를 성공적으로 달성하기 위한 목표가 됩니다. C. 의미론 Semantics 문서나 문장에서 각 단어의 의미를 이해하는 것은 특히 둘 이상의 가능한 의미가 있을 때 이해하는데 매우 중요합니다. 예를 들어, "날리다"이라는 단어는 어떤 물건을 공중으로 던지는 신체적인 행위를 나타내는 동시에, 자산을 잃다, 없애다의 의미도 갖고 있고, 태극기가 바람에 날리다와 같이 그 모습을 표현하고 있을 수도 있습니다. D. 단어간 관계 단어 간의 명확한 관계를 확립하는 것은 NLP와 NLU에서 중요한 단계이다. 서로 간의 관계에 따라 클러스터된 개념의 노드로 구성된 지식 그래프는 컴퓨터 시스템이 쉽게 이해할 수 있는 맥락에서 단어 관계를 배치하는 데 도움이 될 수 있습니다. 예를 들어, "페라리", "세단", "픽업", "스테이션 왜건" 그리고 "비틀"이라는 용어는 모두 "자동차"의 범주에 속하기 때문에 지식 그래프에 함께 묶이게 될 것이며, 따라서 서로 관련이 있을 수 밖에 없습니다. 단어 사이의 이러한 연관성은 기계에 인간의 언어에 대한 근본적인 이해를 제공하는 것이다.