back off to a dictionary look up 방식이 뭔가요??

"Back-off to a dictionary look-up" 방식은 기계 번역에서 사용되는 방식입니다. Neural Machine Translation(NMT)에서는 종종 OOV(Out Of Vocabulary)라고 하는, 모델의 단어장(Vocabulary)에 없는 단어를 처리하는 데 어려움이 있습니다. 이 문제를 해결하기 위해 과거에 사용되던 방법 중 하나가 back-off to a dictionary look-up 방식입니다. 이 방식은 다음과 같이 동작합니다: 1. NMT 모델이 번역을 시도합니다. 2. 모델의 단어장에 없는 단어(OOV)를 만나면, 모델은 back off(또는 fallback)하게 됩니다. 3. 따로 준비된 사전(dictionary or glossary)을 참조하여 해당 단어의 번역을 찾습니다. 4. 사전에서 찾은 번역을 사용하여 문장을 완성합니다. 반면에 subword translation은 이러한 OOV 문제를 해결하기 위해 보다 현대적인 접근방법입니다. 이 방식에서는 큰 단위의 단어 대신 작은 하위 단위(subword or subtoken)를 사용하므로, 신조어나 희귀한 단어 등도 적절히 처리할 수 있게 됩니다. 예를 들면, "neuralnet"이라는 OOV를 만났을 때, "neural"과 "net"이라는 두 개의 subword로 쪼개서 번역할 수 있습니다. 이렇게 하면 새로운 단어에 대한 유연성이 향상되고, 과거의 사전 참조 방식보다 보다 일관된 결과를 얻을 수 있습니다. 따라서 back-off to a dictionary look-up와 subword translation 모두 OOV 문제를 해결하려는 노력이지만, 사용하는 접근 방식과 성능에서 차이가 있습니다.