내친김에 Node.js 용 초간단 텍스트 청킹 라이브러리도 만들어 봤습니다. LLM 이용해서 문서를 임베딩 할 때 간단하게 쓸 수 있는게 거의 없고, Node.js 용은 더더군다나 없어서 매번 덩치 큰 라이브러리를 쓰는게 찝찝했는데요. (Edge에서 쓰는 건 생각도 못하고) VectorDB 간단하게 만든 김에 같이 쓰려고 만들어봤고, 어차피 LLM에 쓸 거면 대부분 매우 정밀하지 않아도 되니, 간단한 문장/문단 구분으로 자르고 overlap을 적당히 할 수 있게 정도만 만들어 두었습니다. 잠깐 사용해보니, 역시 뭐든 It just works, simple is the best 네요. ㅎㅎㅎ 코드는 요짝입니다 👉 https://github.com/golbin/llm-chunk