개발자

텍스트 전처리 및 분류 태스크에서의 LLM 활용 방법

1월 29일조회 79

안녕하세요 현재 Text classification 을 진행해야 하는 상황입니다. 단순히 아웃풋만 가져오기보다는 나중에 아이템이 새로 생겼을 때 인퍼런스도 진행해야 되는데요. 현재는 크롤링된 글 1200개 가량 정도 보유하고 있지만 지속적으로 늘어날 것입니다. 이 부분에서 LLM을 활용하는 것이 좋을지 판단해주시면 좋겠습니다. 아래는 저의 고민사항들입니다. 1. 기술적 역량을 기르기 위해 시작하는 프로젝트인데 LLM에게 텍스트 전처리, 분류까지 맡기는게 맞을까요? 2. 제가 생각하는(알고 있는) 방법은 LLM API를 호출해서 처리하는 방법인데 그렇게 한다면 속도나 비용 측면에서 손해를 보지 않을까? (Batch 형식으로 하지는 못할까?) 3. 회사들 중에 LLM을 활용하여 어떠한 태스크를 진행하고 있다는 글들은 자체적으로 Fine Tuning한 LLM을 활용하고 있는 것인지? 4. 물론 어느 정도의 전처리가 들어가겠지만 프롬프트로 input 관리부터 output 까지 관리할 수 있는지? llm을 처음 활용하는 것인데 개념이 잡히지 않은 것 같아 이런 고민들이 생기는 것 같습니다. 많은 조언 주시면 감사하겠습니다!

이 질문이 도움이 되었나요?
'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.
profile picture
익명님의 질문

답변 0

답변이 없을 때 보이는 아이콘

첫 답변을 기다리고 있어요.

지금 가입하면 모든 질문의 답변을 볼 수 있어요!

현직자들의 명쾌한 답변을 얻을 수 있어요.

또는

이미 회원이신가요?

목록으로

지금 가입하면 모든 질문의 답변을 볼 수 있어요!