AI 챗봇 프로젝트 시작

안녕하세요. 단순히 챗봇 구현은 간단합니다. 유튜브에 워낙 여러 능력자분들의 강의도 많구요. 해당내용은 조금만 찾아보셔도 해당 분야의 공신력 있으신분들의 강의가 워낙많습니다. 전 갠적으로 ai쪽은 테디노트님 강의를 추천드립니다. AI학습과 GPU의 상관관계는 확실합니다. 게임으로 따지자면 실사 그래픽을 보면서 원활하고 부드럽게 플레이를 하려면 그만큼의 사양이 필요하죠. 머신러닝도 똑같습니다. 빠르고 정확하게 머신러닝을 하는경우는 그만큼의 GPU나 CPU의 사양이 되야하는거죠. 1TB 용량의 데이터를 학습시켜서 나만의 LLM을 만든다 가정해봅시다. 3060그래픽카드를 사용해서 10시간이 걸린다하면 4090이나 연산그래픽카드인 t4, a100 등등 이런 그래픽카드로 하면 훨씬 단축이되겠죠. 물론 openai gpt나 네이버 클로바x, 엔트로픽 클로드와 같이 api로만 받아서 프롬프트 엔지니어링을 한다하면 gpu는 상관이 없습니다. 다만 비용의 문제지요 그리고 원하는 llm을 만든다치고 파인튜닝이 들어가게되면 비용은 배로 들어가게됩니다. 현재 머신러닝 gpu서버를 임대하여 사용하거나 3060 vram12 짜리를 sli로 2대이상 묶어서 사용하는게 가성비는 좋다고 알고있습니다. 저같은경우는 gpu서버를 임대해서 개발을 하고있습니다. M3 pro 정도면 충분히 가능하지않을까 싶네요. Vram도 높고 다만 이미지 쪽에선 아직은 엔비디아 그래픽카드가 우월한걸로 알고있습니다. 그리고 챗봇 개발에서의 중요한 부분은 히스토리를 AI가 학습하여 이전에 대화내용을 바탕으로 답변을 하는지가 관건이고 최대한 할루시네이션을 줄이는게 정답입니다. 답변이 도움이 되었길 바랍니다.