개발자
AI 챗봇 프로젝트 시작
AI에 대해 무지하지만 벨로그에 올라온 AI 프로젝트를 보고 너무 재밌어보여서 한번 시도해 보고 싶은 학생입니다. 카카오 챗봇, 디스코드 봇, 아니면 웹사이트에 간단하게 사람들의 말투를 학습 시켜서 대화 가능한 봇을 만들어서 올리고 싶은데 어떤 스택을 사용해서 만들어야 하는지 모르겠습니다. 이미 있는 모델로 학습을 시키면 되는거 같기도 하고 GPT 어시스턴트를 이용하는거 같기도 하는데 뭘로 시작하면 좋을지 궁금합니다. 깊게 파보지는 않고 간단하게 토이프로젝트로 시작하려고 합니다. 궁금한점 1. 챗봇 토이프로젝트를 시작하기 좋은 방법(강의, 책, 필요한 스택) 2. AI 학습과 GPU 상관관계 (서버로 연결해서 학습하거나 GPT 어시스턴트를 쓰면 그래픽 카드 성능은 안중요해 보여서 어떤지) 3. 혹시 GPU가 중요하다면 위와 같은 프로젝트를 만들때 적당한 그래픽 카드 4. M3 pro 사용 중인데 이걸로는 AI 학습이 불가능한지
답변 1
안녕하세요. 단순히 챗봇 구현은 간단합니다. 유튜브에 워낙 여러 능력자분들의 강의도 많구요. 해당내용은 조금만 찾아보셔도 해당 분야의 공신력 있으신분들의 강의가 워낙많습니다. 전 갠적으로 ai쪽은 테디노트님 강의를 추천드립니다. AI학습과 GPU의 상관관계는 확실합니다. 게임으로 따지자면 실사 그래픽을 보면서 원활하고 부드럽게 플레이를 하려면 그만큼의 사양이 필요하죠. 머신러닝도 똑같습니다. 빠르고 정확하게 머신러닝을 하는경우는 그만큼의 GPU나 CPU의 사양이 되야하는거죠. 1TB 용량의 데이터를 학습시켜서 나만의 LLM을 만든다 가정해봅시다. 3060그래픽카드를 사용해서 10시간이 걸린다하면 4090이나 연산그래픽카드인 t4, a100 등등 이런 그래픽카드로 하면 훨씬 단축이되겠죠. 물론 openai gpt나 네이버 클로바x, 엔트로픽 클로드와 같이 api로만 받아서 프롬프트 엔지니어링을 한다하면 gpu는 상관이 없습니다. 다만 비용의 문제지요 그리고 원하는 llm을 만든다치고 파인튜닝이 들어가게되면 비용은 배로 들어가게됩니다. 현재 머신러닝 gpu서버를 임대하여 사용하거나 3060 vram12 짜리를 sli로 2대이상 묶어서 사용하는게 가성비는 좋다고 알고있습니다. 저같은경우는 gpu서버를 임대해서 개발을 하고있습니다. M3 pro 정도면 충분히 가능하지않을까 싶네요. Vram도 높고 다만 이미지 쪽에선 아직은 엔비디아 그래픽카드가 우월한걸로 알고있습니다. 그리고 챗봇 개발에서의 중요한 부분은 히스토리를 AI가 학습하여 이전에 대화내용을 바탕으로 답변을 하는지가 관건이고 최대한 할루시네이션을 줄이는게 정답입니다. 답변이 도움이 되었길 바랍니다.
지금 가입하면 모든 질문의 답변을 볼 수 있어요!
현직자들의 명쾌한 답변을 얻을 수 있어요.
이미 회원이신가요?
커리어리 AI 봇
GPT가 달아주는 답변입니다.
2024년 06월 28일
AI 챗봇을 만드는 것은 흥미로운 프로젝트가 될 수 있습니다. 시작하는 데 필요한 주요 스택과 도구는 다음과 같습니다: 1. **프로그래밍 언어**: Python은 AI 및 머신러닝 프로젝트에 가장 빈번하게 사용되는 언어입니다. 많은 오픈소스 라이브러리와 커뮤니티 지원 등이 있습니다. 2. **라이브러리/프레임워크**: TensorFlow, PyTorch, Keras 등의 딥러닝 라이브러리를 공부해 보세요. NLP(Natural Language Processing) 작업에 유용한 NLTK나 spaCy도 좋은 선택입니다. 3. **학습 데이터**: 챗봇의 성능은 대화 훈련 데이터에 크게 의존합니다. Kaggle 이나 우버에서 제공하는 대화 데이터셋 등을 활용할 수 있습니다. 4. **모델**: 모델의 선택은 목표에 따라 달라집니다. 간단한 Q&A 시스템을 만들기 위해서는 Seq2Seq 모델을, 자연어 처리를 위해서는 BERT나 GPT 등을 공부해보세요. 기존의 모델(Fine-Tuning 방법으로)를 활용하는 것이 처음 시작하기에 가장 좋습니다. Hugging Face의 Transformers 라이브러리는 사전 훈련된 BERT, GPT-2 모델을 사용하는 데 매우 유용합니다. GPU가 성능에 큰 영향을 줍니다. 복잡한 모델 학습에는 일반적으로 GPU가 필요하며, 현재 가지고 계신 2060super도 충분할 듯 싶습니다. 그러나 GPU를 업그레이드 하실 예정이시라면 NVIDIA의 RTX 3000 시리즈를 고려해 보세요. 그 중에서도 RTX 3070은 가격 대비 성능이 좋아서 많은 사람들에게 추천되는 모델입니다. 이러한 프로젝트를 시작하시는 것은 도전적인 결정이며, 인공 지능 및 머신러닝에 대한 이해와 경험을 쌓기에 좋은 기회입니다. 행운을 빕니다!
지금 가입하면 모든 질문의 답변을 볼 수 있어요!