<HPE 생성형 AI<HPE 생성형 AI를 위한 데이터 과학 서밋 후기>

친구들, 이번주 HPE Data Science Summit 후기를 공유합니다. 강의 끝난 후, QA 시간에 그 날 배운 것은, 우리나라 업계가 LLM 에 대해 정말 빨리 습득하고 적용하고 있구나를 느꼈습니다. 특히, LLM RAG 개발이 기업 업체 분들이 RAG Response Time이 느린 것에 대해 고민하는 분들도 계셨고, 벡터DB를 이용할 때 컴플릿(사용에 대한 대답)에 대한 청크를 어떻게, 얼마나 짤라야 효율적으로 개선할 수 있는 지 물어 보시는 분들이 꽤 있었습니다. 이를 위해 GPU를 활용한 대규모 데이터 분산 훈련과 추론, 서빙에 대해 기술적으로 나눌 수 있어서 좋았고, 고객으로 부터 다양한 질문을 통해 HPC&AI 분야에 어디를 더 집중해야 되는 지 느끼게 해서 좋았습니다.