데이터 일을 오래 하면서 여기저기서 강의를 하면서 데이터와 AI/LLM 엔지니어링 관련해서 서적추천을 해달라는 요청을 간혹 받는데 아래 3권의 서적을 추천한다.

1. AI Engineering: Building Applications with Foundation Models, Chip Huyen

2. Designing Machine-Learning Systems Production Ready, Chip Huyen

3. Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, Martin Kleppmann

이 책들을 읽는 순서는 3번 → 2번 → 1번이라 생각한다. 3번째 책은 데이터쪽의 고전과도 같은 책인데 링크는 1st edition에 걸었지만 현재 2nd edition이 나온 상황(아직은 아마존에서는 안 파는 걸로 보인다)이고 1st edition과 내용이 꽤 다르다. 이 중 가장 최근에 읽은 따끈따끈한 책은 AI Engineering이다. LinkedIn에서 팔로우하고 있는 저자이기도한 Chip Huyen의 책인데 (두 번째 책도 같은 저자이다) 책의 내용을 아주 하이레벨로 요약하면 아래와 같은데 실습 없이 개념만 설명하는 책이란 점도 유념하자.

• AI 엔지니어링이 무엇인지, 그리고 기존 머신러닝 엔지니어링과 어떻게 다른지 이해하기

• AI 애플리케이션 개발 프로세스를 배우고, 각 단계에서 발생하는 문제와 이를 해결하기 위한 접근법 이해하기

• 프롬프트 엔지니어링, RAG, 파인튜닝, 에이전트, 데이터셋 엔지니어링 등 다양한 모델 적응 기술을 탐구하고, 이러한 기술이 작동하는 방식과 이유 이해하기

• 파운데이션 모델을 서비스할 때 발생하는 지연(latency) 및 비용 문제를 분석하고 이를 극복하는 방법 배우기

• 필요에 맞는 적절한 모델, 데이터셋, 평가 기준(benchmarks) 및 지표(metrics)를 선택하기

기본적으로 머신러닝 모델을 직접 만들던 세상에서 LLM을 기반으로 일을 하는 세상으로 바뀌어 가고 있다라는 점에서 LLM 활용에 관한 이야기라고 요약할 수 있을 듯 하다.