간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다!

? 텐서플로우
 * https://www.tensorflow.org/
 * 연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여
   * 프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적
   * 리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원
 * TensorFlow의 주요 특징 및 기능
   * TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공
   * 유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원
   * 시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard
   * 프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능
   * 커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티
   * 사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스
 * TensorFlow 구현 모범 사례
   * 코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동
   * 모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지

? PyTorch
 * https://pytorch.org/
 * 직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품
   * 포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점
   * 엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장
   * NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적
   * 동적 계산 그래프를 유연하게 처리
 * PyTorch 아키텍처 및 구성 요소
   * PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심
   * 텐서 연산: GPU 가속을 통한 고급 수학적 연산
   * 신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어
   * 최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘
   * 데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구
 * PyTorch 개발 워크플로
   * 데이터 준비
     * 입력 데이터를 PyTorch 텐서로 변환하기
     * 사용자 정의 데이터 세트 및 데이터 로더 생성
     * 필요한 전처리 변환 적용
   * 모델 개발
     * torch.nn을 사용하여 네트워크 아키텍처 정의하기
     * 포워드 패스 계산 구현하기
     * 손실 함수 및 옵티마이저 구성

? LangChain
 * https://www.langchain.com/
 * 개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상
   * 강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원
 * LangChain 프레임워크 개요
   * LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화
   * 프럼프트 관리 및 최적화
   * 데이터 증강 생성
   * 의사 결정을 위한 자율 에이전트
   * 컨텍스트 유지를 위한 메모리 시스템
 * 광범위한 통합 기능
   * 외부 데이터 소스
     * 문서 저장소
     * 벡터 데이터베이스
     * API 엔드포인트
   * 개발 도구
     * 버전 관리 시스템
     * 모니터링 플랫폼
     * 배포 서비스
   * 비용을 최적화하기 위해 몇 가지 전략
     * 빈번한 쿼리를 위한 캐싱 메커니즘 활용
     * 가능한 경우 API 호출 일괄 처리
     * 효율적인 리소스 할당을 위해 사용 패턴 모니터링

? 허깅 페이스 트랜스포머
 * https://huggingface.co/docs/transformers/en/index
 * 허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치
 * 허깅 페이스의 핵심 기능
   * 바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브
   * PyTorch 및 TensorFlow와의 원활한 통합
   * 고급 토큰화 및 전처리 도구
   * 이전 학습을 위한 기본 지원
   * 포괄적인 문서 및 커뮤니티 리소스
 * 허깅 페이스 구현 가이드
   * 허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.
     * 이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장
     * 최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중
   * 파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.
     * 여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능
   * 로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.
     * 기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택
   * 프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.
     * 이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장

? LlamaIndex
 * https://www.llamaindex.ai/
 * 데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크
   * LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화
   * 엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장
 * LlamaIndex의 특징 및 기능
   * 정교한 데이터 처리 및 검색 기능 중심
   * 여러 소스 통합을 위한 데이터 커넥터(LlamaHub)
   * 고급 문서 작업(삽입, 삭제, 업데이트)
   * 다중 문서 합성 기능
   * 쿼리 엔진 선택을 위한 라우터 기능
   * 벡터 스토어 통합 및 ChatGPT 플러그인 지원
   * OpenAI 함수 호출 API 호환성
 * 라마인덱스 개발 프로세스
   * 데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식
     * 데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요
   * 쿼리 프로세스:
     * 노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집
     * 응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성
     * 채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화
 * 비용 최적화 전략
   * 인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함
   * 개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공

? OpenAI 프레임워크(OPF)
 * https://platform.openai.com/docs/api-reference/introduction
 * 책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시
   * 강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장
   * 프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능
   * OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공
   * 프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원
 * OpenAI 프레임워크 구성 요소
   * 위험 평가를 위한 종합적인 평가 시스템
   * 통합 사이버 보안 조치
   * 안전 자문 그룹(SAG) 감독
   * 책임 있는 확장 정책 구현
   * 고급 모니터링 및 테스트 프로토콜
 * OpenAI 구현 전략
   * 안전과 효율성에 중점을 둔 구조화된 접근 방식
   * 철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.
   * 시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합
 * 비용 최적화 전략:
   * 대시보드를 통한 토큰 사용량 모니터링
   * 사용량 임계값 및 알림 구현
   * 작업 요구 사항에 따른 전략적 모델 선택
   * 언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제

? Microsoft JARVIS
 * https://github.com/microsoft/JARVIS
 * 지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS
   * 서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행
   * 로컬 및 클라우드 기반 배포 모델을 모두 지원
   * 엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공
 * JARVIS 플랫폼 개요
   * JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템
   * 플랫폼의 특징:
     * 멀티모달 처리 기능
     * 실시간 웹 액세스 통합
     * 고급 작업 계획 시스템
     * 모델 간 협업
     * 포괄적인 API 지원
     * 지능형 리소스 관리
 * JARVIS 개발 워크플로(4단계 워크플로우)
   * 작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화
   * 모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택
   * 작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행
   * 응답 통합: 결과를 일관된 출력으로 종합적으로 합성
 * 배포 옵션에 따른 리소스 요구 사항
   * 최소 설정: 16GB VRAM, 100GB 스토리지
   * 표준 설정: 64GB RAM(Jetson AGX Orin에 권장)
   * 클라우드 배포: 유연한 확장 옵션
   * 리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합

? 결론 ?
 * 이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.
   * TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월
   * LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화
   * Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장
 * 모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.

 * 출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9

[Dev]모든 개발자가 마스터해야 할 7가지 AI 프레임워크!

< 개발자 없이 개발해요? 노코드 프로그램의 확산 >

코딩 지식이 없이도 개발하는 노코드 프로그램이 점점 발전하고 있다. 지난해 169억달러였던 세계 노코드·로코드 시장 규모가 2025년에는 455억달러까지 성장할 것.

✅ 노코드 플랫폼이란?
- 코딩(프로그래밍) 작업 없이 서비스를 구현할 수 있도록 지원하는 플랫폼
- 좁은 의미의 예시 : 드래그 앤 드롭(끌어다 놓기) 같은 간단한 방법으로 모바일 애플리케이션(앱)을 만들 수 있게 해주는 마이크로소프트(MS) ‘파워앱스’나 구글 ‘앱시트’
- 넓은 의미의 예시 : 텍스트를 기반으로 간단한 웹 누리집을 만들 수 있는 ‘노션’, 이메일 마케팅 자동화 도구 ‘스티비’와 ‘메일침프’ 등

? 로코드는?
- 노코드에 비해 광범위한 개념
- 최소한의 코딩 지식만 가지고도 원하는 프로그램을 구축할 수 있도록 해주는 도구
- 개발자의 개발 편의를 돕거나, 데이터 처리 등을 자동화하는 시스템

개발자와 기획자의 경계를 허물어 줄 수 있을 것이라고 하는데 과연 얼마나 가능할지가 관건. 개인적으로 노코드 웹사이트 툴을 활용해서 꽤 복잡한 웹사이트까지 직접 만들고 런칭했던 경험이 있는데, 그게 이미 몇 년 전의 일이니 지금은 얼마나 발전했을지 기대가 된다. 기사에 언급된 노코드 툴이 얼마나 잘 작동하는지, 어느 정도로 복잡한 서비스까지 구현이 되는지 시간 날 때 한 번 가지고 놀아봐야겠다.

그래도 아직은 노코드 툴이 초기 발전 단계여서 여전히 개발자가 많이 필요하겠지만, 미래에 AI 등이 접목된 고도화된 노코드 툴이 개발된다면 현재 개발자 구인난 등이 상당 부분 해결될지도 모른다. 기업 입장에서는 개발자 구인과 날로 높아지는 처우에 대한 피로도가 있으니 더 적극적으로 노코드 툴을 도입할지도. 결국 노코드/로코드 수준의 코딩을 하던 개발자는 시대의 흐름에 뒤쳐지지 않을까 조심스럽게 예상해 본다. 기술 위의 기술을 다루는 사람만 살아남는 세상이 오고 있다.

< 우리는 때로 너무 고상하게 일한다 >

고상함이라는 것에 대해 많은 생각을 하게 되는 요즘이다. 고상함이라는 것은 ‘내 일이라고 생각하는 것만 하겠다, 내가 직접 하지 않겠다, 있어보이는 일만 하겠다’는 마음가짐의 집합이다. 고상하게 일 해서는 급변하는 사회에서 딱 뒤쳐지기 좋다. 

“개발자들은 개발자란, 컴퓨터 앞에서 커피한잔의 여유를 즐기고 음악을 들으며 알고리즘을 고민하고 키보드를 두드리는 고상한 직업이라 생각하기 때문에 작업복에 옷이 더러워지고 물건을 나르거나 고객을 직접 만나는 현장을 대체적으로 싫어합니다. 하지만, 스타트업은 그러면 안됩니다. 특히 오프라인과 결합해야 하는 스타트업이라면 오프라인 조직과 함께 숨쉬며 같이 달려주는게 중요합니다. 모두 스타업을 구성하는 하나의 멤버니까요. 물류창고 가기 싫어하는 개발자를 설득해서 제 차에 모시고 곤지암 물류 창고로 달려가 회의하고, 라이더앱 테스트를 위해서 프론트 개발자도 데리고 달렸습니다. 프로젝트 진행 중에 신규 개발자분들이 차례차례 합류하고 극적으로 당일배송을 오픈해냅니다.”

요즘 화제가 되고 있는 글 ‘사망한 개발팀 살리기’에서 마음에 와닿았던 구절이다.

글 구절에 나온 것처럼, 개발자는 고상하게 개발만 하면 안 되고 적극적으로 Product의 퀄리티를 높일 수 있는 방안에 대해 고심하고 능동적으로 아이디어를 내야 한다. 기획자가 해달라고 하는 것 중 ‘되는 것, 리소스가 허락하는 것’만 들어주는 개발 조직은 계속해서 기획 조직과 대립하게 된다. 반면 글로벌 빅테크 기업에서는 오히려 개발자 출신의 팀장급 PO/PM들이 점점 많아지는 추세인데, 아마도 능동적으로 일하는 개발자가 더 좋은 퍼포먼스를 내고 인정받았기 때문일 것이다.

경영컨설턴트 출신들이 어려워 하는 것 중 하나는 고상하게 일하는 태도를 버리는 것이다. 매번 C-level들을 대상으로 회사가 앞으로 어떻게 해야 하는지 고상하게 자문만 해 주고 그걸 직접 실행해 본 적이 없기 때문이다. 그런데 직접 실행해야 하는 조직에 가면 고상하게 일을 할 수가 없다. 이것도 내 일인가 싶은 일은 다 내 일이다. 다른 부서나 동종업계 회사들은 무엇을 하는지, 산업 환경은 어떻게 바뀌는지, 우리 고객들은 우리 Product에 대해 어떻게 생각하는지 등 직접 발로 뛰며 살펴봐야 한다. 컨설팅 회사에서 퇴사하고 스타트업 창업팀에 들어가면서, 그리고 지금은 대기업 계열사지만 사실상 스타트업처럼 움직이는 비상장회사를 다니면서 고상함을 버리는 것은 일상이 되었다.

그럼에도 불구하고 사람들은 가만히 두면 고상하게 일하려고 한다. 고상함이 곧 편안함이기 때문이다. 그래서 묻고 싶다. 우리는 너무 고상하게 일하고 있지는 않은가?

기술 스택

언어

프론트엔드

백엔드

Java

Spring

Kotlin

NoSQL

Redis

RabbitMQ

데이터베이스

데브옵스

티맵모빌리티