AI Search & RAG Without Moving Your Data. Get instant answers from your company's knowledge across 100+ apps while keeping data secure. Deploy in minutes, not months. - swirlai/swirl-search

GitHub - swirlai/swirl-search: AI Search & RAG Without Moving Your Data. Get instant answers from your company's knowledge across 100+ apps while keeping data secure. Deploy in minutes, not months.

다양한 AI프로젝트를 어디서부터 시작해야 할지 모른다면, 아래의 5가지 오픈 소스 프로젝트를 통해 배울 수 있습니다. 참고하세요.

🍎 SWIRL
🥯 https://github.com/swirlai/swirl-search
🥯 개념
 * 고급 AI 기술을 비즈니스 운영에 통합하는 오픈 소스 AI 검색 및 RAG(Retrieval-Augmented Generation) 시스템
🥯 주요 특징 및 경험
 * 비즈니스에서의 AI 통합: 의사 결정과 효율성을 개선하기 위해 기존 비즈니스 시스템에 AI 기능을 통합하는 방법을 이해
 * RAG: 정보 검색과 생성 AI를 결합하여 맥락에 맞는 응답을 제공하는 RAG 기술 배울수 있음
 * 데이터 보안 관행: 데이터 이동의 필요성을 제거하여 보안을 강화하는 로컬 데이터에 직접 작동하는 AI 솔루션을 구현하는 방법을 탐색
 * 오픈 소스 배포: 프라이빗 클라우드 환경 내에서 오픈 소스 AI 인프라를 배포하고 관리하는 경험

🍎 Postiz
🥯 https://github.com/gitroomhq/postiz-app
🥯 개념
 * AI를 활용하여 다양한 플랫폼에서 콘텐츠 게시를 최적화하는 오픈 소스 소셜 미디어 스케줄링 도구
 * 여러 소셜 미디어 계정을 관리하고 효과적으로 게시물을 예약하는 프로세스를 단순화
🥯 주요 특징 및 경험
 * AI 기반 스케줄링: 인공지능이 소셜 미디어에 게시할 최적의 시간을 결정하는 방법
 * 다중 플랫폼 지원: 다양한 소셜 미디어 플랫폼에서 게시물을 예약하는 데 따른 과제와 해결책 이해
 * 사용자 친화적 디자인: 쉬운 탐색과 계정 관리를 위한 직관적인 UI 디자인 원칙 탐색
 * 분석 통합: 게시물 성과와 청중 참여에 대한 통찰력을 제공하는 분석 방법 발견

🍎 OpenBB
🥯 https://github.com/OpenBB-finance/OpenBB
🥯 개념
 * 광범위한 투자 연구 도구에 접근할 수 있는 무료 오픈 소스 금융 플랫폼
 * 주식, 옵션, 암호화폐, 외환, 거시경제 데이터, 고정 수입 등을 분석하는 기능 제공
🥯 주요 특징 및 경험
 * 종합적인 금융 분석: 다양한 금융 상품과 시장을 탐색하여 주식, 옵션, 암호화폐 등에 대한 통찰력
 * 데이터 통합 기술: 종합적인 투자 연구를 용이하게 하는 여러 데이터 소스를 일관된 플랫폼으로 통합하는 방법
 * 오픈 소스 개발 관행: 대규모 오픈 소스 프로젝트를 유지하고 개선하는 데 관련된 협업 프로세스 이해
 * 확장성과 맞춤화: 특정 연구 요구에 맞게 플랫폼을 맞춤화하고 확장하여 기능을 향상시키는 방법 발견

🍎 Open WebUI
🥯 https://github.com/open-webui/open-webui
🥯 개념
 * 대규모 언어 모델(LLM)과의 상호작용을 용이하게 하기 위해 설계된 오픈 소스, 사용자 친화적 인터페이스
 * Ollama와 OpenAI 호환 API를 포함한 다양한 LLM 러너를 지원하며, 역할 기반 접근 제어, 다국어 지원, 이미지 생성 도구와의 통합과 같은 기능 제공
🥯 주요 특징 및 경험
 * AI 모델 통합: 통합 인터페이스 내에서 다양한 AI 모델을 연결하고 관리하는 방법 이해
 * 사용자 관리: 사용자 권한을 효과적으로 관리하기 위한 역할 기반 접근 제어 구현
 * 다국어 지원: 여러 언어를 지원하는 사용자 인터페이스를 제공하는 기술 탐색
 * 오프라인 작동: 데이터 프라이버시를 강화하는 인터넷 연결 없이 기능하는 애플리케이션 설계에 대한 통찰력

🍎 Auto Jobs Applier AI Agent
🥯 https://github.com/AIHawk-FOSS/Auto_Jobs_Applier_AI_Agent
🥯 개념
 * 구직 프로세스를 자동화하는 오픈 소스 도구
 * 인공지능을 활용하여 사용자가 여러 일자리에 효율적으로 그리고 개인화된 내용으로 지원하는 기능 지원. 구인 공고를 스캔하고, 관련 있는 직책을 필터링하며, 사용자를 대신하여 지원서를 제출하여 구직 경험 간소화
🥯 주요 특징 및 경험
 * 자동화 기술: AI 주도 방법을 사용하여 구직 지원과 같은 반복적인 작업을 자동화
 * AI 기반 개인화: AI가 특정 직무 요구사항에 맞춰 지원 자료를 조정하여 성공 가능성 향상
 * 데이터 처리 및 보안: 애플리케이션 내에서 민감한 사용자 정보를 안전하게 관리하는 방법 탐색
 * 오픈 소스 협업: 코드 리뷰와 이슈 추적을 포함하여 커뮤니티 주도 프로젝트에 기여하고 유지하는 경험

 * source: https://dev.to/swirl/from-zero-to-app-learning-through-open-source-ai-projects-3dkn

다양한 AI프로젝트를 어디서부터 시작해야 할지 모른다면, 아래의 5가지 오픈 소스 프로젝트를 통해 배울 수 있습니다. 참고하세요. 🍎 SWIRL 🥯 https://github.com/swirlai/swirl-search 🥯 개념<ul ><li>고급 AI 기술을 비즈니스 운영에 통합하는 오픈 소스 AI 검색 및 RAG(Retrieval-Augmented Generation) 시스템</li></ul> 🥯 주요 특징 및 경험<ul ><li>비즈니스에서의 AI 통합: 의사 결정과 효율성을 개선하기 위해 기존 비즈니스 시스템에 AI 기능을 통합하는 방법을 이해</li><li>RAG: 정보 검색과 생성 AI를 결합하여 맥락에 맞는 응답을 제공하는 RAG 기술 배울수 있음</li><li>데이터 보안 관행: 데이터 이동의 필요성을 제거하여 보안을 강화하는 로컬 데이터에 직접 작동하는 AI 솔루션을 구현하는 방법을 탐색</li><li>오픈 소스 배포: 프라이빗 클라우드 환경 내에서 오픈 소스 AI 인프라를 배포하고 관리하는 경험</li></ul> 🍎 Postiz 🥯 https://github.com/gitroomhq/postiz-app 🥯 개념<ul ><li>AI를 활용하여 다양한 플랫폼에서 콘텐츠 게시를 최적화하는 오픈 소스 소셜 미디어 스케줄링 도구</li><li>여러 소셜 미디어 계정을 관리하고 효과적으로 게시물을 예약하는 프로세스를 단순화</li></ul> 🥯 주요 특징 및 경험<ul ><li>AI 기반 스케줄링: 인공지능이 소셜 미디어에 게시할 최적의 시간을 결정하는 방법</li><li>다중 플랫폼 지원: 다양한 소셜 미디어 플랫폼에서 게시물을 예약하는 데 따른 과제와 해결책 이해</li><li>사용자 친화적 디자인: 쉬운 탐색과 계정 관리를 위한 직관적인 UI 디자인 원칙 탐색</li><li>분석 통합: 게시물 성과와 청중 참여에 대한 통찰력을 제공하는 분석 방법 발견</li></ul> 🍎 OpenBB 🥯 https://github.com/OpenBB-finance/OpenBB 🥯 개념<ul ><li>광범위한 투자 연구 도구에 접근할 수 있는 무료 오픈 소스 금융 플랫폼</li><li>주식, 옵션, 암호화폐, 외환, 거시경제 데이터, 고정 수입 등을 분석하는 기능 제공</li></ul> 🥯 주요 특징 및 경험<ul ><li>종합적인 금융 분석: 다양한 금융 상품과 시장을 탐색하여 주식, 옵션, 암호화폐 등에 대한 통찰력</li><li>데이터 통합 기술: 종합적인 투자 연구를 용이하게 하는 여러 데이터 소스를 일관된 플랫폼으로 통합하는 방법</li><li>오픈 소스 개발 관행: 대규모 오픈 소스 프로젝트를 유지하고 개선하는 데 관련된 협업 프로세스 이해</li><li>확장성과 맞춤화: 특정 연구 요구에 맞게 플랫폼을 맞춤화하고 확장하여 기능을 향상시키는 방법 발견</li></ul> 🍎 Open WebUI 🥯 https://github.com/open-webui/open-webui 🥯 개념<ul ><li>대규모 언어 모델(LLM)과의 상호작용을 용이하게 하기 위해 설계된 오픈 소스, 사용자 친화적 인터페이스</li><li>Ollama와 OpenAI 호환 API를 포함한 다양한 LLM 러너를 지원하며, 역할 기반 접근 제어, 다국어 지원, 이미지 생성 도구와의 통합과 같은 기능 제공</li></ul> 🥯 주요 특징 및 경험<ul ><li>AI 모델 통합: 통합 인터페이스 내에서 다양한 AI 모델을 연결하고 관리하는 방법 이해</li><li>사용자 관리: 사용자 권한을 효과적으로 관리하기 위한 역할 기반 접근 제어 구현</li><li>다국어 지원: 여러 언어를 지원하는 사용자 인터페이스를 제공하는 기술 탐색</li><li>오프라인 작동: 데이터 프라이버시를 강화하는 인터넷 연결 없이 기능하는 애플리케이션 설계에 대한 통찰력</li></ul> 🍎 Auto Jobs Applier AI Agent 🥯 https://github.com/AIHawk-FOSS/Auto_Jobs_Applier_AI_Agent 🥯 개념<ul ><li>구직 프로세스를 자동화하는 오픈 소스 도구</li><li>인공지능을 활용하여 사용자가 여러 일자리에 효율적으로 그리고 개인화된 내용으로 지원하는 기능 지원. 구인 공고를 스캔하고, 관련 있는 직책을 필터링하며, 사용자를 대신하여 지원서를 제출하여 구직 경험 간소화</li></ul> 🥯 주요 특징 및 경험<ul ><li>자동화 기술: AI 주도 방법을 사용하여 구직 지원과 같은 반복적인 작업을 자동화</li><li>AI 기반 개인화: AI가 특정 직무 요구사항에 맞춰 지원 자료를 조정하여 성공 가능성 향상</li><li>데이터 처리 및 보안: 애플리케이션 내에서 민감한 사용자 정보를 안전하게 관리하는 방법 탐색</li><li>오픈 소스 협업: 코드 리뷰와 이슈 추적을 포함하여 커뮤니티 주도 프로젝트에 기여하고 유지하는 경험</li></ul> <ul ><li>source: https://dev.to/swirl/from-zero-to-app-learning-through-open-source-ai-projects-3dkn</li></ul>

GitHub

[Dev] 오픈 소스 AI 프로젝트를 통한 학습

엔비디아(NVIDIA) AI 전문가들이?다가오는 2025년 AI가 가져올 혁신적인 발전에 대한 전망을 발표했다. 2025년이 다가오면서 의료, 통신, 엔터테인먼트, 에너지, 로보틱스, 자동차, 소매업과 같은 산업들은 ?거대 언어 모델(LLM)을 사용해 자사의 독점 데이터와 결합하고, 추론할 수 있는 AI를 개발하기 위해 준비하고 있다.

엔비디아 AI 전문가 9명이 말하는 2025년 AI 핵심 트렌드는

🍎 에이전틱 AI (Agentic AI)의 부상
🍏 핵심 개념:
 * 에이전틱 AI는 자율적이고 능동적으로 작동하는 AI 시스템으로, 단순한 데이터 처리와 의사결정을 넘어 실행까지 주도
 * 방대한 데이터 세트를 실시간 학습하며, 다중 상황을 분석하고 적용
 * 기존 생성형 AI 모델을 능가하는 자율성과 기능성으로 다양한 산업의 혁신 촉진
🍏 적용 사례:
 * 금융: 실시간 시장 분석 및 자율적 투자 결정.
 * 공공서비스: 스마트시티에서 교통 흐름 최적화 및 환경 관리.
   
   
🍎 산업별 AI 혁신
🍏 헬스케어
 * 로봇 지원 수술: 로봇이 의사의 명령을 이해하고 실행하며, 복잡한 수술에서 중요한 역할
   * AI 기반 시뮬레이션으로 로봇 시스템을 사전 훈련, 임상시험에서의 리스크 최소화
 * 디지털 트윈: 환자의 건강 상태를 가상 모델로 시뮬레이션하여 맞춤형 치료 제공
🍏 소매업
 * 소프트웨어 정의 매장: AI가 엣지 컴퓨팅을 통해 매장 내 고객 행동을 실시간으로 분석
   * 제품 진열 최적화, 재고 관리 자동화, 도난 및 손실 방지
 * 자율 결제 시스템: 대기 시간이 없는 쇼핑 경험 제공 (예: Amazon Go와 유사)
🍏 제조업
 * 지능형 생산 공정: AI가 IoT 센서를 통해 수집한 데이터를 분석하여 생산 라인 최적화
   * 결함 예측 및 품질 관리 시스템 개선
 * 로봇의 자율성 증가: 자율 이동 로봇(AMR)이 공장 내에서 물류와 조립 작업을 더 효과적으로 수행
🍏 에너지
 * 스마트 그리드: AI가 전력 수요와 공급을 실시간으로 분석해 최적의 에너지 분배 수행
 * 재생에너지 관리: 풍력, 태양광 등 간헐적인 재생에너지를 안정적으로 관리하기 위한 예측 알고리즘
   
   
🍎 소형 언어 모델 (Compact Language Models)의 부상
🍏 설명:
 * 기존 초대형 언어 모델의 효율성을 개선한 소형화된 모델
 * 엣지 디바이스(스마트폰, 자동차 등)에 통합 가능하며, 높은 응답 속도와 낮은 전력 소모
🍏 적용 분야:
 * 자동차: 음성 비서 및 자율주행 차량의 실시간 의사결정 시스템에 활용
 * 로봇공학: 로봇의 내장형 AI로 복잡한 작업 수행

🍎 인간-AI 협업의 진화
🍏 핵심 내용:
 * AI는 인간 전문가를 보조하는 역할에서 벗어나, 점점 더 창의적이고 혁신적인 솔루션을 제공하는 협력자로
 * 인간과 AI가 공동으로 문제를 해결하고 새로운 가치를 창출하는 방식으로 협력 모델이 발전
🍏 적용 예:
 * 의료: AI가 의사에게 진단과 치료 옵션을 제안하여 결정의 정확도를 높임
 * 디자인 및 엔터테인먼트: AI가 창의적인 아이디어를 생성하고, 인간 디자이너와 협업
   
   
🍎 데이터 관리 및 보안
🍏 변화 전망:
 * AI 발전으로 생성되는 방대한 데이터의 관리와 보안이 핵심 과제로 대두
 * 프라이버시를 보장하는 데이터 처리 기술(예: 연합 학습, 암호화된 데이터 분석)이 점점 중요
   
   
 * source: https://elec4.co.kr/article/articleView.asp?idx=33071

🍎 에이전틱 AI (Agentic AI)의 부상 🍏 핵심 개념:<ul ><li>에이전틱 AI는 자율적이고 능동적으로 작동하는 AI 시스템으로, 단순한 데이터 처리와 의사결정을 넘어 실행까지 주도</li><li>방대한 데이터 세트를 실시간 학습하며, 다중 상황을 분석하고 적용</li><li>기존 생성형 AI 모델을 능가하는 자율성과 기능성으로 다양한 산업의 혁신 촉진</li></ul> 🍏 적용 사례:<ul ><li>금융: 실시간 시장 분석 및 자율적 투자 결정.</li><li>공공서비스: 스마트시티에서 교통 흐름 최적화 및 환경 관리. </li></ul>🍎 산업별 AI 혁신 🍏 헬스케어<ul ><li>로봇 지원 수술: 로봇이 의사의 명령을 이해하고 실행하며, 복잡한 수술에서 중요한 역할<ul ><li>AI 기반 시뮬레이션으로 로봇 시스템을 사전 훈련, 임상시험에서의 리스크 최소화</li></ul></li><li>디지털 트윈: 환자의 건강 상태를 가상 모델로 시뮬레이션하여 맞춤형 치료 제공</li></ul> 🍏 소매업<ul ><li>소프트웨어 정의 매장: AI가 엣지 컴퓨팅을 통해 매장 내 고객 행동을 실시간으로 분석<ul ><li>제품 진열 최적화, 재고 관리 자동화, 도난 및 손실 방지</li></ul></li><li>자율 결제 시스템: 대기 시간이 없는 쇼핑 경험 제공 (예: Amazon Go와 유사)</li></ul> 🍏 제조업<ul ><li>지능형 생산 공정: AI가 IoT 센서를 통해 수집한 데이터를 분석하여 생산 라인 최적화<ul ><li>결함 예측 및 품질 관리 시스템 개선</li></ul></li><li>로봇의 자율성 증가: 자율 이동 로봇(AMR)이 공장 내에서 물류와 조립 작업을 더 효과적으로 수행</li></ul> 🍏 에너지<ul ><li>스마트 그리드: AI가 전력 수요와 공급을 실시간으로 분석해 최적의 에너지 분배 수행</li><li>재생에너지 관리: 풍력, 태양광 등 간헐적인 재생에너지를 안정적으로 관리하기 위한 예측 알고리즘 </li></ul>🍎 소형 언어 모델 (Compact Language Models)의 부상 🍏 설명:<ul ><li>기존 초대형 언어 모델의 효율성을 개선한 소형화된 모델</li><li>엣지 디바이스(스마트폰, 자동차 등)에 통합 가능하며, 높은 응답 속도와 낮은 전력 소모</li></ul> 🍏 적용 분야:<ul ><li>자동차: 음성 비서 및 자율주행 차량의 실시간 의사결정 시스템에 활용</li><li>로봇공학: 로봇의 내장형 AI로 복잡한 작업 수행</li></ul> 🍎 인간-AI 협업의 진화 🍏 핵심 내용:<ul ><li>AI는 인간 전문가를 보조하는 역할에서 벗어나, 점점 더 창의적이고 혁신적인 솔루션을 제공하는 협력자로 </li><li>인간과 AI가 공동으로 문제를 해결하고 새로운 가치를 창출하는 방식으로 협력 모델이 발전</li></ul> 🍏 적용 예:<ul ><li>의료: AI가 의사에게 진단과 치료 옵션을 제안하여 결정의 정확도를 높임</li><li>디자인 및 엔터테인먼트: AI가 창의적인 아이디어를 생성하고, 인간 디자이너와 협업 </li></ul>🍎 데이터 관리 및 보안 🍏 변화 전망:<ul ><li>AI 발전으로 생성되는 방대한 데이터의 관리와 보안이 핵심 과제로 대두</li><li>프라이버시를 보장하는 데이터 처리 기술(예: 연합 학습, 암호화된 데이터 분석)이 점점 중요 </li><li>source: https://elec4.co.kr/article/articleView.asp?idx=33071</li></ul>

elec4

[Elec4] 엔비디아 AI 전문가들이 말하는 2025년 AI 핵심트렌드

Kubernetes has become the cornerstone of modern cloud-native infrastructure, transforming how...

Managing Kubernetes in Production: A DevOps Engineer’s Essential Guide

쿠버네티스는 현대 클라우드 네이티브 인프라의 핵심으로, 조직이 애플리케이션을 배포하고 관리하는 방식을 혁신하고 있습니다. 그러나 개발 환경에서 운영 환경으로 전환하는 것은 단순한 기술적 도전이 아니라 전략적 과정입니다. 쿠버네티스를 관리하거나 조금이라도 이해해야한다면 이 글은 당신에게 조금은 도움이 될 거 같습니다. Let's

🍎 쿠버네티스 환경: 단순한 컨테이너 그 이상
 * https://kubernetes.io/
 * 쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래한 것으로, K8s라는 표기는 "K"와 "s"와 그 사이에 있는 8글자를 나타내는 약식 표기로 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화함
 * 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원
 * 조직의 애플리케이션을 배포, 관리, 확장하는 방식을 혁신하는 쿠버네티스
 
 
🍎 프로덕션 준비된 쿠버네티스의 핵심 요소

1. 코드로서의 인프라(IaC): 디지털 청사진
 * 코드로서의 인프라(IaC)는 디지털 인프라를 수동으로 설정하는 대신, 명확하고 재현 가능한 지침을 작성하여 버전 관리, 테스트, 일관된 배포를 가능케
 * 실제 효과:
 * 수동 구성 오류 제거
 * 일관된 환경 설정 보장
 * 빠르고 신뢰할 수 있는 인프라 배포 지원
 * 팀 간 협업 용이
 * 향상 방안: Terraform 또는 Ansible 같은 도구를 사용해 쿠버네티스 클러스터를 정의하고 배포하는 실질적인 예시 포함
 
 
2. 모니터링: 시스템의 조기 경보 시스템
 * 현재 상태를 보여주는 대시보드뿐만 아니라 잠재적 문제를 예측할 수 있는 종합적인 디지털 인프라 대시보드
 * 필수 구성 요소:
 * Prometheus: 실시간 메트릭 수집
 * Grafana: 직관적인 시각화
 * 중앙화된 로깅 솔루션
 * 자동화된 경고 메커니즘
 * 향상 방안: Prometheus 및 Grafana를 쿠버네티스 클러스터에 설정하는 방법 예시
 
 
3. 보안: 디지털 요새 구축
 * 스마트하고 적응 가능한 방어 메커니즘을 구축
 * 주요 전략:
 * 엄격한 역할 기반 액세스 제어(RBAC) 구현
 * 네트워크 정책을 사용해 트래픽 제어
 * 강력한 인증 메커니즘 통합
 * 컨테이너 이미지를 정기적으로 스캔하고 업데이트
 * 비밀 정보 안전하게 관리
 * 향상 방안: RBAC 정책 구현 예제를 제공하여 보안을 강화하는 방법

4. 배포 전략: 리스크 최소화
 * 블루-그린 배포 또는 카나리아 릴리스 같은 배포 기술
 
 
5. GitOps: 인프라를 위한 버전 관리
 * 인프라 구성을 소프트웨어 코드처럼 관리하는 GitOps
 * 모든 변경 사항은 추적 가능하고, 복구 가능하며, 버전 관리 시스템을 통해 관리
 * 향상 방안
 * Argo CD 또는 Flux 같은 도구를 사용해 쿠버네티스 배포를 자동화하는 방법

참고: https://kubernetes.io/ko/docs/home/
< 쿠버네티스 컴포넌트 기본 개념 >
 * 쿠버네티스 클러스터: 컴퓨터 집합인 컨트롤 플레인 컴포넌트와 노드 컴포넌트로 구성
 * 컨트롤프레인 컴포넌트: 클러스터에 관한 전반적인 결정(예를 들어, 스케줄링)을 수행하고 클러스터 이벤트를 감지하고 반응하는 관리 노드
 * kube-apiserver: 쿠버네티스 API를 노출하는 쿠버네티스 컨트롤 플레인 컴포넌트로 쿠버네티스 컨트롤 플레인의 프론트 엔드
 * etcd: 모든 클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 일관성·고가용성 키-값 저장소. 백업 계획
 * kube-scheduler: 노드가 배정되지 않은 새로 생성된 파드 를 감지하고, 실행할 노드를 선택하는 컨트롤 플레인 컴포넌트
 * kube-controller-manager: 노드 컨트롤러, 잡 컨트롤러, 엔드포인트슬라이스 컨트롤러, 서비스어카운트 컨트롤러
 * cloud-controller-manager: 클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트로 노드 컨트롤러, 라우트 컨트롤러, 서비스 컨트롤러
 * 노드컴포넌트:동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작
 * kubelet: 클러스터의 각 노드에서 실행되는 에이전트
 * kube-proxy: 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부. 노드의 네트워크 규칙을 유지 관리
 * 컨테이너 런타임: 컨테이너 실행을 담당하는 소프트웨어로 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI 지원
 * 애드온: 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현
 * DNS: 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버
 * 웹 UI (대시보드): 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI
 * 컨테이너 리소스 모니터링: 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공
 * 클러스터-레벨 로깅:메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장

 * 출처: https://dev.to/rubixkube/managing-kubernetes-in-production-a-devops-engineers-essential-guide-41n

쿠버네티스는 현대 클라우드 네이티브 인프라의 핵심으로, 조직이 애플리케이션을 배포하고 관리하는 방식을 혁신하고 있습니다. 그러나 개발 환경에서 운영 환경으로 전환하는 것은 단순한 기술적 도전이 아니라 전략적 과정입니다. 쿠버네티스를 관리하거나 조금이라도 이해해야한다면 이 글은 당신에게 조금은 도움이 될 거 같습니다. Let's 🍎 쿠버네티스 환경: 단순한 컨테이너 그 이상<ul ><li>https://kubernetes.io/</li><li>쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래한 것으로, K8s라는 표기는 "K"와 "s"와 그 사이에 있는 8글자를 나타내는 약식 표기로 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화함</li><li>컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원</li><li>조직의 애플리케이션을 배포, 관리, 확장하는 방식을 혁신하는 쿠버네티스 </li></ul>🍎 프로덕션 준비된 쿠버네티스의 핵심 요소 1. 코드로서의 인프라(IaC): 디지털 청사진<ul ><li>코드로서의 인프라(IaC)는 디지털 인프라를 수동으로 설정하는 대신, 명확하고 재현 가능한 지침을 작성하여 버전 관리, 테스트, 일관된 배포를 가능케</li><li>실제 효과:<ul ><li>수동 구성 오류 제거</li><li>일관된 환경 설정 보장</li><li>빠르고 신뢰할 수 있는 인프라 배포 지원</li><li>팀 간 협업 용이</li></ul></li><li>향상 방안: Terraform 또는 Ansible 같은 도구를 사용해 쿠버네티스 클러스터를 정의하고 배포하는 실질적인 예시 포함 </li></ul>2. 모니터링: 시스템의 조기 경보 시스템<ul ><li>현재 상태를 보여주는 대시보드뿐만 아니라 잠재적 문제를 예측할 수 있는 종합적인 디지털 인프라 대시보드</li><li>필수 구성 요소:<ul ><li>Prometheus: 실시간 메트릭 수집</li><li>Grafana: 직관적인 시각화</li><li>중앙화된 로깅 솔루션</li><li>자동화된 경고 메커니즘</li></ul></li><li>향상 방안: Prometheus 및 Grafana를 쿠버네티스 클러스터에 설정하는 방법 예시 </li></ul>3. 보안: 디지털 요새 구축<ul ><li>스마트하고 적응 가능한 방어 메커니즘을 구축</li><li>주요 전략:<ul ><li>엄격한 역할 기반 액세스 제어(RBAC) 구현</li><li>네트워크 정책을 사용해 트래픽 제어</li><li>강력한 인증 메커니즘 통합</li><li>컨테이너 이미지를 정기적으로 스캔하고 업데이트</li><li>비밀 정보 안전하게 관리</li></ul></li><li>향상 방안: RBAC 정책 구현 예제를 제공하여 보안을 강화하는 방법</li></ul> 4. 배포 전략: 리스크 최소화<ul ><li>블루-그린 배포 또는 카나리아 릴리스 같은 배포 기술 </li></ul>5. GitOps: 인프라를 위한 버전 관리<ul ><li>인프라 구성을 소프트웨어 코드처럼 관리하는 GitOps</li><li>모든 변경 사항은 추적 가능하고, 복구 가능하며, 버전 관리 시스템을 통해 관리</li><li>향상 방안<ul ><li>Argo CD 또는 Flux 같은 도구를 사용해 쿠버네티스 배포를 자동화하는 방법</li></ul></li></ul> 참고: https://kubernetes.io/ko/docs/home/&lt; 쿠버네티스 컴포넌트 기본 개념 &gt;<ul ><li>쿠버네티스 클러스터: 컴퓨터 집합인 컨트롤 플레인 컴포넌트와 노드 컴포넌트로 구성</li><li>컨트롤프레인 컴포넌트: 클러스터에 관한 전반적인 결정(예를 들어, 스케줄링)을 수행하고 클러스터 이벤트를 감지하고 반응하는 관리 노드<ul ><li>kube-apiserver: 쿠버네티스 API를 노출하는 쿠버네티스 컨트롤 플레인 컴포넌트로 쿠버네티스 컨트롤 플레인의 프론트 엔드</li><li>etcd: 모든 클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 일관성·고가용성 키-값 저장소. 백업 계획</li><li>kube-scheduler: 노드가 배정되지 않은 새로 생성된 파드 를 감지하고, 실행할 노드를 선택하는 컨트롤 플레인 컴포넌트</li><li>kube-controller-manager: 노드 컨트롤러, 잡 컨트롤러, 엔드포인트슬라이스 컨트롤러, 서비스어카운트 컨트롤러</li><li>cloud-controller-manager: 클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트로 노드 컨트롤러, 라우트 컨트롤러, 서비스 컨트롤러</li></ul></li></ul><ul ><li>노드컴포넌트:동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작<ul ><li>kubelet: 클러스터의 각 노드에서 실행되는 에이전트</li><li>kube-proxy: 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부. 노드의 네트워크 규칙을 유지 관리</li><li>컨테이너 런타임: 컨테이너 실행을 담당하는 소프트웨어로 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI 지원</li></ul></li><li>애드온: 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현<ul ><li>DNS: 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버</li><li>웹 UI (대시보드): 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI</li><li>컨테이너 리소스 모니터링: 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공</li><li>클러스터-레벨 로깅:메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장</li></ul></li></ul> <ul ><li>출처: https://dev.to/rubixkube/managing-kubernetes-in-production-a-devops-engineers-essential-guide-41n</li></ul>

DEV Community

[Dev]쿠버네티스 운영관리: DevOps 엔지니어를 위한 필수 가이드

Learn how Capital One used Iceberg Tables to move Snowflake consumption to a lakehouse and best practices for doing so.

How to Use Iceberg Tables to Implement a Lakehouse Architecture in Snowflake | Capital One

데이터 관리 관행이 발전함에 따라 데이터 웨어하우스와 데이터 레이크를 하나의 아키텍처로 결합하는 모델인 데이터 레이크하우스가 등장했습니다. 아파치아이스버그(Apache Iceberg)를 통해 이런 데이터 레이크하우스를 구현할 수가 있습니다. 이러한 내용을 자세히 설명한 내용이 있어 공유합니다.

🍎 왜 데이터 레이크하우스인가?
 * 데이터 레이크하우스가 등장하기 전에는 많은 기업들이 조직의 구조화된 관계형 데이터를 분석과 보고를 위한 단일 리포지토리로 모으는 데이터 웨어하우스에 집중했습니다.
 * 데이터, 특히 비정형 데이터가 기하급수적으로 증가하면서 데이터 레이크는 방대한 양의 원시 비정형 및 반정형 데이터를 저렴한 스토리지에 저장하는 방법으로 부상했습니다. 이를 통해 데이터 팀은 데이터를 확보하는 즉시 데이터를 노출할 수 있었습니다.
 * 데이터 분석가와 데이터 과학자는 고급 분석을 실행하거나 머신 러닝 모델을 학습하기 위해 데이터를 읽기 시작하면서 스키마를 정의할 수 있었습니다(스키마 온-읽기).

🍎 2계층 아키텍처의 등장: 데이터 웨어하우스와 데이터 레이크
 * 데이터 분석가들이 선호하는 SQL 언어를 사용해 데이터를 고성능으로 구조화하고 분석하는 동시에 데이터 변경에 대한 트랜잭션 일관성을 유지하고 데이터 거버넌스 및 보안을 간소화하는 데이터 웨어하우스가 여전히 필요했습니다.
 * 또한 데이터의 이전 스냅샷을 쉽게 쿼리하거나 데이터를 복사하지 않고 테이블을 복제하는 등의 고유한 기능에 대한 필요성도 있었습니다.
 * 이로 인해 많은 기업들이 데이터를 저장하고 처리하기 위해 데이터 레이크와 데이터 웨어하우스로 구성된 데이터 레이크 하우스 아키텍처를 채택하게 되었습니다.
🍏 데이터 레이크의 장점
 * 저비용 객체 스토리지
 * 비구조화 데이터, 데이터 과학 및 기계 학습을 포함한 고급 분석 지원
 * 읽기 시 스키마로 인한 더 쉽고 빠른 데이터 온보딩 및 AI/ML 기능 활성화
🍏 데이터 웨어하우스의 장점
 * 사용 편의성
 * 향상된 거버넌스
 * 더 나은 검색
 * SQL 성능 강화
 * ACID(원자성, 일관성, 격리 및 내구성)
 * 제로 카피 복제
 * 시간 여행(타임트래블)
🍏 이중 아키텍처 데이터 관리의 문제점
 * 높은 총 소유 비용: 두 개의 별도 시스템을 유지하는 것은 더 큰 복잡성과 인력과 관련된 높은 비용 의미
 * 데이터 노후화: 데이터 레이크와 데이터 웨어하우스 간의 데이터 업데이트 지연 가능성
 * 신뢰성: 데이터를 수집하는 여러 프로세스는 추가적인 ETL 단계를 도입하여 실패 지점을 증가 가능성
 * 드리프트: 한 시스템의 데이터 변경이 다른 시스템에 반영되지 않아 불일치 발생
 * 벤더 종속: 데이터 웨어하우스는 종종 독점 스토리지 형식만 지원하며, 플랫폼 간 마이그레이션은 조직에 높은 비용 소요
   
   
🍎 데이터 레이크하우스의 장점
 * 데이터 레이크하우스 = 데이터 레이크 + 데이터 웨어하우스
 * 기업은 데이터 웨어하우스 기능(구조화된 데이터 및 트랜잭션 관리 기능을 사용하면서) 대규모 원시 데이터 저장소에서 데이터 레이크 스토리지로 데이터를 수집 가능
 * 모든 데이터 사용자가 데이터 레이크하우스를 사용할 수 있도록 하는 핵심은 각 데이터 파일 위에 메타데이터 계층을 사용하는 오픈 테이블 형식으로, 사용자가 데이터 레이크에서 정형, 반정형, 비정형 데이터에 관계없이 직접 데이터를 쿼리 가능
 * 이 계층을 통해 사용자는 미리 정의된 스키마, 캐싱, 인덱싱을 구현하고 데이터 웨어하우스와 유사하게 카탈로그에서 데이터를 테이블로 검색할 수 있도록 만들어 더 빠르게 쿼리 지원
 * 메타데이터 계층은 데이터 레이크의 개방형 파일 형식(Apache Parquet) 위에 있는 개방형 메타데이터 테이블 형식(Delta Lake 및 Apache Iceberg)을 통해 관리
🍏 모든 소비를 단일 장소로 지정: SQL on Lake
 * 모든 데이터 사용자, 즉 데이터 과학자와 엔지니어부터 SQL을 사용하는 제품 소유자 및 비즈니스 분석가까지 동일한 테이블 형식을 통해 노출된 동일한 데이터를 쿼리
 * 데이터 레이크하우스를 사용하면 중복 데이터가 문제 감소하고, 기업이 더 이상 두 개의 시스템을 관리하지 않고 새로운 소스에서 데이터 통합이 자동화되고 개방구조이기 때문에 총소유 비용 저렴해짐
 * 오픈 표준 형식을 활용하는 중앙 집중식 스토리지로 인해 선택한 특수 컴퓨팅 엔진을 도입할 수 있는 다양한 기회가 열리고 벤더 종속을 최소화

🍎 Apache Iceberg란?
 * 오픈 테이블 형식은 데이터 웨어하우스의 기능을 데이터 레이크하우스 아키텍처에 도입하는 데 중요한 역할
 * Apache Iceberg는 데이터 레이크에서 SQL 지원을 통해 대규모 데이터를 효율적으로 쿼리하기 위해 사용하는 오픈 테이블 형식으로 테이블 형식은 데이터 파일이 테이블 내에서 어떻게 구성되고 접근되는지를 지정
🍏 Apache Iceberg의 주요 특징
 * Apache Iceberg는 데이터 관리 및 데이터 구조화와 같은 전통적으로 데이터 웨어하우스에서 제공되던 기능을 데이터 레이크와 빅데이터로 가져오는 데 큰 역할
 * 데이터 조직화를 위한 스키마 정의, SQL 쿼리, 테이블 복제 및 시간 여행(time travel)이 포함
 * 오픈소스 프로젝트로서의 유연성과 상호운용성을 제공하며, 데이터를 저장하기 위해 Parquet와 같은 오픈 데이터 형식을 통합하고, 다양한 벤더와 플랫폼의 도구가 데이터를 접근할 수 있도록 지원
 * 메타데이터 파일, 매니페스트 목록 및 메타데이터 파일 형태로 테이블 메타데이터를 캡처
 * 메타데이터 레이어는 특정 스냅샷(메타데이터 파일이라고 함)의 파일 목록을 추적하기 위해 Apache Iceberg가 생성한 매니페스트 파일로 구성. 데이터의 다른 스냅샷이 생성될 때마다 이전 스냅샷에 대한 참조가 포함되며, 이를 통해 시간 여행과 같은 데이터 웨어하우스의 기능 제공
🍏 아이스버그 테이블을 사용한 레이크하우스 아키텍처 구현
 * 레이크하우스 아키텍처의 이점을 활용하고자 하는 기업은 이를 위해 아이스버그 테이블을 사용
 * 아이스버그 테이블은 기업이 데이터 레이크와 같은 자체 외부 스토리지에서 데이터를 읽고 쓸 수 있는 방법을 제공하면서 쿼리 기능과 기본 테이블의 기능 지원
 * 기업은 데이터를 레이크하우스 아키텍처에 저장하고 사용을 그곳으로 지정할 수 있어 데이터를 별도로 로드하고 저장하는 비용 최소화
 * 아이스버그 테이블은 테이블 형식으로 Apache Iceberg를 사용하고, 데이터 파일 형식으로 Apache Parquet를 사용하여 데이터 레이크의 대규모 데이터셋을 저장하고 처리하는 아키텍처 사용
🍏 Iceberg Tables 성능 최적화
데이터 웨어하우스에서 레이크로 워크로드를 옮길 때 가장 큰 우려는 쿼리 성능 저하이며, 이는 비용 증가로 이어질 수 있어 성능 최적화가 중요함. 데이터 수집 및 쿼리 프로세스를 최적화함으로써, Iceberg Tables는 네이티브 테이블 성능에 가까운 결과를 제공 가능
 * 데이터 레이아웃 최적화: 데이터가 쓰여질 때 스토리지 엔진이 데이터를 배치하는 방식이 성능에 중요.파일 크기, 행 그룹 크기, 파티션 수, 압축 방법 등
 * 인덱스와 통계: 데이터 작성 시 메타데이터에 수집된 인덱스와 통계를 활용하면, 데이터를 찾기 위해 열거나 스캔해야 하는 파일 수를 줄여 쿼리를 더 빠르게 실행
 * 스토리지 유지 관리: 오래된 스냅샷을 정리하고 파일을 최적 크기로 압축하여 데이터 저장소를 유지 관리 필요
 * 캐싱: 가상 웨어하우스 수준과 결과 수준에서 캐싱 지원. 데이터 수집 중 스토리지 레이아웃을 미리 계산하는 방식으로 레이크 스토리지 레이어 내에서 성능 최적화 구현
 * 행 수준 업데이트 최적화: Iceberg 스펙은 copy-on-write와 merge-on-read라는 두 가지 행 수준 업데이트 패턴 지원. 업데이트와 삭제 작업이 많은 워크로드의 경우 merge-on-read 패턴을 선택하면 성능을 향상 가능
🍏 레이크하우스 아키텍처로 데이터의 가치를 극대화하기
 * Iceberg를 활용한 데이터 레이크하우스 아키텍처로 데이터 소비를 전환함으로써, 다양한 처리 엔진을 통합할 유연성이 개선되고 총 소유 비용 절감
 * 오픈 형식과 Iceberg의 광범위한 생태계는 데이터를 컴퓨팅 락인 없이 쉽게 처리할 수 있도록 보장하여 데이터 투자 수명을 연장
 * 아키텍처 변경을 통해 중복 저장 비용을 제거하고, 데이터 레이크의 SQL 성능 개선

>> 스노우플레이크 관점의 상세 내용은 원문을 참고하시기 바랍니다.

 * source: https://www.capitalone.com/software/blog/iceberg-tables-lakehouse-architecture/

데이터 관리 관행이 발전함에 따라 데이터 웨어하우스와 데이터 레이크를 하나의 아키텍처로 결합하는 모델인 데이터 레이크하우스가 등장했습니다. 아파치아이스버그(Apache Iceberg)를 통해 이런 데이터 레이크하우스를 구현할 수가 있습니다. 이러한 내용을 자세히 설명한 내용이 있어 공유합니다. 🍎 왜 데이터 레이크하우스인가?<ul ><li>데이터 레이크하우스가 등장하기 전에는 많은 기업들이 조직의 구조화된 관계형 데이터를 분석과 보고를 위한 단일 리포지토리로 모으는 데이터 웨어하우스에 집중했습니다. </li><li>데이터, 특히 비정형 데이터가 기하급수적으로 증가하면서 데이터 레이크는 방대한 양의 원시 비정형 및 반정형 데이터를 저렴한 스토리지에 저장하는 방법으로 부상했습니다. 이를 통해 데이터 팀은 데이터를 확보하는 즉시 데이터를 노출할 수 있었습니다. </li><li>데이터 분석가와 데이터 과학자는 고급 분석을 실행하거나 머신 러닝 모델을 학습하기 위해 데이터를 읽기 시작하면서 스키마를 정의할 수 있었습니다(스키마 온-읽기).</li></ul> 🍎 2계층 아키텍처의 등장: 데이터 웨어하우스와 데이터 레이크<ul ><li>데이터 분석가들이 선호하는 SQL 언어를 사용해 데이터를 고성능으로 구조화하고 분석하는 동시에 데이터 변경에 대한 트랜잭션 일관성을 유지하고 데이터 거버넌스 및 보안을 간소화하는 데이터 웨어하우스가 여전히 필요했습니다. </li><li>또한 데이터의 이전 스냅샷을 쉽게 쿼리하거나 데이터를 복사하지 않고 테이블을 복제하는 등의 고유한 기능에 대한 필요성도 있었습니다. </li><li>이로 인해 많은 기업들이 데이터를 저장하고 처리하기 위해 데이터 레이크와 데이터 웨어하우스로 구성된 데이터 레이크 하우스 아키텍처를 채택하게 되었습니다. </li></ul> 🍏 데이터 레이크의 장점<ul ><li>저비용 객체 스토리지</li><li>비구조화 데이터, 데이터 과학 및 기계 학습을 포함한 고급 분석 지원</li><li>읽기 시 스키마로 인한 더 쉽고 빠른 데이터 온보딩 및 AI/ML 기능 활성화</li></ul> 🍏 데이터 웨어하우스의 장점<ul ><li>사용 편의성</li><li>향상된 거버넌스</li><li>더 나은 검색</li><li>SQL 성능 강화</li><li>ACID(원자성, 일관성, 격리 및 내구성)</li><li>제로 카피 복제</li><li>시간 여행(타임트래블)</li></ul> 🍏 이중 아키텍처 데이터 관리의 문제점<ul ><li>높은 총 소유 비용: 두 개의 별도 시스템을 유지하는 것은 더 큰 복잡성과 인력과 관련된 높은 비용 의미</li><li>데이터 노후화: 데이터 레이크와 데이터 웨어하우스 간의 데이터 업데이트 지연 가능성</li><li>신뢰성: 데이터를 수집하는 여러 프로세스는 추가적인 ETL 단계를 도입하여 실패 지점을 증가 가능성</li><li>드리프트: 한 시스템의 데이터 변경이 다른 시스템에 반영되지 않아 불일치 발생</li><li>벤더 종속: 데이터 웨어하우스는 종종 독점 스토리지 형식만 지원하며, 플랫폼 간 마이그레이션은 조직에 높은 비용 소요 </li></ul>🍎 데이터 레이크하우스의 장점<ul ><li>데이터 레이크하우스 = 데이터 레이크 + 데이터 웨어하우스</li><li>기업은 데이터 웨어하우스 기능(구조화된 데이터 및 트랜잭션 관리 기능을 사용하면서) 대규모 원시 데이터 저장소에서 데이터 레이크 스토리지로 데이터를 수집 가능</li><li>모든 데이터 사용자가 데이터 레이크하우스를 사용할 수 있도록 하는 핵심은 각 데이터 파일 위에 메타데이터 계층을 사용하는 오픈 테이블 형식으로, 사용자가 데이터 레이크에서 정형, 반정형, 비정형 데이터에 관계없이 직접 데이터를 쿼리 가능</li><li>이 계층을 통해 사용자는 미리 정의된 스키마, 캐싱, 인덱싱을 구현하고 데이터 웨어하우스와 유사하게 카탈로그에서 데이터를 테이블로 검색할 수 있도록 만들어 더 빠르게 쿼리 지원</li><li> 메타데이터 계층은 데이터 레이크의 개방형 파일 형식(Apache Parquet) 위에 있는 개방형 메타데이터 테이블 형식(Delta Lake 및 Apache Iceberg)을 통해 관리</li></ul> 🍏 모든 소비를 단일 장소로 지정: SQL on Lake<ul ><li>모든 데이터 사용자, 즉 데이터 과학자와 엔지니어부터 SQL을 사용하는 제품 소유자 및 비즈니스 분석가까지 동일한 테이블 형식을 통해 노출된 동일한 데이터를 쿼리</li><li>데이터 레이크하우스를 사용하면 중복 데이터가 문제 감소하고, 기업이 더 이상 두 개의 시스템을 관리하지 않고 새로운 소스에서 데이터 통합이 자동화되고 개방구조이기 때문에 총소유 비용 저렴해짐</li><li>오픈 표준 형식을 활용하는 중앙 집중식 스토리지로 인해 선택한 특수 컴퓨팅 엔진을 도입할 수 있는 다양한 기회가 열리고 벤더 종속을 최소화</li></ul> 🍎 Apache Iceberg란?<ul ><li>오픈 테이블 형식은 데이터 웨어하우스의 기능을 데이터 레이크하우스 아키텍처에 도입하는 데 중요한 역할</li><li>Apache Iceberg는 데이터 레이크에서 SQL 지원을 통해 대규모 데이터를 효율적으로 쿼리하기 위해 사용하는 오픈 테이블 형식으로 테이블 형식은 데이터 파일이 테이블 내에서 어떻게 구성되고 접근되는지를 지정</li></ul> 🍏 Apache Iceberg의 주요 특징<ul ><li>Apache Iceberg는 데이터 관리 및 데이터 구조화와 같은 전통적으로 데이터 웨어하우스에서 제공되던 기능을 데이터 레이크와 빅데이터로 가져오는 데 큰 역할</li><li>데이터 조직화를 위한 스키마 정의, SQL 쿼리, 테이블 복제 및 시간 여행(time travel)이 포함</li><li>오픈소스 프로젝트로서의 유연성과 상호운용성을 제공하며, 데이터를 저장하기 위해 Parquet와 같은 오픈 데이터 형식을 통합하고, 다양한 벤더와 플랫폼의 도구가 데이터를 접근할 수 있도록 지원</li><li>메타데이터 파일, 매니페스트 목록 및 메타데이터 파일 형태로 테이블 메타데이터를 캡처</li><li>메타데이터 레이어는 특정 스냅샷(메타데이터 파일이라고 함)의 파일 목록을 추적하기 위해 Apache Iceberg가 생성한 매니페스트 파일로 구성. 데이터의 다른 스냅샷이 생성될 때마다 이전 스냅샷에 대한 참조가 포함되며, 이를 통해 시간 여행과 같은 데이터 웨어하우스의 기능 제공 </li></ul>🍏 아이스버그 테이블을 사용한 레이크하우스 아키텍처 구현<ul ><li>레이크하우스 아키텍처의 이점을 활용하고자 하는 기업은 이를 위해 아이스버그 테이블을 사용</li><li>아이스버그 테이블은 기업이 데이터 레이크와 같은 자체 외부 스토리지에서 데이터를 읽고 쓸 수 있는 방법을 제공하면서 쿼리 기능과 기본 테이블의 기능 지원</li><li>기업은 데이터를 레이크하우스 아키텍처에 저장하고 사용을 그곳으로 지정할 수 있어 데이터를 별도로 로드하고 저장하는 비용 최소화</li><li>아이스버그 테이블은 테이블 형식으로 Apache Iceberg를 사용하고, 데이터 파일 형식으로 Apache Parquet를 사용하여 데이터 레이크의 대규모 데이터셋을 저장하고 처리하는 아키텍처 사용</li></ul>🍏 Iceberg Tables 성능 최적화데이터 웨어하우스에서 레이크로 워크로드를 옮길 때 가장 큰 우려는 쿼리 성능 저하이며, 이는 비용 증가로 이어질 수 있어 성능 최적화가 중요함. 데이터 수집 및 쿼리 프로세스를 최적화함으로써, Iceberg Tables는 네이티브 테이블 성능에 가까운 결과를 제공 가능<ul ><li>데이터 레이아웃 최적화: 데이터가 쓰여질 때 스토리지 엔진이 데이터를 배치하는 방식이 성능에 중요.파일 크기, 행 그룹 크기, 파티션 수, 압축 방법 등</li><li>인덱스와 통계: 데이터 작성 시 메타데이터에 수집된 인덱스와 통계를 활용하면, 데이터를 찾기 위해 열거나 스캔해야 하는 파일 수를 줄여 쿼리를 더 빠르게 실행</li><li>스토리지 유지 관리: 오래된 스냅샷을 정리하고 파일을 최적 크기로 압축하여 데이터 저장소를 유지 관리 필요</li><li>캐싱: 가상 웨어하우스 수준과 결과 수준에서 캐싱 지원. 데이터 수집 중 스토리지 레이아웃을 미리 계산하는 방식으로 레이크 스토리지 레이어 내에서 성능 최적화 구현</li><li>행 수준 업데이트 최적화: Iceberg 스펙은 copy-on-write와 merge-on-read라는 두 가지 행 수준 업데이트 패턴 지원. 업데이트와 삭제 작업이 많은 워크로드의 경우 merge-on-read 패턴을 선택하면 성능을 향상 가능</li></ul>🍏 레이크하우스 아키텍처로 데이터의 가치를 극대화하기<ul ><li>Iceberg를 활용한 데이터 레이크하우스 아키텍처로 데이터 소비를 전환함으로써, 다양한 처리 엔진을 통합할 유연성이 개선되고 총 소유 비용 절감</li><li>오픈 형식과 Iceberg의 광범위한 생태계는 데이터를 컴퓨팅 락인 없이 쉽게 처리할 수 있도록 보장하여 데이터 투자 수명을 연장</li><li>아키텍처 변경을 통해 중복 저장 비용을 제거하고, 데이터 레이크의 SQL 성능 개선</li></ul> &gt;&gt; 스노우플레이크 관점의 상세 내용은 원문을 참고하시기 바랍니다. <ul ><li>source: https://www.capitalone.com/software/blog/iceberg-tables-lakehouse-architecture/</li></ul>

Capital One

[Capitalone]아이스버그를 이용한 레이크하우스아키텍처 구현하기

나는 어떤 기술의 초기에 매우 관심을 크게 갖다가 기술이 어느정도 성숙해지면 약간 시들해지면서 다른 떠오르는 기술에 관심을 갖는 편인데, 지난 반년 사이 LLM에는 약간 시들해지고, 음성 인터페이스에 큰 관심을 갖게 되었다. 단일 기술로써가 아닌 통합적인 경험으로써.

음성 인터페이스가 시작된지도, 내가 관심을 가진지도 오래되긴 했지만, LLM과 대규모 모델이 가능해짐으로써 통합 인터페이스로써 완전히 인간 수준의 경험을 줄 수 있게 될 것이 확실해졌기 때문이다.

또한 컴퓨터 활용의 확장은 인터페이스의 확장에 의해 발전해왔다고해도 과언이 아니고, 특히 그 발전이 인간이 가장 자연스럽게 사용 할 수 있는 형태로 발전해왔다는 것을 보았을 때, 궁극의 인터페이스는 음성 인터페이스라고도 말 할 수 있을 것이다.

물론 아직은 음성 인터페이스를 사용할 수 있는 용처가 한정적이지만, 앞으로 로봇/VR부터 시작해서 디바이스와 기술이 저렴해짐에 따라 기존에 활용되던 컴퓨터의 영역이 아니었던, 특히 오프라인 영역에 매우 큰 변화가 생길 수도 있을 것으로 생각된다.

나는 어떤 기술의 초기에 매우 관심을 크게 갖다가 기술이 어느정도 성숙해지면 약간 시들해지면서 다른 떠오르는 기술에 관심을 갖는 편인데, 지난 반년 사이 LLM에는 약간 시들해지고, 음성 인터페이스에 큰 관심을 갖게 되었다. 단일 기술로써가 아닌 통합적인 경험으로써. 음성 인터페이스가 시작된지도, 내가 관심을 가진지도 오래되긴 했지만, LLM과 대규모 모델이 가능해짐으로써 통합 인터페이스로써 완전히 인간 수준의 경험을 줄 수 있게 될 것이 확실해졌기 때문이다. 또한 컴퓨터 활용의 확장은 인터페이스의 확장에 의해 발전해왔다고해도 과언이 아니고, 특히 그 발전이 인간이 가장 자연스럽게 사용 할 수 있는 형태로 발전해왔다는 것을 보았을 때, 궁극의 인터페이스는 음성 인터페이스라고도 말 할 수 있을 것이다. 물론 아직은 음성 인터페이스를 사용할 수 있는 용처가 한정적이지만, 앞으로 로봇/VR부터 시작해서 디바이스와 기술이 저렴해짐에 따라 기존에 활용되던 컴퓨터의 영역이 아니었던, 특히 오프라인 영역에 매우 큰 변화가 생길 수도 있을 것으로 생각된다.

그래서 티비 리모컨이 사라질까요? 전 굳이 음성음식 티비 필요성을 못 느낍니다만

미국의 대량 유통업체인 Target의 데이터 분석 직군을 위한 인터뷰 문제를 가지고 왔습니다.

SQL 질문

1. 지난 분기 동안 판매량이 가장 많이 증가한 상위 5개 제품은 무엇이였나요?
2. 각 지점 별 품절된 상품의 비율을 통해 평균 품절 품목이 20%를 초과하는 지점의 리스트를 보여주세요.
3. 지역의 모든 지점에서 꾸준히 판매되었지만 지난달 최소 한 지점에서 전혀 판매되지 않은 제품을 찾아주세요.
4. 지난 6개월 동안 매월 구매한 고객 숫자를 계산하여 고객 유지율을 계산해주세요.
5. 시즌별 프로모션에서 특정 제품 카테고리에 대한 할인 효과를 측정하기 위한 SQL 쿼리를 설계해주세요.
6. OLTP 데이터베이스와 OLAP 데이터베이스의 차이점을 설명하고 Target에서 각각을 사용하는 방법에 대한 예시를 제공해주세요.

Python 질문

1. 일일 판매 데이터를 통해 제품의 총 판매량을 계산하는 함수를 작성하십시오.
2. 제품 ID와 재고 수가 매칭된 딕셔너리를 사용하여 재고가 특정 값 미만인 제품에 특정 라벨을 지정하는 코드를 작성하세요.
3. 거래 데이터(열: 날짜, 제품_id, 판매_금액)가 포함된 데이터에서 주간 판매 보고서를 생성하는 Python 함수를 작성합니다. 이 때 보고서의 내용은 해당 주에 대한 각 제품의 총 판매량이어야 합니다.
4. 판매 데이터에서 누락된 데이터를 처리하기 위해 파이썬의 판다 라이브러리를 어떻게 사용할 수 있는지 설명하세요. 이 때 해당 요일의 평균 매출을 기준으로 일별 매출의 누락된 값을 채우는 방식을 사용하세요.
5. 각 지점 ID가 있는 목록과 해당 매출이 있는 리스트 두 개를 받아 딕셔너리를 생성하는 함수를 작성합니다. 이 때 해당 키는 스토어 ID이고 해당 값은 매출인 딕셔너리를 반환합니다.
6. Python에서 리스트과 딕셔너리의 주요 차이점은 무엇인가요? 데이터를 분석하는 다양한 작업에 리스트와 딕셔너리를 어떻게 사용하나요?

미국의 대량 유통업체인 Target의 데이터 분석 직군을 위한 인터뷰 문제를 가지고 왔습니다. SQL 질문 1. 지난 분기 동안 판매량이 가장 많이 증가한 상위 5개 제품은 무엇이였나요? 2. 각 지점 별 품절된 상품의 비율을 통해 평균 품절 품목이 20%를 초과하는 지점의 리스트를 보여주세요. 3. 지역의 모든 지점에서 꾸준히 판매되었지만 지난달 최소 한 지점에서 전혀 판매되지 않은 제품을 찾아주세요. 4. 지난 6개월 동안 매월 구매한 고객 숫자를 계산하여 고객 유지율을 계산해주세요. 5. 시즌별 프로모션에서 특정 제품 카테고리에 대한 할인 효과를 측정하기 위한 SQL 쿼리를 설계해주세요. 6. OLTP 데이터베이스와 OLAP 데이터베이스의 차이점을 설명하고 Target에서 각각을 사용하는 방법에 대한 예시를 제공해주세요. Python 질문 1. 일일 판매 데이터를 통해 제품의 총 판매량을 계산하는 함수를 작성하십시오. 2. 제품 ID와 재고 수가 매칭된 딕셔너리를 사용하여 재고가 특정 값 미만인 제품에 특정 라벨을 지정하는 코드를 작성하세요. 3. 거래 데이터(열: 날짜, 제품_id, 판매_금액)가 포함된 데이터에서 주간 판매 보고서를 생성하는 Python 함수를 작성합니다. 이 때 보고서의 내용은 해당 주에 대한 각 제품의 총 판매량이어야 합니다. 4. 판매 데이터에서 누락된 데이터를 처리하기 위해 파이썬의 판다 라이브러리를 어떻게 사용할 수 있는지 설명하세요. 이 때 해당 요일의 평균 매출을 기준으로 일별 매출의 누락된 값을 채우는 방식을 사용하세요. 5. 각 지점 ID가 있는 목록과 해당 매출이 있는 리스트 두 개를 받아 딕셔너리를 생성하는 함수를 작성합니다. 이 때 해당 키는 스토어 ID이고 해당 값은 매출인 딕셔너리를 반환합니다. 6. Python에서 리스트과 딕셔너리의 주요 차이점은 무엇인가요? 데이터를 분석하는 다양한 작업에 리스트와 딕셔너리를 어떻게 사용하나요?

[Target] 데이터 분석 인터뷰 문제

⚙️ Cybersecurity expert: The ‘zero-trust’ world of AI 

🎃 배경
많은 면에서 인공지능(AI), 프라이버시, 그리고 사이버 보안은 밀접하게 연관되어 있습니다.
최근 들어 대규모 언어 모델(LLM)과 생성형 AI가 모든 이들의 역량을 강화하면서 이 전쟁은 더욱 치열해지고 있습니다. 사이버 범죄자들은 딥페이크와 허위 정보의 대규모 배포를 넘어 데이터 중독(data poisoning)과 생성형 AI 모델을 통한 악성코드 확산 등 다양한 방식으로 활동하고 있기도 합니다.

🎃 디지털 흔적
 * 개념
   * 디지털 흔적 = 디지털 프로필
   * 온라인에서 당신이 하는 모든 행동을 포함, 구글 검색, 소셜 미디어에서 클릭하거나 검색, 좋아요, 댓글을 단 모든 활동, 보낸 이메일, 읽은 이메일, 삭제한 이메일, 방문한 웹사이트, 다운로드한 앱, 웹사이트에서 머문 시간 등의 능동적인 데이터 정보들
   * 위치 정보(추적 데이터), 하드웨어 종류, 설치된 앱, 사용하는 브라우저, Wi-Fi와 셀룰러 연결 여부, 헤드폰을 꽂는 시점, 방문하는 웹사이트, 휴대폰 주소록 정보, 기기 사진첩 정보 등의 수동적으로 수집되는 데이터도 포함될 수 있음
 * 현황
   * 개인 정보는 수집되고 분석되며 정리되어 웹사이트 소유자, 앱 개발자, 소셜 미디어 플랫폼, 데이터 브로커 같은 다양한 조직에 의해 판매
   * 2021년 기준, 미국에는 공식적으로 등록된 데이터 브로커가 540곳이 있었으며, 여기에는 사이버 범죄자들이 수집하고 판매하는 데이터 미포함이며, 모두 합법적 기업임
 * 사례
   * 스냅챗: 능동적인 데이터 정보들 뿐만 아니라 스동적 데이터도 포함하여 개인정보 보호 정책에 명시
   * 닛산: 운전자들의 비디오 및 오디오 녹화, 인터넷 검색 기록(스마트폰을 자동차에 연결할 경우), 개인 소유물 목록, 나이, 인종, 이름, 민족, 성별, 신용카드 번호, 교육 및 고용 이력, 주소 등 정보 수집

🎃 왜 중요할까:
 * 데이터들은 단순히 수집/유출되기만 한다 해도, 여전히 해커에게는 좋은 먹잇감
 * 생성형 AI는 이 모든 데이터를 분석하고 처리하여 큰 데이터 속에서 중요한 정보를 신속히 찾아내거나, 맞춤형 피싱 공격을 개발하거나, 보안 네트워크를 뚫는 강력한 도구로 활용됨
 * 이 데이터는 합법적으로도 주로 맞춤형 광고 및 마케팅 캠페인에 활용됨
 * 업무 기기에서 방문하고 로그인하는 웹사이트, 개인 기기에서 접속하는 회사 포털, 또는 업무 관련 정보를 요약하기 위해 ChatGPT 같은 챗봇을 사용하는 행동 등은 모두 사이버 범죄자가 노릴 수 있는 취약한 연결 고리 가능성 존재

🎃 해결 방안
 * 사이버 보안 교육 및 표준
 * 디지털 건강을 시각적으로 확인하고 평가할 수 있는 방법이 필수이며, 기술적 해결책 + 스마트한 프로세스와 사고방식의 전환 필요
 * 제로 트러스트 접근 방법: 모든것을 확인하고 검증하며, 다계층의 검증 시스템 구현
 * 사이버 보안 표준
 * 스마트한 프로세스와 사고방식의 전환
 * 거버넌스와 프레임워크, 프라이버시, 데이터 리터러시 등 사이버 보안 표준화
 * 디지털 환경에서 만나는 모든 것을 기본적으로 신뢰할 수 없다는(?) 인식 전환 등

 * 출처: https://www.thedeepview.co/p/researchers-call-for-the-abolishment-of-carceral-ai-3?utm_campaign=cybersecurity-expert-the-zero-trust-world-of-ai&utm_medium=newsletter&utm_source=www.thedeepview.co

🎃 배경많은 면에서 인공지능(AI), 프라이버시, 그리고 사이버 보안은 밀접하게 연관되어 있습니다.최근 들어 대규모 언어 모델(LLM)과 생성형 AI가 모든 이들의 역량을 강화하면서 이 전쟁은 더욱 치열해지고 있습니다. 사이버 범죄자들은 딥페이크와 허위 정보의 대규모 배포를 넘어 데이터 중독(data poisoning)과 생성형 AI 모델을 통한 악성코드 확산 등 다양한 방식으로 활동하고 있기도 합니다. 🎃 디지털 흔적<ul ><li>개념<ul ><li>디지털 흔적 = 디지털 프로필</li><li>온라인에서 당신이 하는 모든 행동을 포함, 구글 검색, 소셜 미디어에서 클릭하거나 검색, 좋아요, 댓글을 단 모든 활동, 보낸 이메일, 읽은 이메일, 삭제한 이메일, 방문한 웹사이트, 다운로드한 앱, 웹사이트에서 머문 시간 등의 능동적인 데이터 정보들</li><li>위치 정보(추적 데이터), 하드웨어 종류, 설치된 앱, 사용하는 브라우저, Wi-Fi와 셀룰러 연결 여부, 헤드폰을 꽂는 시점, 방문하는 웹사이트, 휴대폰 주소록 정보, 기기 사진첩 정보 등의 수동적으로 수집되는 데이터도 포함될 수 있음</li></ul></li><li>현황<ul ><li>개인 정보는 수집되고 분석되며 정리되어 웹사이트 소유자, 앱 개발자, 소셜 미디어 플랫폼, 데이터 브로커 같은 다양한 조직에 의해 판매</li><li>2021년 기준, 미국에는 공식적으로 등록된 데이터 브로커가 540곳이 있었으며, 여기에는 사이버 범죄자들이 수집하고 판매하는 데이터 미포함이며, 모두 합법적 기업임</li></ul></li><li>사례<ul ><li>스냅챗: 능동적인 데이터 정보들 뿐만 아니라 스동적 데이터도 포함하여 개인정보 보호 정책에 명시</li><li>닛산: 운전자들의 비디오 및 오디오 녹화, 인터넷 검색 기록(스마트폰을 자동차에 연결할 경우), 개인 소유물 목록, 나이, 인종, 이름, 민족, 성별, 신용카드 번호, 교육 및 고용 이력, 주소 등 정보 수집</li></ul></li></ul> 🎃 왜 중요할까:<ul ><li>데이터들은 단순히 수집/유출되기만 한다 해도, 여전히 해커에게는 좋은 먹잇감</li><li>생성형 AI는 이 모든 데이터를 분석하고 처리하여 큰 데이터 속에서 중요한 정보를 신속히 찾아내거나, 맞춤형 피싱 공격을 개발하거나, 보안 네트워크를 뚫는 강력한 도구로 활용됨</li><li>이 데이터는 합법적으로도 주로 맞춤형 광고 및 마케팅 캠페인에 활용됨</li><li>업무 기기에서 방문하고 로그인하는 웹사이트, 개인 기기에서 접속하는 회사 포털, 또는 업무 관련 정보를 요약하기 위해 ChatGPT 같은 챗봇을 사용하는 행동 등은 모두 사이버 범죄자가 노릴 수 있는 취약한 연결 고리 가능성 존재</li></ul> 🎃 해결 방안<ul ><li>사이버 보안 교육 및 표준</li><li>디지털 건강을 시각적으로 확인하고 평가할 수 있는 방법이 필수이며, 기술적 해결책 + 스마트한 프로세스와 사고방식의 전환 필요</li><li>제로 트러스트 접근 방법: 모든것을 확인하고 검증하며, 다계층의 검증 시스템 구현</li><li>사이버 보안 표준</li><li>스마트한 프로세스와 사고방식의 전환</li><li>거버넌스와 프레임워크, 프라이버시, 데이터 리터러시 등 사이버 보안 표준화</li><li>디지털 환경에서 만나는 모든 것을 기본적으로 신뢰할 수 없다는(?) 인식 전환 등</li></ul> <ul ><li>출처: https://www.thedeepview.co/p/researchers-call-for-the-abolishment-of-carceral-ai-3?utm_campaign=cybersecurity-expert-the-zero-trust-world-of-ai&amp;utm_medium=newsletter&amp;utm_source=www.thedeepview.co</li></ul>

The Deep View

[Deepview]보안 전문가가 말하는 디지털 건강/사이버보안의 중요성

사용자 부주의로 인한 개인정보 유출은 별도로 하고 시스템상으로 지금도 해킹은 불가능합니다 보안소프트웨어 설치해본 게 언제인지 까마득하네요

Sign up for the first AI Hub in the world with AI Applications | GPTs | Courses | Events | AI News What’s good, AI Enthusiast ? 🦾 Welcome to a brand-new edition of AI Focus—your ultimate newsletter about AI! 🤖 Get comfy, grab a snack, and get ready for the coolest breakthroughs, latest trends, and

🌐AI Focus: NVIDIA, OpenAI and BlackFriday Deals + How to Create your Own ChatBot 

< 콘텐츠 제작 및 연구 >
1. PaperGuide AI
 * https://paperguide.ai/?ref=genai
 * 코드: RESEARCH30 — 모든 플랜 30% 할인

2. QuillBot
 * https://try.quillbot.com/wh6s8ay04ei6
 * 코드: QUILLBOT40 — 연간 플랜 40% 할인

3. WordHero
 * https://wordhero.co/special-offer?via=genai1
 * 코드: WHBLACK20 — 평생 플랜 20% 할인

4. SpeakAI
 * https://speakai.co/pricing/?via=genai
 * 제공: 연간 플랜 93% 할인

< AI 챗봇 및 자동화 >
5. Orimon AI 챗봇
 * https://orimon.ai/ai-chatbot-black-friday-sale?via=genai
 * 제공: 연간 플랜 80% 할인, 월간 플랜 70% 할인

6. Hello Tars
 * https://hellotars.com/?fp_ref=genai
 * 코드: GENAI2024 — 모든 플랜 50% 할인

7. CustomGPT
 * https://customgpt.ai/?fpr=genai1
 * 코드: GENAIPARTNER — 연간 플랜 15% 할인

< 마케팅 및 SEO >
8. Surfer SEO
 * https://get.surferseo.com/jxqwfk7biqka
 * 제공: 연간 플랜 30% 할인

9. MindPal
 * https://mindpal.space/?aff=LylZZ
 * 코드: BLACKFRIDAY24 — 연간 플랜 60% 할인

10. PagePilot
 * https://pagepilot.ai/?utm_source=rw&via=genai
 * 코드: GENAI15 — 모든 플랜 15% 할인

< 검색 >
11. Perplexity Pro
 * https://www.perplexity.ai/pro?referral_code=LWXNIG2U
 * $20 -> $4.99

 * 출처: https://www.linkedin.com/pulse/ai-focus-nvidia-openai-blackfriday-deals-how-create-your-own-i283e/

&lt; 콘텐츠 제작 및 연구 &gt;1. PaperGuide AI<ul ><li>https://paperguide.ai/?ref=genai</li><li>코드: RESEARCH30 — 모든 플랜 30% 할인</li></ul> 2. QuillBot<ul ><li>https://try.quillbot.com/wh6s8ay04ei6</li><li>코드: QUILLBOT40 — 연간 플랜 40% 할인</li></ul> 3. WordHero<ul ><li>https://wordhero.co/special-offer?via=genai1</li><li>코드: WHBLACK20 — 평생 플랜 20% 할인</li></ul> 4. SpeakAI<ul ><li>https://speakai.co/pricing/?via=genai</li><li>제공: 연간 플랜 93% 할인</li></ul> &lt; AI 챗봇 및 자동화 &gt;5. Orimon AI 챗봇<ul ><li>https://orimon.ai/ai-chatbot-black-friday-sale?via=genai</li><li>제공: 연간 플랜 80% 할인, 월간 플랜 70% 할인</li></ul> 6. Hello Tars<ul ><li>https://hellotars.com/?fp_ref=genai</li><li>코드: GENAI2024 — 모든 플랜 50% 할인</li></ul> 7. CustomGPT<ul ><li>https://customgpt.ai/?fpr=genai1</li><li>코드: GENAIPARTNER — 연간 플랜 15% 할인</li></ul> &lt; 마케팅 및 SEO &gt;8. Surfer SEO<ul ><li>https://get.surferseo.com/jxqwfk7biqka</li><li>제공: 연간 플랜 30% 할인</li></ul> 9. MindPal<ul ><li>https://mindpal.space/?aff=LylZZ</li><li>코드: BLACKFRIDAY24 — 연간 플랜 60% 할인</li></ul> 10. PagePilot<ul ><li>https://pagepilot.ai/?utm_source=rw&amp;via=genai</li><li>코드: GENAI15 — 모든 플랜 15% 할인</li></ul> &lt; 검색 &gt;11. Perplexity Pro<ul ><li>https://www.perplexity.ai/pro?referral_code=LWXNIG2U</li><li><s>$20 </s>-&gt; $4.99</li></ul> <ul ><li>출처: https://www.linkedin.com/pulse/ai-focus-nvidia-openai-blackfriday-deals-how-create-your-own-i283e/</li></ul>

www.linkedin.com

🎁 블랙 프라이데이 딜이 있는 최고의 AI 도구

Forget AI, IT leaders must shore up two key gaps in the year ahead: the C-suite’s perception of IT’s business value and end-users’ ability to derive value from the solutions IT delivers.

CIOs’ top 2025 goal? Turning around IT’s sagging reputation

🎃 IT의 비즈니스 가치를 C-레벨 경영진이 어떻게 인식하느냐
🎃 IT가 제공하는 솔루션에서 최종 사용자가 가치를 얼마나 얻어내느냐.

🍎 기대 격차
가트너는 2030년까지 모든 IT 지출의 일부가 AI와 연관될 것이라고 예측했지만, CIO들은 AI 너머로 기술적 상상력을 확장해야 합니다. 40명의 기술 리더들에게 CIO들이 내년에 주목해야 할 비AI 기술 트렌드에 대해 물어본 결과는 바로 "기대 격차"였습니다!

🍏 CIO의 가치 창출에 대한 회의적인 시각
 * 맥킨지의 최근 180페이지 분량의 기술 백서에서는 “대부분의 조직이 디지털 투자에서 기대하는 영향의 30% 미만을 달성한다”고 지적했습니다.
 * IBM 비즈니스 가치 연구소가 2,500명의 C-레벨 경영진을 대상으로 조사한 결과, CEO의 36%, CFO의 50%, 기술 리더의 47%만이 IT 조직이 기본적인 기술 서비스를 효과적으로 제공한다고 생각한다고 답했습니다. 이는 10년 전보다 크게 감소한 수치로, IT에 대한 신뢰가 약화되었음을 보여줍니다.

🍎 CIO에 대한 기대 역할
🍏 CIO는 IT에 대한 기대가 형성되는 소용돌이에 뛰어들어 IT 지출이 어디에, 왜, 어떤 목적으로 사용되는지 주요 이해관계자들에게 이해시키는 역할을 해야 합니다. 이를 가장 효과적으로 수행하는 방법은 다음 세 가지 지렛대를 활용하는 것입니다.
 * 투명성: 돈이 얼마나, 어디에 사용되는지 알리는 것
 * 통제권: 사람들이 돈이 얼마나, 어디에 사용되는지 결정에 참여할 수 있도록 하는 것
 * 설명 가능성: 돈이 어디에 왜 사용되는지 이해시키는 것

🍏 일반화되어서는 안되는 IT의 가치 창출
 * 예: “중대한 보안 사고가 없었다”거나 “작년 가동 시간이 꽤 괜찮았다” 같은 일반적인 표현으로는 부족합니다.
 * IT 투자의 수익은 개별 부서, 이해관계자, 직원 수준으로 세분화되어야 하며, 이해관계자들에게 IT가 제공하는 가치를 명확히 전달해야 합니다.
 * 더 나아가, CIO는 “기대를 충족하는 것”에서 “기대를 초과하는 것”으로 나아가야 합니다. 기술 리더들의 의견에 따르면, 현재 IT 조직의 10% 미만만이 “기대를 초과”하고 있습니다.

🍏 기술 문해력 격차
 * 기술을 최종 사용자에게 제공하는 것만으로는 충분하지 않습니다. 최종 사용자가 기술을 생산적으로 사용할 줄 알아야 합니다.
 * OpenAI 공동 설립자이자 현 회장인 Greg Brockman은 “이 기술을 만들어 던져 놓고, ‘우린 할 일을 다 했어. 이제 세상이 알아서 해.’라고 말하는 것으로는 충분하지 않습니다”
 * CIO가 IT가 제공하는 가치를 세분화/개인화해서 전달해야 하듯, 기술 이니셔티브와 관련된 교육 역시 세분화/개인화해야 합니다.
 * 기술 저항자에서 고급 기술 사용자까지 모든 IT 문해력 수준에 맞춰 기술 프로젝트를 조정해야 합니다

 * 출처: https://www.cio.com/article/3608282/cios-top-2025-goal-turning-around-its-sagging-reputation.html?utm_date=20241130141010&utm_campaign=CIO%20US%20First%20Look&utm_content=slotno-3-title-CIOs%E2%80%99%20top%202025%20goal%3F%20Turning%20around%20IT%E2%80%99s%20sagging%20reputation&utm_term=CIO%20US%20Editorial%20Newsletters&utm_medium=email&utm_source=Adestra&huid=9d4dd075-c27c-4c62-a1cb-bedd06fa7033

🎃 IT의 비즈니스 가치를 C-레벨 경영진이 어떻게 인식하느냐🎃 IT가 제공하는 솔루션에서 최종 사용자가 가치를 얼마나 얻어내느냐. 🍎 기대 격차가트너는 2030년까지 모든 IT 지출의 일부가 AI와 연관될 것이라고 예측했지만, CIO들은 AI 너머로 기술적 상상력을 확장해야 합니다. 40명의 기술 리더들에게 CIO들이 내년에 주목해야 할 비AI 기술 트렌드에 대해 물어본 결과는 바로 "기대 격차"였습니다! 🍏 CIO의 가치 창출에 대한 회의적인 시각<ul ><li>맥킨지의 최근 180페이지 분량의 기술 백서에서는 “대부분의 조직이 디지털 투자에서 기대하는 영향의 30% 미만을 달성한다”고 지적했습니다.</li><li>IBM 비즈니스 가치 연구소가 2,500명의 C-레벨 경영진을 대상으로 조사한 결과, CEO의 36%, CFO의 50%, 기술 리더의 47%만이 IT 조직이 기본적인 기술 서비스를 효과적으로 제공한다고 생각한다고 답했습니다. 이는 10년 전보다 크게 감소한 수치로, IT에 대한 신뢰가 약화되었음을 보여줍니다.</li></ul> 🍎 CIO에 대한 기대 역할 🍏 CIO는 IT에 대한 기대가 형성되는 소용돌이에 뛰어들어 IT 지출이 어디에, 왜, 어떤 목적으로 사용되는지 주요 이해관계자들에게 이해시키는 역할을 해야 합니다. 이를 가장 효과적으로 수행하는 방법은 다음 세 가지 지렛대를 활용하는 것입니다.<ul ><li>투명성: 돈이 얼마나, 어디에 사용되는지 알리는 것</li><li>통제권: 사람들이 돈이 얼마나, 어디에 사용되는지 결정에 참여할 수 있도록 하는 것</li><li>설명 가능성: 돈이 어디에 왜 사용되는지 이해시키는 것</li></ul> 🍏 일반화되어서는 안되는 IT의 가치 창출 <ul ><li>예: “중대한 보안 사고가 없었다”거나 “작년 가동 시간이 꽤 괜찮았다” 같은 일반적인 표현으로는 부족합니다. </li><li>IT 투자의 수익은 개별 부서, 이해관계자, 직원 수준으로 세분화되어야 하며, 이해관계자들에게 IT가 제공하는 가치를 명확히 전달해야 합니다.</li><li>더 나아가, CIO는 “기대를 충족하는 것”에서 “기대를 초과하는 것”으로 나아가야 합니다. 기술 리더들의 의견에 따르면, 현재 IT 조직의 10% 미만만이 “기대를 초과”하고 있습니다.</li></ul> 🍏 기술 문해력 격차<ul ><li>기술을 최종 사용자에게 제공하는 것만으로는 충분하지 않습니다. 최종 사용자가 기술을 생산적으로 사용할 줄 알아야 합니다.</li><li>OpenAI 공동 설립자이자 현 회장인 Greg Brockman은 “이 기술을 만들어 던져 놓고, ‘우린 할 일을 다 했어. 이제 세상이 알아서 해.’라고 말하는 것으로는 충분하지 않습니다”</li><li>CIO가 IT가 제공하는 가치를 세분화/개인화해서 전달해야 하듯, 기술 이니셔티브와 관련된 교육 역시 세분화/개인화해야 합니다.</li><li>기술 저항자에서 고급 기술 사용자까지 모든 IT 문해력 수준에 맞춰 기술 프로젝트를 조정해야 합니다</li></ul> <ul ><li>출처: https://www.cio.com/article/3608282/cios-top-2025-goal-turning-around-its-sagging-reputation.html?utm_date=20241130141010&amp;utm_campaign=CIO%20US%20First%20Look&amp;utm_content=slotno-3-title-CIOs%E2%80%99%20top%202025%20goal%3F%20Turning%20around%20IT%E2%80%99s%20sagging%20reputation&amp;utm_term=CIO%20US%20Editorial%20Newsletters&amp;utm_medium=email&amp;utm_source=Adestra&amp;huid=9d4dd075-c27c-4c62-a1cb-bedd06fa7033</li></ul>

[CIO]CIO의 2025년 최우선 목표?IT의 추락한 명성 회복!

첫 회사는 로켓펀치 프로필을 보고 연락을 받았어요. CTO분이 경험도 능력도 부족한 제게 기회를 주셨죠.

두 번째 회사는 좋은 헤드헌터를 만났어요. React도 할 줄 몰랐는데 React를 쓰는 팀에 합류했어요.

세 번째 회사는 동료의 추천을 받았어요. 제게 딱 맞는 자리가 있었죠.

매번 좋은 기회를 얻었고 배울 점이 많은 동료들과 일했어요. 자랑할 만한 제품을 만들기도 했죠.

돌이켜보니 정말 운이 좋았어요.

첫 회사는 로켓펀치 프로필을 보고 연락을 받았어요. CTO분이 경험도 능력도 부족한 제게 기회를 주셨죠. 두 번째 회사는 좋은 헤드헌터를 만났어요. React도 할 줄 몰랐는데 React를 쓰는 팀에 합류했어요. 세 번째 회사는 동료의 추천을 받았어요. 제게 딱 맞는 자리가 있었죠. 매번 좋은 기회를 얻었고 배울 점이 많은 동료들과 일했어요. 자랑할 만한 제품을 만들기도 했죠. 돌이켜보니 정말 운이 좋았어요.

운이 좋았어요

An end-to-end open source machine learning platform for everyone. Discover TensorFlow's flexible ecosystem of tools, libraries and community resources.

TensorFlow

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다!

🎃 텐서플로우
 * https://www.tensorflow.org/
 * 연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여
   * 프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적
   * 리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원
 * TensorFlow의 주요 특징 및 기능
   * TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공
   * 유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원
   * 시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard
   * 프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능
   * 커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티
   * 사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스
 * TensorFlow 구현 모범 사례
   * 코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동
   * 모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지

🎃 PyTorch
 * https://pytorch.org/
 * 직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품
   * 포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점
   * 엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장
   * NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적
   * 동적 계산 그래프를 유연하게 처리
 * PyTorch 아키텍처 및 구성 요소
   * PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심
   * 텐서 연산: GPU 가속을 통한 고급 수학적 연산
   * 신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어
   * 최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘
   * 데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구
 * PyTorch 개발 워크플로
   * 데이터 준비
     * 입력 데이터를 PyTorch 텐서로 변환하기
     * 사용자 정의 데이터 세트 및 데이터 로더 생성
     * 필요한 전처리 변환 적용
   * 모델 개발
     * torch.nn을 사용하여 네트워크 아키텍처 정의하기
     * 포워드 패스 계산 구현하기
     * 손실 함수 및 옵티마이저 구성

🎃 LangChain
 * https://www.langchain.com/
 * 개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상
   * 강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원
 * LangChain 프레임워크 개요
   * LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화
   * 프럼프트 관리 및 최적화
   * 데이터 증강 생성
   * 의사 결정을 위한 자율 에이전트
   * 컨텍스트 유지를 위한 메모리 시스템
 * 광범위한 통합 기능
   * 외부 데이터 소스
     * 문서 저장소
     * 벡터 데이터베이스
     * API 엔드포인트
   * 개발 도구
     * 버전 관리 시스템
     * 모니터링 플랫폼
     * 배포 서비스
   * 비용을 최적화하기 위해 몇 가지 전략
     * 빈번한 쿼리를 위한 캐싱 메커니즘 활용
     * 가능한 경우 API 호출 일괄 처리
     * 효율적인 리소스 할당을 위해 사용 패턴 모니터링

🎃 허깅 페이스 트랜스포머
 * https://huggingface.co/docs/transformers/en/index
 * 허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치
 * 허깅 페이스의 핵심 기능
   * 바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브
   * PyTorch 및 TensorFlow와의 원활한 통합
   * 고급 토큰화 및 전처리 도구
   * 이전 학습을 위한 기본 지원
   * 포괄적인 문서 및 커뮤니티 리소스
 * 허깅 페이스 구현 가이드
   * 허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.
     * 이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장
     * 최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중
   * 파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.
     * 여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능
   * 로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.
     * 기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택
   * 프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.
     * 이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장

🎃 LlamaIndex
 * https://www.llamaindex.ai/
 * 데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크
   * LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화
   * 엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장
 * LlamaIndex의 특징 및 기능
   * 정교한 데이터 처리 및 검색 기능 중심
   * 여러 소스 통합을 위한 데이터 커넥터(LlamaHub)
   * 고급 문서 작업(삽입, 삭제, 업데이트)
   * 다중 문서 합성 기능
   * 쿼리 엔진 선택을 위한 라우터 기능
   * 벡터 스토어 통합 및 ChatGPT 플러그인 지원
   * OpenAI 함수 호출 API 호환성
 * 라마인덱스 개발 프로세스
   * 데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식
     * 데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요
   * 쿼리 프로세스:
     * 노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집
     * 응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성
     * 채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화
 * 비용 최적화 전략
   * 인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함
   * 개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공

🎃 OpenAI 프레임워크(OPF)
 * https://platform.openai.com/docs/api-reference/introduction
 * 책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시
   * 강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장
   * 프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능
   * OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공
   * 프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원
 * OpenAI 프레임워크 구성 요소
   * 위험 평가를 위한 종합적인 평가 시스템
   * 통합 사이버 보안 조치
   * 안전 자문 그룹(SAG) 감독
   * 책임 있는 확장 정책 구현
   * 고급 모니터링 및 테스트 프로토콜
 * OpenAI 구현 전략
   * 안전과 효율성에 중점을 둔 구조화된 접근 방식
   * 철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.
   * 시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합
 * 비용 최적화 전략:
   * 대시보드를 통한 토큰 사용량 모니터링
   * 사용량 임계값 및 알림 구현
   * 작업 요구 사항에 따른 전략적 모델 선택
   * 언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제

🎃 Microsoft JARVIS
 * https://github.com/microsoft/JARVIS
 * 지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS
   * 서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행
   * 로컬 및 클라우드 기반 배포 모델을 모두 지원
   * 엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공
 * JARVIS 플랫폼 개요
   * JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템
   * 플랫폼의 특징:
     * 멀티모달 처리 기능
     * 실시간 웹 액세스 통합
     * 고급 작업 계획 시스템
     * 모델 간 협업
     * 포괄적인 API 지원
     * 지능형 리소스 관리
 * JARVIS 개발 워크플로(4단계 워크플로우)
   * 작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화
   * 모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택
   * 작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행
   * 응답 통합: 결과를 일관된 출력으로 종합적으로 합성
 * 배포 옵션에 따른 리소스 요구 사항
   * 최소 설정: 16GB VRAM, 100GB 스토리지
   * 표준 설정: 64GB RAM(Jetson AGX Orin에 권장)
   * 클라우드 배포: 유연한 확장 옵션
   * 리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합

🎀 결론 🎀
 * 이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.
   * TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월
   * LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화
   * Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장
 * 모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.

 * 출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다! 🎃 텐서플로우<ul ><li>https://www.tensorflow.org/</li><li>연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여<ul ><li>프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적</li><li>리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원</li></ul></li><li>TensorFlow의 주요 특징 및 기능<ul ><li>TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공</li><li>유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원</li><li>시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard</li><li>프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능</li><li>커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티</li><li>사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스</li></ul></li><li>TensorFlow 구현 모범 사례<ul ><li>코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동</li><li>모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지</li></ul></li></ul> 🎃 PyTorch<ul ><li>https://pytorch.org/</li><li>직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품<ul ><li>포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점</li><li>엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장</li><li>NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적</li><li>동적 계산 그래프를 유연하게 처리</li></ul></li><li>PyTorch 아키텍처 및 구성 요소<ul ><li>PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심</li><li>텐서 연산: GPU 가속을 통한 고급 수학적 연산</li><li>신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어</li><li>최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘</li><li>데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구</li></ul></li><li>PyTorch 개발 워크플로<ul ><li>데이터 준비<ul ><li>입력 데이터를 PyTorch 텐서로 변환하기</li><li>사용자 정의 데이터 세트 및 데이터 로더 생성</li><li>필요한 전처리 변환 적용</li></ul></li><li>모델 개발<ul ><li>torch.nn을 사용하여 네트워크 아키텍처 정의하기</li><li>포워드 패스 계산 구현하기</li><li>손실 함수 및 옵티마이저 구성</li></ul></li></ul></li></ul> 🎃 LangChain<ul ><li>https://www.langchain.com/</li><li>개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상<ul ><li>강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원</li></ul></li><li>LangChain 프레임워크 개요<ul ><li>LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화</li><li>프럼프트 관리 및 최적화</li><li>데이터 증강 생성</li><li>의사 결정을 위한 자율 에이전트</li><li>컨텍스트 유지를 위한 메모리 시스템</li></ul></li><li>광범위한 통합 기능<ul ><li>외부 데이터 소스<ul ><li>문서 저장소</li><li>벡터 데이터베이스</li><li>API 엔드포인트</li></ul></li><li>개발 도구<ul ><li>버전 관리 시스템</li><li>모니터링 플랫폼</li><li>배포 서비스</li></ul></li><li>비용을 최적화하기 위해 몇 가지 전략<ul ><li>빈번한 쿼리를 위한 캐싱 메커니즘 활용</li><li>가능한 경우 API 호출 일괄 처리</li><li>효율적인 리소스 할당을 위해 사용 패턴 모니터링</li></ul></li></ul></li></ul> 🎃 허깅 페이스 트랜스포머<ul ><li>https://huggingface.co/docs/transformers/en/index</li><li>허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치</li><li>허깅 페이스의 핵심 기능<ul ><li>바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브</li><li>PyTorch 및 TensorFlow와의 원활한 통합</li><li>고급 토큰화 및 전처리 도구</li><li>이전 학습을 위한 기본 지원</li><li>포괄적인 문서 및 커뮤니티 리소스</li></ul></li><li>허깅 페이스 구현 가이드<ul ><li>허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.<ul ><li>이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장</li><li>최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중</li></ul></li><li>파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.<ul ><li>여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능</li></ul></li><li>로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.<ul ><li>기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택</li></ul></li><li>프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.<ul ><li>이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장</li></ul></li></ul></li></ul> 🎃 LlamaIndex<ul ><li>https://www.llamaindex.ai/</li><li>데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크<ul ><li>LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화</li><li>엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장</li></ul></li><li>LlamaIndex의 특징 및 기능<ul ><li>정교한 데이터 처리 및 검색 기능 중심</li><li>여러 소스 통합을 위한 데이터 커넥터(LlamaHub)</li><li>고급 문서 작업(삽입, 삭제, 업데이트)</li><li>다중 문서 합성 기능</li><li>쿼리 엔진 선택을 위한 라우터 기능</li><li>벡터 스토어 통합 및 ChatGPT 플러그인 지원</li><li>OpenAI 함수 호출 API 호환성</li></ul></li><li>라마인덱스 개발 프로세스<ul ><li>데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식<ul ><li>데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요</li></ul></li><li>쿼리 프로세스:<ul ><li>노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집</li><li>응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성</li><li>채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화</li></ul></li></ul></li><li>비용 최적화 전략<ul ><li>인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함</li><li>개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공</li></ul></li></ul> 🎃 OpenAI 프레임워크(OPF)<ul ><li>https://platform.openai.com/docs/api-reference/introduction</li><li>책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시<ul ><li>강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장</li><li>프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능</li><li>OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공</li><li>프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원</li></ul></li><li>OpenAI 프레임워크 구성 요소<ul ><li>위험 평가를 위한 종합적인 평가 시스템</li><li>통합 사이버 보안 조치</li><li>안전 자문 그룹(SAG) 감독</li><li>책임 있는 확장 정책 구현</li><li>고급 모니터링 및 테스트 프로토콜</li></ul></li><li>OpenAI 구현 전략<ul ><li>안전과 효율성에 중점을 둔 구조화된 접근 방식</li><li>철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.</li><li>시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합</li></ul></li><li>비용 최적화 전략:<ul ><li>대시보드를 통한 토큰 사용량 모니터링</li><li>사용량 임계값 및 알림 구현</li><li>작업 요구 사항에 따른 전략적 모델 선택</li><li>언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제</li></ul></li></ul> 🎃 Microsoft JARVIS<ul ><li>https://github.com/microsoft/JARVIS</li><li>지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS<ul ><li>서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행</li><li>로컬 및 클라우드 기반 배포 모델을 모두 지원</li><li>엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공</li></ul></li><li>JARVIS 플랫폼 개요<ul ><li>JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템</li><li>플랫폼의 특징:<ul ><li>멀티모달 처리 기능</li><li>실시간 웹 액세스 통합</li><li>고급 작업 계획 시스템</li><li>모델 간 협업</li><li>포괄적인 API 지원</li><li>지능형 리소스 관리</li></ul></li></ul></li><li>JARVIS 개발 워크플로(4단계 워크플로우)<ul ><li>작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화</li><li>모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택</li><li>작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행</li><li>응답 통합: 결과를 일관된 출력으로 종합적으로 합성</li></ul></li><li>배포 옵션에 따른 리소스 요구 사항<ul ><li>최소 설정: 16GB VRAM, 100GB 스토리지</li><li>표준 설정: 64GB RAM(Jetson AGX Orin에 권장)</li><li>클라우드 배포: 유연한 확장 옵션</li><li>리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합</li></ul></li></ul> 🎀 결론 🎀<ul ><li>이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.<ul ><li>TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월</li><li>LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화</li><li>Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장</li></ul></li><li>모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.</li></ul> <ul ><li>출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9</li></ul>

[Dev]모든 개발자가 마스터해야 할 7가지 AI 프레임워크!

Your Resume App

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.
프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다.

물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다.

https://resume.realerror.com/

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다. 물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다. https://resume.realerror.com/

resume.realerror.com

IT직군 역량 자가진단 - 프론트엔드부터 CEO까지

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다.

커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다.

요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다. 

 * “회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"
 * “백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”
 * “회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?” 

어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다. 

훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다. 

요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다. 커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다. 요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다.&nbsp; <ul ><li>“회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"</li><li>“백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”</li><li>“회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?”&nbsp;</li></ul> 어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다.&nbsp; 훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다.&nbsp; 요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교와 커리어의 차이점

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까?

익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요.

낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요.

이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까? 익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요. 낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요. 이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

회사를 옮겨보면 알게 되는 나의 쓸모

2024년을 마무리하기 전,
지금까지의 이력을 업데이트한 2024년 버전 이력서를 만들어보았어요.

제가 이력서를 작성할 때 가장 신경쓰는 점은 크게 3가지입니다.

📌 이력서 전체에서 업무 경험과 스킬들이 일관적인 방향성을 가지고 있는지
📌 경력 파트에서 단순히 업무 내용만을 기재하는 것이 아니라 업무에 도움이 되는 수치나 성과를 나타내고 있는지
📌 내가 원하는 직무에 일치하는 관련 키워드나 스킬셋이 잘 나타나있는지

이 3가지를 포함하는 이력서는 나중에 면접 단계로 이어질 때도,
대부분 추가 질문이나 꼬리 질문에서 여쭤보기 때문에,
스스로 잘 정리하고 기록하는 것이 중요하다고 생각했습니다.

여러분들의 의견은 어떠신가요?
여러분들은 이력서를 작성할 때 사용하는 나만의 팁이나 노하우가 있으신가요?

2024년을 마무리하기 전, 지금까지의 이력을 업데이트한 2024년 버전 이력서를 만들어보았어요. 제가 이력서를 작성할 때 가장 신경쓰는 점은 크게 3가지입니다. 📌 이력서 전체에서 업무 경험과 스킬들이 일관적인 방향성을 가지고 있는지 📌 경력 파트에서 단순히 업무 내용만을 기재하는 것이 아니라 업무에 도움이 되는 수치나 성과를 나타내고 있는지 📌 내가 원하는 직무에 일치하는 관련 키워드나 스킬셋이 잘 나타나있는지 이 3가지를 포함하는 이력서는 나중에 면접 단계로 이어질 때도, 대부분 추가 질문이나 꼬리 질문에서 여쭤보기 때문에, 스스로 잘 정리하고 기록하는 것이 중요하다고 생각했습니다. 여러분들의 의견은 어떠신가요? 여러분들은 이력서를 작성할 때 사용하는 나만의 팁이나 노하우가 있으신가요?

2024년 이력서 업데이트

2022년 1월 4일부터 2024년 11월 18일까지, 약 3년을 우아한형제들과 함께해서 즐거웠습니다 :)   왜 떠나는가? 사실 이직해야지! 하고 결심해서 시작한 것은 아니었다. 3-4년차가 이직하기 참 좋을 때라는데, 나는 과연 이직을 할 수 있을까에 대한 궁금증이 제일 컸다. 부업으로 꾸준히 멘토링을 하는 입장에서 취업/이직이 점점 어려워지고 있구나도 많이 느낄 수 있었다. 물론 연차를 더 쌓은 후 이직을 하는 길도 있었다. 하지만 우아한형제들이 첫 회사인 나는, 약 3년이라는 기간동안 대부분 회사 내부 서비스만을 개발했다. 디자인시스템, 어드민, 운영 도구 등등.. 어떻게 보면 서비스 회사에서 서비스 개발은 해보지 않은 셈이다. 이러다가 더 연차가 쌓였을 때, 만일 서비스 회사에 지원을 하게 된다면 서비스 경험이 없는 나를 과연 뽑을지에 대한 의문이 컸다. 주니어라면 와서 배우면 되는 부분이지만, 시니어라면 팀을 이끄는 역량이 필요할지도 모르는데 경험조차 없다면.. 계속 개…

개발자 단민 | 3년차엔 뭐다? 이직이다!

왜 인지 올 해 저희 회사분들 이직 얘기 많이 전하네요.
다들 최고가 되셔서 떠나시는 만큼 멀리서 항상 응원합니다!!!!
https://www.jeong-min.com/77-resignation/

왜 인지 올 해 저희 회사분들 이직 얘기 많이 전하네요.다들 최고가 되셔서 떠나시는 만큼 멀리서 항상 응원합니다!!!!https://www.jeong-min.com/77-resignation/

www.jeong-min.com

최고가 되어 떠나는 단민님 이직기

메모이제이션(memoization)와 캐싱은 프로그래밍의 기본 개념입니다. 이 글에서는 자바스크립트와 타입스크립트의 예시를 통해 메모이제이션에 대해 자세히 소개합니다.


(번역) 자바스크립트와 타입스크립트에서 메모이제이션란 무엇인가요?

오늘 소개드릴 글은 이스트소프트의 김태현님이 번역해주신 글입니다.

이 글에선 자바스크립트와 타입스크립트를 사용하여 메모이제이션의 구현을 통해 수치와 표를 이용하여 로직의 성능 측정 방법을 알려주고 있습니다. 또한 저자는 쉬게 접근하기위해 피보나치 수열을 사용해서 메모이제이션의 사용 사례와 트레이드 오프에 대해서도 이야기하고 있는데요.

개인적으로 이 내용을 바탕을 이해하고난뒤 리액트의 메모이제이션을 기반하는 개념들을 더 쉽게 이해할 수 있었습니다.

만약 자바스크립트와 타입스크립트 코드에서 최적화에 대해 관심을 가지고 계신다면 이 글을 입문으로 추천합니다!

글 링크: https://velog.io/@tap_kim/memoization-in-js-ts

오늘 소개드릴 글은 이스트소프트의 김태현님이 번역해주신 글입니다. 이 글에선 자바스크립트와 타입스크립트를 사용하여 메모이제이션의 구현을 통해 수치와 표를 이용하여 로직의 성능 측정 방법을 알려주고 있습니다. 또한 저자는 쉬게 접근하기위해 피보나치 수열을 사용해서 메모이제이션의 사용 사례와 트레이드 오프에 대해서도 이야기하고 있는데요. 개인적으로 이 내용을 바탕을 이해하고난뒤 리액트의 메모이제이션을 기반하는 개념들을 더 쉽게 이해할 수 있었습니다. 만약 자바스크립트와 타입스크립트 코드에서 최적화에 대해 관심을 가지고 계신다면 이 글을 입문으로 추천합니다! 글 링크: https://velog.io/@tap_kim/memoization-in-js-ts

velog.io

자바스크립트와 타입스크립트에서 메모이제이션란 무엇인가요?

중앙일보의 고품격 주간 경제지

[허태윤의 브랜드 스토리] 성공한 브랜드의 비밀은 확실한 내부 브랜딩 전략

배민의 '배민다움' - 아이디어 생성과정에서 직원들 스스로가 배민다움을 이해하고 발전시켜나가며 체화한 스토리는 유명합니다. 직원들의 투표를 통해 호수가 보이는 잠실로 사무실을 이전했고, ‘송파구에서 일 잘하는 법’으로 명명한 배민 직원의 업무 지침도 배민다움을 직원들에게 공유하고 이해시키기 위해 만들어 내부에서 외부로 향했습니다.

디즈니의 '캐스트' - 디즈니에서는 테마파크 직원들은 ‘캐스트’라 불립니다. 영화가 끝나고 엔딩 크레딧이 올라가면 등장인물들의 이름이 올라가 듯 디즈니는 테마파크를 무대로 생각하고 그곳에서 일하는 직원은 고객을 위해 연기하는 배우라고 생각합니다 공연하는 직원, 청소하는 직원, 햄버거를 파는 직원 등 이들 모두는 디즈니가 찍는 영화의 한 장면을 담당한다고 자부하고 있습니다. 고객을 관객이라고 상정하고 그들이 파는 것은 훌륭한 기술이나 서비스가 아니라 꿈·환상, 그리고 사랑이라는 보이지 않는 가치라는 점을 직원들에게 먼저 설득합니다.

구글의 '20% 룰' - 최고의 기업이 되기 이전에도 구글은 직원을 최고의 자산이라 생각하며 그에 걸맞은 대우를 해주는 것으로 유명했습니다. 전 세계 국가에서 모인 인재들을 위해 카페테리아에 최고의 셰프들이 만든 요리를 모두 맛볼 수 있게 했죠. 특히, ‘20% 타임제’를 통해 업무 시간의 20%는 개인적 관심사에 시간을 보낼 수 있게 해 직원들은 자발적으로 자신의 관심사와 회사의 일을 연결해 훌륭한 성과를 만들고 있습니다. 실제로 구글 로고를 디자인한 한국인 데니스 황은 구글 맵스, g메일 등의 로고도 ‘20% 타임’을 통해 만들었죠. 한마디로 구글은 내부 고객들에게 먼저 브랜드를 팔고, 구글의 열정적 팬이 된 직원들이 다시 고객에 파는 회사라고 할 수 있습니다.

[ 큐레이터의 문장 🎒 ]

"송소고택* 방으로 안내하기 전, 내일 손님을 맞을 다른 방 아궁이에 잠시 멈췄다. 참나무 향이 기분 좋게 나며 벌겋게 타는 장작을 보여주며 “손님이 예약하면 하루 전부터 방에 불을 이렇게 땝니다. 당일 날 때면 방이 뜨거워 손님이 잘 수가 없어서 하루 전에 불을 땝니다. 이틀 동안 그 온기로만 손님들이 편한 밤을 보내시지요”라고 설명했다. 온돌처럼 은은한 온기를 담은 목소리로 전해지는 진심은 추위를 녹이고도 남았다."

* 1880년경 지어진 ‘송소고택’은 청송의 만석꾼 심호택의 99칸 살림집이다. 지금까지 딱 3개가 남아 있는 조선시대 99칸 집 중 가장 아름다운 고택으로 알려져 있다. 송소고택은 청송 심 씨 11대 종손인 심재오 선생이 직접 관리를 하고 손님을 맞는다.

https://jmagazine.joins.com/economist/view/331826

배민의 '배민다움' - 아이디어 생성과정에서 직원들 스스로가 배민다움을 이해하고 발전시켜나가며 체화한 스토리는 유명합니다. 직원들의 투표를 통해 호수가 보이는 잠실로 사무실을 이전했고, ‘송파구에서 일 잘하는 법’으로 명명한 배민 직원의 업무 지침도 배민다움을 직원들에게 공유하고 이해시키기 위해 만들어 내부에서 외부로 향했습니다. 디즈니의 '캐스트' - 디즈니에서는 테마파크 직원들은 ‘캐스트’라 불립니다. 영화가 끝나고 엔딩 크레딧이 올라가면 등장인물들의 이름이 올라가 듯 디즈니는 테마파크를 무대로 생각하고 그곳에서 일하는 직원은 고객을 위해 연기하는 배우라고 생각합니다 공연하는 직원, 청소하는 직원, 햄버거를 파는 직원 등 이들 모두는 디즈니가 찍는 영화의 한 장면을 담당한다고 자부하고 있습니다. 고객을 관객이라고 상정하고 그들이 파는 것은 훌륭한 기술이나 서비스가 아니라 꿈·환상, 그리고 사랑이라는 보이지 않는 가치라는 점을 직원들에게 먼저 설득합니다. 구글의 '20% 룰' - 최고의 기업이 되기 이전에도 구글은 직원을 최고의 자산이라 생각하며 그에 걸맞은 대우를 해주는 것으로 유명했습니다. 전 세계 국가에서 모인 인재들을 위해 카페테리아에 최고의 셰프들이 만든 요리를 모두 맛볼 수 있게 했죠. 특히, ‘20% 타임제’를 통해 업무 시간의 20%는 개인적 관심사에 시간을 보낼 수 있게 해 직원들은 자발적으로 자신의 관심사와 회사의 일을 연결해 훌륭한 성과를 만들고 있습니다. 실제로 구글 로고를 디자인한 한국인 데니스 황은 구글 맵스, g메일 등의 로고도 ‘20% 타임’을 통해 만들었죠. 한마디로 구글은 내부 고객들에게 먼저 브랜드를 팔고, 구글의 열정적 팬이 된 직원들이 다시 고객에 파는 회사라고 할 수 있습니다. [ 큐레이터의 문장 🎒 ] "송소고택* 방으로 안내하기 전, 내일 손님을 맞을 다른 방 아궁이에 잠시 멈췄다. 참나무 향이 기분 좋게 나며 벌겋게 타는 장작을 보여주며 “손님이 예약하면 하루 전부터 방에 불을 이렇게 땝니다. 당일 날 때면 방이 뜨거워 손님이 잘 수가 없어서 하루 전에 불을 땝니다. 이틀 동안 그 온기로만 손님들이 편한 밤을 보내시지요”라고 설명했다. 온돌처럼 은은한 온기를 담은 목소리로 전해지는 진심은 추위를 녹이고도 남았다." * 1880년경 지어진 ‘송소고택’은 청송의 만석꾼 심호택의 99칸 살림집이다. 지금까지 딱 3개가 남아 있는 조선시대 99칸 집 중 가장 아름다운 고택으로 알려져 있다. 송소고택은 청송 심 씨 11대 종손인 심재오 선생이 직접 관리를 하고 손님을 맞는다. https://jmagazine.joins.com/economist/view/331826

포브스 코리아

《고객 경험(Customer eXperience)은 내부로부터》

1
가장 스마트하게 일하는 것은 다른 누구도 할 수 없는 일을 하는 것을 의미한다.

2
이것은 아주 높은 기준이다. 다른 사람들은 할 수 없고 자신만이 잘할 수 있는 일을 찾아내는 것은 엄청난 도전이다.

3
대부분은 그것이 무엇인지 알게 되는 데 한평생이 걸린다. 그것은 오직 의도적인 연습과 다른 사람들의 도움을 통해서만 찾을 수 있지만, 일단 찾게 되면 그 보상은 엄청나다.

4
다른 사람들이 원하는 것을 잘할 때, 그리고 그 일을 할 수 있는 유일한 사람이 바로 당신일 때, 바로 그때 당신은 흔치 않은 보상을 받을 것이다.

#엔드말라리아

1 가장 스마트하게 일하는 것은 다른 누구도 할 수 없는 일을 하는 것을 의미한다. ​ ​2 이것은 아주 높은 기준이다. 다른 사람들은 할 수 없고 자신만이 잘할 수 있는 일을 찾아내는 것은 엄청난 도전이다. ​ ​3 대부분은 그것이 무엇인지 알게 되는 데 한평생이 걸린다. 그것은 오직 의도적인 연습과 다른 사람들의 도움을 통해서만 찾을 수 있지만, 일단 찾게 되면 그 보상은 엄청나다. ​ ​4 다른 사람들이 원하는 것을 잘할 때, 그리고 그 일을 할 수 있는 유일한 사람이 바로 당신일 때, 바로 그때 당신은 흔치 않은 보상을 받을 것이다. ​ #엔드말라리아 ​

< 진짜 스마트한 사람은 이렇게 일한다 >

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요.

몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요.

‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다.

일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요. 몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요. ‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다. 일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더

The text below is a very recent leaked document, which was shared by an anonymous individual on a public Discord server who has granted permission for its republication. It originates from a researcher within Google. We have verified its authenticity. The

Google "We Have No Moat, And Neither Does OpenAI"

커리어리 친구들, 구글과 OpenAI를 오픈소스가 빠른 속도로 따라오고 있습니다. 

구글 내부에서 유출된 문서인데, 이 글은 다음과 같이 주장합니다. 

🌸 오픈 소스 AI는 구글과 오픈AI가 독점 AI를 빠르게 따라잡고 있습니다.

🌸 고품질 오픈 소스 모델의 가용성, 이러한 모델의 미세 조정의 저렴한 비용, 오픈 소스 커뮤니티의 협업적 특성 등 여러 요인에 기인합니다.

🌸 오픈 소스 AI가 결국 AI 분야에서 지배적인 세력이 될 것이라고 믿습니다.

🌸 Google과 OpenAI는 오픈 소스 커뮤니티에서 생성할 수 있는 모든 것보다 AI 모델을 더 좋게 만드는 "비밀 소스"가 없다고 주장합니다. 

🌸 오픈 소스 커뮤니티는 독점 AI 세계보다 훨씬 더 협업적이며 이는 혁신에 유익합니다. 

🌸 오픈 소스 AI 모델의 미세 조정 비용은 독점 모델을 훈련하는 비용보다 훨씬 낮아 더 많은 사람들이 사용할 수 있습니다.

이 글은 해자(Moat), 즉, 중세 시대에 동물이나 외부인, 특히 외적으로부터의 침입을 방어하기 위해 고대부터 근세에 이르기까지 성(城)의 주위를 파 경계로 삼은 구덩이를 말하는 데 여기에서는 방어할 만한 도구가 구글도 오픈AI도 없다는 뜻으로 해석할 수 있습니다.

Semianalysis

지수inc 유지관리팀 사원

최광우

빛나는광우 빛광해돋을우 최광우입니다 ♥️ 🍒 💘 똥광코알라호랑이입니다 👍👍👍광우C최광우입니다☺️😍😀

sr. Presales Solution Architect, HPC&AI

서진호

클라우드 또는 하이브리드 컴퓨팅에서 빅데이타 분석과 GPU와 고성능 분산 컴퓨팅 기반의 머신러닝 및 딥러닝, 생성형 AI(LLM/LMM)에 대한 솔루션 아키텍처 컨설팅.

#소프트웨어엔지니어 #데이터사이언스 #Ai #데이터애널리스트 #GPU #분산훈련

규글이나 openAI 덕분에 오픈소스가 계속 발전 할 수 있는것 같습니다.

개발 지망

장교철

@정재희 네에~ 요즘 너무라도 빨리 발전해서 놀라워요 :)

오픈 소스 커뮤니티의 협업성이 이렇게 큰 영향을 주는줄 몰랐네요👍

백엔드 개발자

정재희

#백엔드 #개발자 #파이썬디벨로퍼 #데이터사이언스 #Ai #데이터분석 #데이터애널리스트

퍼블리의 그로스 매니저로 커리어를 시작하여, 현재는 멤버십 사업을 총괄하고 있습니다.
합리적이고 해피한 세상을 향해 살아가고 있으며, 책과 교육, 경제에 관심을 가지고 있습니다.
일하는 것을 싫어하지만, 많이 하고 있습니다..

커리어리 Lead Product Manager

김광종

퍼블리 그로스매니저로 커리어를 시작하여, 프로덕트매니저와 사업총괄을 거쳐, 커리어리팀을 리드하였습니다.
합리적이고 해피한 세상을 향해 살아가고 있으며, 책/교육/경제에 관심이 있습니다.
자유로운 삶을 추구하지만, 지금은 일에 매여 있습니다..

프로덕트 매니저

사호진

Junior Product Manager

기술을 통한 사회 기여, 엔드 유저의 패인포인트를 바라봅니다.

<인공지능의 성공은 구글도 오픈AI아닌 오픈소스>

머신 러닝

MySQL

python

html

javascript

SpringBoot

django

Java

Docker

Kubernetes

Linux

c언어

React

typescript

Node.js

Vue.js

Spring

Github

OracleDB

Android

데이터 분석

커뮤니케이션

대규모 데이터센터나 서버에서 대규모 언어 모델 또는 멀티모달, 딥러닝 모델에 대한 GPU를 이용한 분산 훈련 및 추론 솔루션 아키텍처를 기업 대상으로 하고 있습니다. 

<인공지능의 성공은 구글도 오픈AI아닌 오픈소스>

댓글 5

비슷한 게시물

주간 인기 TOP 10

추천 프로필