많은 사람들이 하루를 마무리하던 3일 늦은 밤, 윤석열 대통령이 긴급 대국민 담화로 비상계엄을 선포했어요. 무장 계엄군이 진입을 시도하는 와중에 국회는 서둘러 본회의를 열고, 비상...

윤석열 대통령 비상계엄 선포 사태 총정리

뉴닉 뉴스레터 보시나요?
이런 일이 있을 때 발 빠르게 정리해줬네요..!

하지만 아직 그 누구도 '왜 저랬는지'에 대해선 이해 못한 듯..ㅠㅠ.. 왜저래,,,
다들 무탈하시길 바랍니다!

https://newneek.co/@newneek/article/15065

뉴닉 뉴스레터 보시나요?이런 일이 있을 때 발 빠르게 정리해줬네요..! 하지만 아직 그 누구도 '왜 저랬는지'에 대해선 이해 못한 듯..ㅠㅠ.. 왜저래,,,다들 무탈하시길 바랍니다! https://newneek.co/@newneek/article/15065

뉴닉

글로벌 커피 및 음료 기업, Starbucks의 데이터 분석 직군을 위한 인터뷰 문제를 가지고 왔습니다.

SQL 문제

1. 고객별 최근 구매일, 총 주문 횟수, 총 주문 금액을 계산하여 고객의 RFM 분석 테이블을 만드세요.
2. 스타벅스 리워드 앱 가입 고객의 월별 평균 주문 금액을 계산하고, 비가입 고객과 얼마나 차이가 나는지 비교하세요.
3. 지난 6개월 동안의 신규 가입 고객과 기존 고객(1개월 전 가입)의 평균 구매 빈도와 구매 금액을 비교하세요.
4. 최근 3개월 내 2회 이상 구매한 고객 중 이번 달에도 구매한 고객의 비율을 계산하세요.
5. 특정 매장에서 구매한 고객이 다른 매장에서 일주일 내에 주문한 주문 리스트를 생성하세요.

Python 문제

1. Pandas 패키지를 활용해 월별 주문 수와 매출을 요약하세요.
2. 음료 종류를 Category 별로 나누어 새로운 열로 만들어주세요. (예: Coffee, Tea)
3. 고객별로 주문 간격을 계산한 후 평균 주문 간격을 구하세요. (예: OrderDate의 평균 간격)
4. 총 주문 금액(TotalSpend) 분포가 왜곡되어 있을 때, 로그 변환을 적용한 후 원본과 비교하여 시각화하세요.

글로벌 커피 및 음료 기업, Starbucks의 데이터 분석 직군을 위한 인터뷰 문제를 가지고 왔습니다. SQL 문제 1. 고객별 최근 구매일, 총 주문 횟수, 총 주문 금액을 계산하여 고객의 RFM 분석 테이블을 만드세요. 2. 스타벅스 리워드 앱 가입 고객의 월별 평균 주문 금액을 계산하고, 비가입 고객과 얼마나 차이가 나는지 비교하세요. 3. 지난 6개월 동안의 신규 가입 고객과 기존 고객(1개월 전 가입)의 평균 구매 빈도와 구매 금액을 비교하세요. 4. 최근 3개월 내 2회 이상 구매한 고객 중 이번 달에도 구매한 고객의 비율을 계산하세요. 5. 특정 매장에서 구매한 고객이 다른 매장에서 일주일 내에 주문한 주문 리스트를 생성하세요. Python 문제 1. Pandas 패키지를 활용해 월별 주문 수와 매출을 요약하세요.2. 음료 종류를 Category 별로 나누어 새로운 열로 만들어주세요. (예: Coffee, Tea)3. 고객별로 주문 간격을 계산한 후 평균 주문 간격을 구하세요. (예: OrderDate의 평균 간격) 4. 총 주문 금액(TotalSpend) 분포가 왜곡되어 있을 때, 로그 변환을 적용한 후 원본과 비교하여 시각화하세요.&nbsp;

[Starbucks] 데이터 분석 인터뷰 문제

수십년동안 영어를 잘 하고 싶어서 영어를 배우지는 않고 영어를 배우는 법만을 공부한 사람으로써..(…다.. 다들 그렇죠? 🥲)

영어를 확실히 그리고 빠르게 배우는 데에는 두 가지 방법이 있다. (영어 뿐 아니라 어떤 언어든)

1. 공부한다 -> 실전에 사람을 만나 시도한다

2. 실전에 사람을 만나 버벅인다 -> 버벅였던 내용을 어떻게 말할지 공부한다

즉 중요한 건 실전을 겪는 것이고, 1, 2번 중에서도 2번이 더 빠르고 확실한 방법이라고 한다. 그래서 많은 사람들이 미쿡인 (이성)친구를 만드는게 가장 빠른 방법이라고 하는 것이 다 경험적으로 그렇기 때문.

하지만 친구를 만든다는 것이 어렵기 때문에 다들 유학을 가거나 짧게라도 어학연수를 가는 것이고, 말이 많긴해도 이것이 확실한 방법 중 하나라는 것은 증명 된 방법.

문제는 실전을 접할 수 있는 기회가 없다는 것인데, 그래서 최근에 시중이 많이 그러한 앱들이 나오고 있지만 사실상 실전용이 아니다.(스픽도 마찬가지) 하지만 실전을 만들 수 있는 방법이 하나 있는데..(to be continued..)

수십년동안 영어를 잘 하고 싶어서 영어를 배우지는 않고 영어를 배우는 법만을 공부한 사람으로써..(…다.. 다들 그렇죠? 🥲) 영어를 확실히 그리고 빠르게 배우는 데에는 두 가지 방법이 있다. (영어 뿐 아니라 어떤 언어든) 1. 공부한다 -&gt; 실전에 사람을 만나 시도한다 2. 실전에 사람을 만나 버벅인다 -&gt; 버벅였던 내용을 어떻게 말할지 공부한다 즉 중요한 건 실전을 겪는 것이고, 1, 2번 중에서도 2번이 더 빠르고 확실한 방법이라고 한다. 그래서 많은 사람들이 미쿡인 (이성)친구를 만드는게 가장 빠른 방법이라고 하는 것이 다 경험적으로 그렇기 때문. 하지만 친구를 만든다는 것이 어렵기 때문에 다들 유학을 가거나 짧게라도 어학연수를 가는 것이고, 말이 많긴해도 이것이 확실한 방법 중 하나라는 것은 증명 된 방법. 문제는 실전을 접할 수 있는 기회가 없다는 것인데, 그래서 최근에 시중이 많이 그러한 앱들이 나오고 있지만 사실상 실전용이 아니다.(스픽도 마찬가지) 하지만 실전을 만들 수 있는 방법이 하나 있는데..(to be continued..)

📝 스톡옵션과 RSU 차이

스톡옵션: 정해진 가치로 주식을 살 수 있는 권리. 1주에 100원으로 스톡옵션을 행사 할 수 있는 권리를 받았다면, 미래에 1주에 1억이 되어도 100원에 살 수 있음.

RSU: 일정 시간이 지난 후 특정 시점에 해당 가치의 주식을 증여함. 현금성 증여.

RSU는 회사 가치가 떨어져도 상관 없이 수익실현이 가능하지만, 스톡옵션은 행사 가격보다 가치가 떨어지면 행사하는게 의미가 없어지며, 행사하는데 현금이 필요하고, 상장하지 않으면 수익 실현이 극히 어려움.

즉, 행사 가능한 주당 가격이 매우 작고 매우 크게 성장할 것이며 상장이 기대되는 경우에만 RSU보다 스톡옵션이 좋음.

하지만 이는 극히 드물기 때문에, 초기 스타트업이라고 하더라도 대부분의 경우는 주식으로 증여가 되는 RSU가 좋음.

추가로, 스톡옵션은 차익 실현이고 RSU는 현금성 증여라 세금이 다름.

📝 스톡옵션과 RSU 차이 스톡옵션: 정해진 가치로 주식을 살 수 있는 권리. 1주에 100원으로 스톡옵션을 행사 할 수 있는 권리를 받았다면, 미래에 1주에 1억이 되어도 100원에 살 수 있음. RSU: 일정 시간이 지난 후 특정 시점에 해당 가치의 주식을 증여함. 현금성 증여. RSU는 회사 가치가 떨어져도 상관 없이 수익실현이 가능하지만, 스톡옵션은 행사 가격보다 가치가 떨어지면 행사하는게 의미가 없어지며, 행사하는데 현금이 필요하고, 상장하지 않으면 수익 실현이 극히 어려움. 즉, 행사 가능한 주당 가격이 매우 작고 매우 크게 성장할 것이며 상장이 기대되는 경우에만 RSU보다 스톡옵션이 좋음. 하지만 이는 극히 드물기 때문에, 초기 스타트업이라고 하더라도 대부분의 경우는 주식으로 증여가 되는 RSU가 좋음. 추가로, 스톡옵션은 차익 실현이고 RSU는 현금성 증여라 세금이 다름.

Today we're sharing our first step towards spatial intelligence: an AI system that generates 3D worlds from a single image.

Generating Worlds

https://www.worldlabs.ai/blog

HN에 떠 있길래 살펴보게 되었는데, 이미지 한장으로 3D world 를 생성해 내는 데모입니다. 요즘 많이 시도되는 여러 Gen AI 관련된 task들 중에서도 어려워 보이는데, cherry-pick 한 결과이긴 하겠지만 꽤 놀랍습니다. 게임 뿐 아니라 여러 분야에서 활용이 될 수 있을 것 같습니다.

여러모로 대단한데 World Labs 어디서 들어봤다 해서 살펴보니 Fei Fei Li 교수가 만든 회사였네요..ㅎㅎ 실제로 해 보면 아주 약간만 움직일 수 있도록 막아놓아서 아직 초기단계로 보이긴 하지만, 정말 발전속도가 놀랍습니다!

https://www.worldlabs.ai/blog HN에 떠 있길래 살펴보게 되었는데, 이미지 한장으로 3D world 를 생성해 내는 데모입니다. 요즘 많이 시도되는 여러 Gen AI 관련된 task들 중에서도 어려워 보이는데, cherry-pick 한 결과이긴 하겠지만 꽤 놀랍습니다. 게임 뿐 아니라 여러 분야에서 활용이 될 수 있을 것 같습니다. 여러모로 대단한데 World Labs 어디서 들어봤다 해서 살펴보니 Fei Fei Li 교수가 만든 회사였네요..ㅎㅎ 실제로 해 보면 아주 약간만 움직일 수 있도록 막아놓아서 아직 초기단계로 보이긴 하지만, 정말 발전속도가 놀랍습니다!

www.worldlabs.ai

이미지 한 장으로 3D world를 생성

Kubernetes has become the cornerstone of modern cloud-native infrastructure, transforming how...

Managing Kubernetes in Production: A DevOps Engineer’s Essential Guide

쿠버네티스는 현대 클라우드 네이티브 인프라의 핵심으로, 조직이 애플리케이션을 배포하고 관리하는 방식을 혁신하고 있습니다. 그러나 개발 환경에서 운영 환경으로 전환하는 것은 단순한 기술적 도전이 아니라 전략적 과정입니다. 쿠버네티스를 관리하거나 조금이라도 이해해야한다면 이 글은 당신에게 조금은 도움이 될 거 같습니다. Let's

🍎 쿠버네티스 환경: 단순한 컨테이너 그 이상
 * https://kubernetes.io/
 * 쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래한 것으로, K8s라는 표기는 "K"와 "s"와 그 사이에 있는 8글자를 나타내는 약식 표기로 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화함
 * 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원
 * 조직의 애플리케이션을 배포, 관리, 확장하는 방식을 혁신하는 쿠버네티스
 
 
🍎 프로덕션 준비된 쿠버네티스의 핵심 요소

1. 코드로서의 인프라(IaC): 디지털 청사진
 * 코드로서의 인프라(IaC)는 디지털 인프라를 수동으로 설정하는 대신, 명확하고 재현 가능한 지침을 작성하여 버전 관리, 테스트, 일관된 배포를 가능케
 * 실제 효과:
 * 수동 구성 오류 제거
 * 일관된 환경 설정 보장
 * 빠르고 신뢰할 수 있는 인프라 배포 지원
 * 팀 간 협업 용이
 * 향상 방안: Terraform 또는 Ansible 같은 도구를 사용해 쿠버네티스 클러스터를 정의하고 배포하는 실질적인 예시 포함
 
 
2. 모니터링: 시스템의 조기 경보 시스템
 * 현재 상태를 보여주는 대시보드뿐만 아니라 잠재적 문제를 예측할 수 있는 종합적인 디지털 인프라 대시보드
 * 필수 구성 요소:
 * Prometheus: 실시간 메트릭 수집
 * Grafana: 직관적인 시각화
 * 중앙화된 로깅 솔루션
 * 자동화된 경고 메커니즘
 * 향상 방안: Prometheus 및 Grafana를 쿠버네티스 클러스터에 설정하는 방법 예시
 
 
3. 보안: 디지털 요새 구축
 * 스마트하고 적응 가능한 방어 메커니즘을 구축
 * 주요 전략:
 * 엄격한 역할 기반 액세스 제어(RBAC) 구현
 * 네트워크 정책을 사용해 트래픽 제어
 * 강력한 인증 메커니즘 통합
 * 컨테이너 이미지를 정기적으로 스캔하고 업데이트
 * 비밀 정보 안전하게 관리
 * 향상 방안: RBAC 정책 구현 예제를 제공하여 보안을 강화하는 방법

4. 배포 전략: 리스크 최소화
 * 블루-그린 배포 또는 카나리아 릴리스 같은 배포 기술
 
 
5. GitOps: 인프라를 위한 버전 관리
 * 인프라 구성을 소프트웨어 코드처럼 관리하는 GitOps
 * 모든 변경 사항은 추적 가능하고, 복구 가능하며, 버전 관리 시스템을 통해 관리
 * 향상 방안
 * Argo CD 또는 Flux 같은 도구를 사용해 쿠버네티스 배포를 자동화하는 방법

참고: https://kubernetes.io/ko/docs/home/
< 쿠버네티스 컴포넌트 기본 개념 >
 * 쿠버네티스 클러스터: 컴퓨터 집합인 컨트롤 플레인 컴포넌트와 노드 컴포넌트로 구성
 * 컨트롤프레인 컴포넌트: 클러스터에 관한 전반적인 결정(예를 들어, 스케줄링)을 수행하고 클러스터 이벤트를 감지하고 반응하는 관리 노드
 * kube-apiserver: 쿠버네티스 API를 노출하는 쿠버네티스 컨트롤 플레인 컴포넌트로 쿠버네티스 컨트롤 플레인의 프론트 엔드
 * etcd: 모든 클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 일관성·고가용성 키-값 저장소. 백업 계획
 * kube-scheduler: 노드가 배정되지 않은 새로 생성된 파드 를 감지하고, 실행할 노드를 선택하는 컨트롤 플레인 컴포넌트
 * kube-controller-manager: 노드 컨트롤러, 잡 컨트롤러, 엔드포인트슬라이스 컨트롤러, 서비스어카운트 컨트롤러
 * cloud-controller-manager: 클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트로 노드 컨트롤러, 라우트 컨트롤러, 서비스 컨트롤러
 * 노드컴포넌트:동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작
 * kubelet: 클러스터의 각 노드에서 실행되는 에이전트
 * kube-proxy: 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부. 노드의 네트워크 규칙을 유지 관리
 * 컨테이너 런타임: 컨테이너 실행을 담당하는 소프트웨어로 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI 지원
 * 애드온: 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현
 * DNS: 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버
 * 웹 UI (대시보드): 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI
 * 컨테이너 리소스 모니터링: 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공
 * 클러스터-레벨 로깅:메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장

 * 출처: https://dev.to/rubixkube/managing-kubernetes-in-production-a-devops-engineers-essential-guide-41n

쿠버네티스는 현대 클라우드 네이티브 인프라의 핵심으로, 조직이 애플리케이션을 배포하고 관리하는 방식을 혁신하고 있습니다. 그러나 개발 환경에서 운영 환경으로 전환하는 것은 단순한 기술적 도전이 아니라 전략적 과정입니다. 쿠버네티스를 관리하거나 조금이라도 이해해야한다면 이 글은 당신에게 조금은 도움이 될 거 같습니다. Let's 🍎 쿠버네티스 환경: 단순한 컨테이너 그 이상<ul ><li>https://kubernetes.io/</li><li>쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래한 것으로, K8s라는 표기는 "K"와 "s"와 그 사이에 있는 8글자를 나타내는 약식 표기로 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화함</li><li>컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원</li><li>조직의 애플리케이션을 배포, 관리, 확장하는 방식을 혁신하는 쿠버네티스 </li></ul>🍎 프로덕션 준비된 쿠버네티스의 핵심 요소 1. 코드로서의 인프라(IaC): 디지털 청사진<ul ><li>코드로서의 인프라(IaC)는 디지털 인프라를 수동으로 설정하는 대신, 명확하고 재현 가능한 지침을 작성하여 버전 관리, 테스트, 일관된 배포를 가능케</li><li>실제 효과:<ul ><li>수동 구성 오류 제거</li><li>일관된 환경 설정 보장</li><li>빠르고 신뢰할 수 있는 인프라 배포 지원</li><li>팀 간 협업 용이</li></ul></li><li>향상 방안: Terraform 또는 Ansible 같은 도구를 사용해 쿠버네티스 클러스터를 정의하고 배포하는 실질적인 예시 포함 </li></ul>2. 모니터링: 시스템의 조기 경보 시스템<ul ><li>현재 상태를 보여주는 대시보드뿐만 아니라 잠재적 문제를 예측할 수 있는 종합적인 디지털 인프라 대시보드</li><li>필수 구성 요소:<ul ><li>Prometheus: 실시간 메트릭 수집</li><li>Grafana: 직관적인 시각화</li><li>중앙화된 로깅 솔루션</li><li>자동화된 경고 메커니즘</li></ul></li><li>향상 방안: Prometheus 및 Grafana를 쿠버네티스 클러스터에 설정하는 방법 예시 </li></ul>3. 보안: 디지털 요새 구축<ul ><li>스마트하고 적응 가능한 방어 메커니즘을 구축</li><li>주요 전략:<ul ><li>엄격한 역할 기반 액세스 제어(RBAC) 구현</li><li>네트워크 정책을 사용해 트래픽 제어</li><li>강력한 인증 메커니즘 통합</li><li>컨테이너 이미지를 정기적으로 스캔하고 업데이트</li><li>비밀 정보 안전하게 관리</li></ul></li><li>향상 방안: RBAC 정책 구현 예제를 제공하여 보안을 강화하는 방법</li></ul> 4. 배포 전략: 리스크 최소화<ul ><li>블루-그린 배포 또는 카나리아 릴리스 같은 배포 기술 </li></ul>5. GitOps: 인프라를 위한 버전 관리<ul ><li>인프라 구성을 소프트웨어 코드처럼 관리하는 GitOps</li><li>모든 변경 사항은 추적 가능하고, 복구 가능하며, 버전 관리 시스템을 통해 관리</li><li>향상 방안<ul ><li>Argo CD 또는 Flux 같은 도구를 사용해 쿠버네티스 배포를 자동화하는 방법</li></ul></li></ul> 참고: https://kubernetes.io/ko/docs/home/&lt; 쿠버네티스 컴포넌트 기본 개념 &gt;<ul ><li>쿠버네티스 클러스터: 컴퓨터 집합인 컨트롤 플레인 컴포넌트와 노드 컴포넌트로 구성</li><li>컨트롤프레인 컴포넌트: 클러스터에 관한 전반적인 결정(예를 들어, 스케줄링)을 수행하고 클러스터 이벤트를 감지하고 반응하는 관리 노드<ul ><li>kube-apiserver: 쿠버네티스 API를 노출하는 쿠버네티스 컨트롤 플레인 컴포넌트로 쿠버네티스 컨트롤 플레인의 프론트 엔드</li><li>etcd: 모든 클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 일관성·고가용성 키-값 저장소. 백업 계획</li><li>kube-scheduler: 노드가 배정되지 않은 새로 생성된 파드 를 감지하고, 실행할 노드를 선택하는 컨트롤 플레인 컴포넌트</li><li>kube-controller-manager: 노드 컨트롤러, 잡 컨트롤러, 엔드포인트슬라이스 컨트롤러, 서비스어카운트 컨트롤러</li><li>cloud-controller-manager: 클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트로 노드 컨트롤러, 라우트 컨트롤러, 서비스 컨트롤러</li></ul></li></ul><ul ><li>노드컴포넌트:동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작<ul ><li>kubelet: 클러스터의 각 노드에서 실행되는 에이전트</li><li>kube-proxy: 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부. 노드의 네트워크 규칙을 유지 관리</li><li>컨테이너 런타임: 컨테이너 실행을 담당하는 소프트웨어로 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI 지원</li></ul></li><li>애드온: 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현<ul ><li>DNS: 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버</li><li>웹 UI (대시보드): 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI</li><li>컨테이너 리소스 모니터링: 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공</li><li>클러스터-레벨 로깅:메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장</li></ul></li></ul> <ul ><li>출처: https://dev.to/rubixkube/managing-kubernetes-in-production-a-devops-engineers-essential-guide-41n</li></ul>

DEV Community

[Dev]쿠버네티스 운영관리: DevOps 엔지니어를 위한 필수 가이드

Learn how Capital One used Iceberg Tables to move Snowflake consumption to a lakehouse and best practices for doing so.

How to Use Iceberg Tables to Implement a Lakehouse Architecture in Snowflake | Capital One

데이터 관리 관행이 발전함에 따라 데이터 웨어하우스와 데이터 레이크를 하나의 아키텍처로 결합하는 모델인 데이터 레이크하우스가 등장했습니다. 아파치아이스버그(Apache Iceberg)를 통해 이런 데이터 레이크하우스를 구현할 수가 있습니다. 이러한 내용을 자세히 설명한 내용이 있어 공유합니다.

🍎 왜 데이터 레이크하우스인가?
 * 데이터 레이크하우스가 등장하기 전에는 많은 기업들이 조직의 구조화된 관계형 데이터를 분석과 보고를 위한 단일 리포지토리로 모으는 데이터 웨어하우스에 집중했습니다.
 * 데이터, 특히 비정형 데이터가 기하급수적으로 증가하면서 데이터 레이크는 방대한 양의 원시 비정형 및 반정형 데이터를 저렴한 스토리지에 저장하는 방법으로 부상했습니다. 이를 통해 데이터 팀은 데이터를 확보하는 즉시 데이터를 노출할 수 있었습니다.
 * 데이터 분석가와 데이터 과학자는 고급 분석을 실행하거나 머신 러닝 모델을 학습하기 위해 데이터를 읽기 시작하면서 스키마를 정의할 수 있었습니다(스키마 온-읽기).

🍎 2계층 아키텍처의 등장: 데이터 웨어하우스와 데이터 레이크
 * 데이터 분석가들이 선호하는 SQL 언어를 사용해 데이터를 고성능으로 구조화하고 분석하는 동시에 데이터 변경에 대한 트랜잭션 일관성을 유지하고 데이터 거버넌스 및 보안을 간소화하는 데이터 웨어하우스가 여전히 필요했습니다.
 * 또한 데이터의 이전 스냅샷을 쉽게 쿼리하거나 데이터를 복사하지 않고 테이블을 복제하는 등의 고유한 기능에 대한 필요성도 있었습니다.
 * 이로 인해 많은 기업들이 데이터를 저장하고 처리하기 위해 데이터 레이크와 데이터 웨어하우스로 구성된 데이터 레이크 하우스 아키텍처를 채택하게 되었습니다.
🍏 데이터 레이크의 장점
 * 저비용 객체 스토리지
 * 비구조화 데이터, 데이터 과학 및 기계 학습을 포함한 고급 분석 지원
 * 읽기 시 스키마로 인한 더 쉽고 빠른 데이터 온보딩 및 AI/ML 기능 활성화
🍏 데이터 웨어하우스의 장점
 * 사용 편의성
 * 향상된 거버넌스
 * 더 나은 검색
 * SQL 성능 강화
 * ACID(원자성, 일관성, 격리 및 내구성)
 * 제로 카피 복제
 * 시간 여행(타임트래블)
🍏 이중 아키텍처 데이터 관리의 문제점
 * 높은 총 소유 비용: 두 개의 별도 시스템을 유지하는 것은 더 큰 복잡성과 인력과 관련된 높은 비용 의미
 * 데이터 노후화: 데이터 레이크와 데이터 웨어하우스 간의 데이터 업데이트 지연 가능성
 * 신뢰성: 데이터를 수집하는 여러 프로세스는 추가적인 ETL 단계를 도입하여 실패 지점을 증가 가능성
 * 드리프트: 한 시스템의 데이터 변경이 다른 시스템에 반영되지 않아 불일치 발생
 * 벤더 종속: 데이터 웨어하우스는 종종 독점 스토리지 형식만 지원하며, 플랫폼 간 마이그레이션은 조직에 높은 비용 소요
   
   
🍎 데이터 레이크하우스의 장점
 * 데이터 레이크하우스 = 데이터 레이크 + 데이터 웨어하우스
 * 기업은 데이터 웨어하우스 기능(구조화된 데이터 및 트랜잭션 관리 기능을 사용하면서) 대규모 원시 데이터 저장소에서 데이터 레이크 스토리지로 데이터를 수집 가능
 * 모든 데이터 사용자가 데이터 레이크하우스를 사용할 수 있도록 하는 핵심은 각 데이터 파일 위에 메타데이터 계층을 사용하는 오픈 테이블 형식으로, 사용자가 데이터 레이크에서 정형, 반정형, 비정형 데이터에 관계없이 직접 데이터를 쿼리 가능
 * 이 계층을 통해 사용자는 미리 정의된 스키마, 캐싱, 인덱싱을 구현하고 데이터 웨어하우스와 유사하게 카탈로그에서 데이터를 테이블로 검색할 수 있도록 만들어 더 빠르게 쿼리 지원
 * 메타데이터 계층은 데이터 레이크의 개방형 파일 형식(Apache Parquet) 위에 있는 개방형 메타데이터 테이블 형식(Delta Lake 및 Apache Iceberg)을 통해 관리
🍏 모든 소비를 단일 장소로 지정: SQL on Lake
 * 모든 데이터 사용자, 즉 데이터 과학자와 엔지니어부터 SQL을 사용하는 제품 소유자 및 비즈니스 분석가까지 동일한 테이블 형식을 통해 노출된 동일한 데이터를 쿼리
 * 데이터 레이크하우스를 사용하면 중복 데이터가 문제 감소하고, 기업이 더 이상 두 개의 시스템을 관리하지 않고 새로운 소스에서 데이터 통합이 자동화되고 개방구조이기 때문에 총소유 비용 저렴해짐
 * 오픈 표준 형식을 활용하는 중앙 집중식 스토리지로 인해 선택한 특수 컴퓨팅 엔진을 도입할 수 있는 다양한 기회가 열리고 벤더 종속을 최소화

🍎 Apache Iceberg란?
 * 오픈 테이블 형식은 데이터 웨어하우스의 기능을 데이터 레이크하우스 아키텍처에 도입하는 데 중요한 역할
 * Apache Iceberg는 데이터 레이크에서 SQL 지원을 통해 대규모 데이터를 효율적으로 쿼리하기 위해 사용하는 오픈 테이블 형식으로 테이블 형식은 데이터 파일이 테이블 내에서 어떻게 구성되고 접근되는지를 지정
🍏 Apache Iceberg의 주요 특징
 * Apache Iceberg는 데이터 관리 및 데이터 구조화와 같은 전통적으로 데이터 웨어하우스에서 제공되던 기능을 데이터 레이크와 빅데이터로 가져오는 데 큰 역할
 * 데이터 조직화를 위한 스키마 정의, SQL 쿼리, 테이블 복제 및 시간 여행(time travel)이 포함
 * 오픈소스 프로젝트로서의 유연성과 상호운용성을 제공하며, 데이터를 저장하기 위해 Parquet와 같은 오픈 데이터 형식을 통합하고, 다양한 벤더와 플랫폼의 도구가 데이터를 접근할 수 있도록 지원
 * 메타데이터 파일, 매니페스트 목록 및 메타데이터 파일 형태로 테이블 메타데이터를 캡처
 * 메타데이터 레이어는 특정 스냅샷(메타데이터 파일이라고 함)의 파일 목록을 추적하기 위해 Apache Iceberg가 생성한 매니페스트 파일로 구성. 데이터의 다른 스냅샷이 생성될 때마다 이전 스냅샷에 대한 참조가 포함되며, 이를 통해 시간 여행과 같은 데이터 웨어하우스의 기능 제공
🍏 아이스버그 테이블을 사용한 레이크하우스 아키텍처 구현
 * 레이크하우스 아키텍처의 이점을 활용하고자 하는 기업은 이를 위해 아이스버그 테이블을 사용
 * 아이스버그 테이블은 기업이 데이터 레이크와 같은 자체 외부 스토리지에서 데이터를 읽고 쓸 수 있는 방법을 제공하면서 쿼리 기능과 기본 테이블의 기능 지원
 * 기업은 데이터를 레이크하우스 아키텍처에 저장하고 사용을 그곳으로 지정할 수 있어 데이터를 별도로 로드하고 저장하는 비용 최소화
 * 아이스버그 테이블은 테이블 형식으로 Apache Iceberg를 사용하고, 데이터 파일 형식으로 Apache Parquet를 사용하여 데이터 레이크의 대규모 데이터셋을 저장하고 처리하는 아키텍처 사용
🍏 Iceberg Tables 성능 최적화
데이터 웨어하우스에서 레이크로 워크로드를 옮길 때 가장 큰 우려는 쿼리 성능 저하이며, 이는 비용 증가로 이어질 수 있어 성능 최적화가 중요함. 데이터 수집 및 쿼리 프로세스를 최적화함으로써, Iceberg Tables는 네이티브 테이블 성능에 가까운 결과를 제공 가능
 * 데이터 레이아웃 최적화: 데이터가 쓰여질 때 스토리지 엔진이 데이터를 배치하는 방식이 성능에 중요.파일 크기, 행 그룹 크기, 파티션 수, 압축 방법 등
 * 인덱스와 통계: 데이터 작성 시 메타데이터에 수집된 인덱스와 통계를 활용하면, 데이터를 찾기 위해 열거나 스캔해야 하는 파일 수를 줄여 쿼리를 더 빠르게 실행
 * 스토리지 유지 관리: 오래된 스냅샷을 정리하고 파일을 최적 크기로 압축하여 데이터 저장소를 유지 관리 필요
 * 캐싱: 가상 웨어하우스 수준과 결과 수준에서 캐싱 지원. 데이터 수집 중 스토리지 레이아웃을 미리 계산하는 방식으로 레이크 스토리지 레이어 내에서 성능 최적화 구현
 * 행 수준 업데이트 최적화: Iceberg 스펙은 copy-on-write와 merge-on-read라는 두 가지 행 수준 업데이트 패턴 지원. 업데이트와 삭제 작업이 많은 워크로드의 경우 merge-on-read 패턴을 선택하면 성능을 향상 가능
🍏 레이크하우스 아키텍처로 데이터의 가치를 극대화하기
 * Iceberg를 활용한 데이터 레이크하우스 아키텍처로 데이터 소비를 전환함으로써, 다양한 처리 엔진을 통합할 유연성이 개선되고 총 소유 비용 절감
 * 오픈 형식과 Iceberg의 광범위한 생태계는 데이터를 컴퓨팅 락인 없이 쉽게 처리할 수 있도록 보장하여 데이터 투자 수명을 연장
 * 아키텍처 변경을 통해 중복 저장 비용을 제거하고, 데이터 레이크의 SQL 성능 개선

>> 스노우플레이크 관점의 상세 내용은 원문을 참고하시기 바랍니다.

 * source: https://www.capitalone.com/software/blog/iceberg-tables-lakehouse-architecture/

데이터 관리 관행이 발전함에 따라 데이터 웨어하우스와 데이터 레이크를 하나의 아키텍처로 결합하는 모델인 데이터 레이크하우스가 등장했습니다. 아파치아이스버그(Apache Iceberg)를 통해 이런 데이터 레이크하우스를 구현할 수가 있습니다. 이러한 내용을 자세히 설명한 내용이 있어 공유합니다. 🍎 왜 데이터 레이크하우스인가?<ul ><li>데이터 레이크하우스가 등장하기 전에는 많은 기업들이 조직의 구조화된 관계형 데이터를 분석과 보고를 위한 단일 리포지토리로 모으는 데이터 웨어하우스에 집중했습니다. </li><li>데이터, 특히 비정형 데이터가 기하급수적으로 증가하면서 데이터 레이크는 방대한 양의 원시 비정형 및 반정형 데이터를 저렴한 스토리지에 저장하는 방법으로 부상했습니다. 이를 통해 데이터 팀은 데이터를 확보하는 즉시 데이터를 노출할 수 있었습니다. </li><li>데이터 분석가와 데이터 과학자는 고급 분석을 실행하거나 머신 러닝 모델을 학습하기 위해 데이터를 읽기 시작하면서 스키마를 정의할 수 있었습니다(스키마 온-읽기).</li></ul> 🍎 2계층 아키텍처의 등장: 데이터 웨어하우스와 데이터 레이크<ul ><li>데이터 분석가들이 선호하는 SQL 언어를 사용해 데이터를 고성능으로 구조화하고 분석하는 동시에 데이터 변경에 대한 트랜잭션 일관성을 유지하고 데이터 거버넌스 및 보안을 간소화하는 데이터 웨어하우스가 여전히 필요했습니다. </li><li>또한 데이터의 이전 스냅샷을 쉽게 쿼리하거나 데이터를 복사하지 않고 테이블을 복제하는 등의 고유한 기능에 대한 필요성도 있었습니다. </li><li>이로 인해 많은 기업들이 데이터를 저장하고 처리하기 위해 데이터 레이크와 데이터 웨어하우스로 구성된 데이터 레이크 하우스 아키텍처를 채택하게 되었습니다. </li></ul> 🍏 데이터 레이크의 장점<ul ><li>저비용 객체 스토리지</li><li>비구조화 데이터, 데이터 과학 및 기계 학습을 포함한 고급 분석 지원</li><li>읽기 시 스키마로 인한 더 쉽고 빠른 데이터 온보딩 및 AI/ML 기능 활성화</li></ul> 🍏 데이터 웨어하우스의 장점<ul ><li>사용 편의성</li><li>향상된 거버넌스</li><li>더 나은 검색</li><li>SQL 성능 강화</li><li>ACID(원자성, 일관성, 격리 및 내구성)</li><li>제로 카피 복제</li><li>시간 여행(타임트래블)</li></ul> 🍏 이중 아키텍처 데이터 관리의 문제점<ul ><li>높은 총 소유 비용: 두 개의 별도 시스템을 유지하는 것은 더 큰 복잡성과 인력과 관련된 높은 비용 의미</li><li>데이터 노후화: 데이터 레이크와 데이터 웨어하우스 간의 데이터 업데이트 지연 가능성</li><li>신뢰성: 데이터를 수집하는 여러 프로세스는 추가적인 ETL 단계를 도입하여 실패 지점을 증가 가능성</li><li>드리프트: 한 시스템의 데이터 변경이 다른 시스템에 반영되지 않아 불일치 발생</li><li>벤더 종속: 데이터 웨어하우스는 종종 독점 스토리지 형식만 지원하며, 플랫폼 간 마이그레이션은 조직에 높은 비용 소요 </li></ul>🍎 데이터 레이크하우스의 장점<ul ><li>데이터 레이크하우스 = 데이터 레이크 + 데이터 웨어하우스</li><li>기업은 데이터 웨어하우스 기능(구조화된 데이터 및 트랜잭션 관리 기능을 사용하면서) 대규모 원시 데이터 저장소에서 데이터 레이크 스토리지로 데이터를 수집 가능</li><li>모든 데이터 사용자가 데이터 레이크하우스를 사용할 수 있도록 하는 핵심은 각 데이터 파일 위에 메타데이터 계층을 사용하는 오픈 테이블 형식으로, 사용자가 데이터 레이크에서 정형, 반정형, 비정형 데이터에 관계없이 직접 데이터를 쿼리 가능</li><li>이 계층을 통해 사용자는 미리 정의된 스키마, 캐싱, 인덱싱을 구현하고 데이터 웨어하우스와 유사하게 카탈로그에서 데이터를 테이블로 검색할 수 있도록 만들어 더 빠르게 쿼리 지원</li><li> 메타데이터 계층은 데이터 레이크의 개방형 파일 형식(Apache Parquet) 위에 있는 개방형 메타데이터 테이블 형식(Delta Lake 및 Apache Iceberg)을 통해 관리</li></ul> 🍏 모든 소비를 단일 장소로 지정: SQL on Lake<ul ><li>모든 데이터 사용자, 즉 데이터 과학자와 엔지니어부터 SQL을 사용하는 제품 소유자 및 비즈니스 분석가까지 동일한 테이블 형식을 통해 노출된 동일한 데이터를 쿼리</li><li>데이터 레이크하우스를 사용하면 중복 데이터가 문제 감소하고, 기업이 더 이상 두 개의 시스템을 관리하지 않고 새로운 소스에서 데이터 통합이 자동화되고 개방구조이기 때문에 총소유 비용 저렴해짐</li><li>오픈 표준 형식을 활용하는 중앙 집중식 스토리지로 인해 선택한 특수 컴퓨팅 엔진을 도입할 수 있는 다양한 기회가 열리고 벤더 종속을 최소화</li></ul> 🍎 Apache Iceberg란?<ul ><li>오픈 테이블 형식은 데이터 웨어하우스의 기능을 데이터 레이크하우스 아키텍처에 도입하는 데 중요한 역할</li><li>Apache Iceberg는 데이터 레이크에서 SQL 지원을 통해 대규모 데이터를 효율적으로 쿼리하기 위해 사용하는 오픈 테이블 형식으로 테이블 형식은 데이터 파일이 테이블 내에서 어떻게 구성되고 접근되는지를 지정</li></ul> 🍏 Apache Iceberg의 주요 특징<ul ><li>Apache Iceberg는 데이터 관리 및 데이터 구조화와 같은 전통적으로 데이터 웨어하우스에서 제공되던 기능을 데이터 레이크와 빅데이터로 가져오는 데 큰 역할</li><li>데이터 조직화를 위한 스키마 정의, SQL 쿼리, 테이블 복제 및 시간 여행(time travel)이 포함</li><li>오픈소스 프로젝트로서의 유연성과 상호운용성을 제공하며, 데이터를 저장하기 위해 Parquet와 같은 오픈 데이터 형식을 통합하고, 다양한 벤더와 플랫폼의 도구가 데이터를 접근할 수 있도록 지원</li><li>메타데이터 파일, 매니페스트 목록 및 메타데이터 파일 형태로 테이블 메타데이터를 캡처</li><li>메타데이터 레이어는 특정 스냅샷(메타데이터 파일이라고 함)의 파일 목록을 추적하기 위해 Apache Iceberg가 생성한 매니페스트 파일로 구성. 데이터의 다른 스냅샷이 생성될 때마다 이전 스냅샷에 대한 참조가 포함되며, 이를 통해 시간 여행과 같은 데이터 웨어하우스의 기능 제공 </li></ul>🍏 아이스버그 테이블을 사용한 레이크하우스 아키텍처 구현<ul ><li>레이크하우스 아키텍처의 이점을 활용하고자 하는 기업은 이를 위해 아이스버그 테이블을 사용</li><li>아이스버그 테이블은 기업이 데이터 레이크와 같은 자체 외부 스토리지에서 데이터를 읽고 쓸 수 있는 방법을 제공하면서 쿼리 기능과 기본 테이블의 기능 지원</li><li>기업은 데이터를 레이크하우스 아키텍처에 저장하고 사용을 그곳으로 지정할 수 있어 데이터를 별도로 로드하고 저장하는 비용 최소화</li><li>아이스버그 테이블은 테이블 형식으로 Apache Iceberg를 사용하고, 데이터 파일 형식으로 Apache Parquet를 사용하여 데이터 레이크의 대규모 데이터셋을 저장하고 처리하는 아키텍처 사용</li></ul>🍏 Iceberg Tables 성능 최적화데이터 웨어하우스에서 레이크로 워크로드를 옮길 때 가장 큰 우려는 쿼리 성능 저하이며, 이는 비용 증가로 이어질 수 있어 성능 최적화가 중요함. 데이터 수집 및 쿼리 프로세스를 최적화함으로써, Iceberg Tables는 네이티브 테이블 성능에 가까운 결과를 제공 가능<ul ><li>데이터 레이아웃 최적화: 데이터가 쓰여질 때 스토리지 엔진이 데이터를 배치하는 방식이 성능에 중요.파일 크기, 행 그룹 크기, 파티션 수, 압축 방법 등</li><li>인덱스와 통계: 데이터 작성 시 메타데이터에 수집된 인덱스와 통계를 활용하면, 데이터를 찾기 위해 열거나 스캔해야 하는 파일 수를 줄여 쿼리를 더 빠르게 실행</li><li>스토리지 유지 관리: 오래된 스냅샷을 정리하고 파일을 최적 크기로 압축하여 데이터 저장소를 유지 관리 필요</li><li>캐싱: 가상 웨어하우스 수준과 결과 수준에서 캐싱 지원. 데이터 수집 중 스토리지 레이아웃을 미리 계산하는 방식으로 레이크 스토리지 레이어 내에서 성능 최적화 구현</li><li>행 수준 업데이트 최적화: Iceberg 스펙은 copy-on-write와 merge-on-read라는 두 가지 행 수준 업데이트 패턴 지원. 업데이트와 삭제 작업이 많은 워크로드의 경우 merge-on-read 패턴을 선택하면 성능을 향상 가능</li></ul>🍏 레이크하우스 아키텍처로 데이터의 가치를 극대화하기<ul ><li>Iceberg를 활용한 데이터 레이크하우스 아키텍처로 데이터 소비를 전환함으로써, 다양한 처리 엔진을 통합할 유연성이 개선되고 총 소유 비용 절감</li><li>오픈 형식과 Iceberg의 광범위한 생태계는 데이터를 컴퓨팅 락인 없이 쉽게 처리할 수 있도록 보장하여 데이터 투자 수명을 연장</li><li>아키텍처 변경을 통해 중복 저장 비용을 제거하고, 데이터 레이크의 SQL 성능 개선</li></ul> &gt;&gt; 스노우플레이크 관점의 상세 내용은 원문을 참고하시기 바랍니다. <ul ><li>source: https://www.capitalone.com/software/blog/iceberg-tables-lakehouse-architecture/</li></ul>

Capital One

[Capitalone]아이스버그를 이용한 레이크하우스아키텍처 구현하기

Fugatto generates or transforms any mix of music, voices and sounds described with prompts using any combination of text and audio files.

Now Hear This: World’s Most Flexible Sound Machine Debuts

텍스트와 오디오를 입력으로 사용하여 음악, 음성 및 소리를 결합하는 NVIDIA의 새로운 생성형 AI 모델을 내놓았습니다.

🍅 Fugatto(Foundational Generative Audio Transformer Opus 1)
 * 텍스트와 오디오 파일의 조합으로 설명된 프롬프트를 기반으로 음악, 음성 및 소리를 생성하거나 변환하는 생성형 AI 모델
 * 텍스트 프롬프트를 기반으로 음악을 생성하거나, 기존 곡에서 악기를 제거하거나 추가하고, 음성의 억양이나 감정 변경도 가능
 * 다양한 오디오 생성 및 변환 작업을 지원하며, 여러 학습된 능력의 상호작용에서 새로운 기능이 나타나는 발현적 특성(emergent properties)과 자유로운 지시를 결합하는 능력을 보여주는 최초의 생성형 AI 모델
 * 오디오 합성과 변환에서 비지도 다중 작업 학습이 데이터와 모델 규모로부터 자연스럽게 발전하는 형태
 * 세부 조정과 소량의 노래 데이터를 활용한 연구를 통해 Fugatto는 텍스트 프롬프트를 기반으로 고품질의 노래를 생성하는 등 사전 훈련되지 않은 작업도 수행

🍊 Fugatto의 내부 작동 원리
 * 음성 모델링, 오디오 보코딩 및 오디오 이해와 같은 이전 작업을 기반으로 한 생성형 변환기(transformer) 모델
 * 완전한 버전은 25억 개의 매개변수를 사용
 * 32개의 NVIDIA H100 텐서 코어 GPU가 장착된 NVIDIA DGX 시스템으로 학습
 * 인도, 브라질, 중국, 요르단, 한국 등 다양한 국가의 사람들이 협력해 만들었으며, 이 협력은 Fugatto의 다중 억양 및 다국어 기능을 강화
 * 팀은 다각적인 전략을 사용해 데이터를 생성하고 지시를 작성함으로써 모델의 작업 범위를 크게 확장했으며, 더 높은 정확도를 달성하고 추가 데이터 없이도 새로운 작업을 가능케

🍏 주요 특징
 * 사용 사례의 샘플 플레이리스트
   * 음악 프로듀서는 Fugatto를 사용해 곡 아이디어를 빠르게 프로토타입으로 만들거나 편집하고, 다양한 스타일, 음성 및 악기를 시도할 수 있습니다.
   * 또한 효과를 추가하거나 기존 트랙의 오디오 품질을 개선할 수도 있습니다.
   * 광고 에이전시는 Fugatto를 활용해 기존 캠페인을 여러 지역이나 상황에 맞게 빠르게 조정하고, 음성 해설에 다양한 억양과 감정을 적용할 수 있습니다.
   * 언어 학습 도구는 사용자가 원하는 목소리를 사용할 수 있도록 개인화할 수 있습니다. 예를 들어, 온라인 강의가 가족이나 친구의 목소리로 진행된다고 상상해 보세요.
   * 비디오 게임 개발자는 게임 플레이 중 변화하는 액션에 맞게 미리 녹음된 자산을 수정하거나, 텍스트 지시와 선택적 오디오 입력을 통해 즉석에서 새로운 자산을 생성할 수 있습니다.
 * 사용자에게 창작 통제권 제공
   * 추론 과정에서 Fugatto는 ComposableART라는 기술을 사용해 훈련 중에 별도로 학습된 지시를 결합합니다. 예를 들어, 슬픈 감정의 프랑스 억양으로 텍스트를 말하도록 요청할 수 있습니다.
   * 모델이 지시를 보간(interpolation)하는 능력은 사용자에게 세부적인 제어 권한을 제공합니다. 예를 들어, 억양의 강도나 슬픔의 정도를 조정할 수 있습니다.

 * 출처: https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/

텍스트와 오디오를 입력으로 사용하여 음악, 음성 및 소리를 결합하는 NVIDIA의 새로운 생성형 AI 모델을 내놓았습니다. 🍅 Fugatto(Foundational Generative Audio Transformer Opus 1)<ul ><li>텍스트와 오디오 파일의 조합으로 설명된 프롬프트를 기반으로 음악, 음성 및 소리를 생성하거나 변환하는 생성형 AI 모델</li><li>텍스트 프롬프트를 기반으로 음악을 생성하거나, 기존 곡에서 악기를 제거하거나 추가하고, 음성의 억양이나 감정 변경도 가능 </li><li>다양한 오디오 생성 및 변환 작업을 지원하며, 여러 학습된 능력의 상호작용에서 새로운 기능이 나타나는 발현적 특성(emergent properties)과 자유로운 지시를 결합하는 능력을 보여주는 최초의 생성형 AI 모델</li><li>오디오 합성과 변환에서 비지도 다중 작업 학습이 데이터와 모델 규모로부터 자연스럽게 발전하는 형태</li><li>세부 조정과 소량의 노래 데이터를 활용한 연구를 통해 Fugatto는 텍스트 프롬프트를 기반으로 고품질의 노래를 생성하는 등 사전 훈련되지 않은 작업도 수행</li></ul> 🍊 Fugatto의 내부 작동 원리<ul ><li>음성 모델링, 오디오 보코딩 및 오디오 이해와 같은 이전 작업을 기반으로 한 생성형 변환기(transformer) 모델</li><li>완전한 버전은 25억 개의 매개변수를 사용</li><li>32개의 NVIDIA H100 텐서 코어 GPU가 장착된 NVIDIA DGX 시스템으로 학습</li><li>인도, 브라질, 중국, 요르단, 한국 등 다양한 국가의 사람들이 협력해 만들었으며, 이 협력은 Fugatto의 다중 억양 및 다국어 기능을 강화</li><li>팀은 다각적인 전략을 사용해 데이터를 생성하고 지시를 작성함으로써 모델의 작업 범위를 크게 확장했으며, 더 높은 정확도를 달성하고 추가 데이터 없이도 새로운 작업을 가능케</li></ul> 🍏 주요 특징<ul ><li>사용 사례의 샘플 플레이리스트<ul ><li>음악 프로듀서는 Fugatto를 사용해 곡 아이디어를 빠르게 프로토타입으로 만들거나 편집하고, 다양한 스타일, 음성 및 악기를 시도할 수 있습니다. </li><li>또한 효과를 추가하거나 기존 트랙의 오디오 품질을 개선할 수도 있습니다.</li><li>광고 에이전시는 Fugatto를 활용해 기존 캠페인을 여러 지역이나 상황에 맞게 빠르게 조정하고, 음성 해설에 다양한 억양과 감정을 적용할 수 있습니다.</li><li>언어 학습 도구는 사용자가 원하는 목소리를 사용할 수 있도록 개인화할 수 있습니다. 예를 들어, 온라인 강의가 가족이나 친구의 목소리로 진행된다고 상상해 보세요.</li><li>비디오 게임 개발자는 게임 플레이 중 변화하는 액션에 맞게 미리 녹음된 자산을 수정하거나, 텍스트 지시와 선택적 오디오 입력을 통해 즉석에서 새로운 자산을 생성할 수 있습니다.</li></ul></li><li>사용자에게 창작 통제권 제공<ul ><li>추론 과정에서 Fugatto는 ComposableART라는 기술을 사용해 훈련 중에 별도로 학습된 지시를 결합합니다. 예를 들어, 슬픈 감정의 프랑스 억양으로 텍스트를 말하도록 요청할 수 있습니다.</li><li>모델이 지시를 보간(interpolation)하는 능력은 사용자에게 세부적인 제어 권한을 제공합니다. 예를 들어, 억양의 강도나 슬픔의 정도를 조정할 수 있습니다.</li></ul></li></ul> <ul ><li>출처: https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/</li></ul>

NVIDIA Blog

[Nvidia]음악,사운드 모든 조합을 생성할 수 있는 New AI모델

📈 하이퍼컨버전은 마케팅과 전환율을 연구하는 뉴스레터입니다매주 무료로 인사이트 가득한...

새는 트래픽 막는 방법! 고객 여정 지도와 11가지 최적화 전략

보통 제품을 판매하는 입장에서 항상 중점으로 포커싱해야 할 부분은 '고객이 우리 제품을 구매하기까지 어떤 과정을 거쳤는지' 입니다.
이러한 과정을 '고객 구매 여정' 이라고 하는데요. 고객 여정을 최적화 해야하는 이유와, 어떻게 최적화 하는지에 대해 전략을 설명해주신 글이 있어 공유 드립니다.

인지 단계
고객이 처음으로 브랜드를 접하는 시점
브랜드를 지속적으로 노출시키면서 고객의 인식 속에 브랜드를 각인시킬 수 있는 브랜딩 작업 필요
 * SNS와 콘텐츠 마케팅
 * 검색엔진 최적화
 * 페이드 마케팅

고려 단계
고객이 브랜드와 제품에 대해 더 많이 알아보고자 하는 단계
다양한 정보를 제공하고 고객을 설득하는 노력을 기울여야 하고, 인지 단계에서 브랜드 가치를 잘 구축해 놓았다면 이 단계에서 보다 쉽게 고객을 설득 할 수 있습니다.
 * 상세페이지
 * 고객 후기

비교 단계
고객이 우리 제품을 놓고 다른 유사한 제품과 비교할 때에는 우리 제품만에 가지고 있는 장점을 강조하는 것이 중요하고, 우리 제품을 구매할 수 있는 여러 판매처의 가격을 비교한다면 자사 플랫폼에서 구매하도록 유도하기 위해 고객이 매력적으로 느낄 수 있는 프로모션과 혜택을 기획해야 합니다.
 * 가격 정책
 * 프로모션

구매 단계
고객이 최종적으로 결정을 내리는 단계이자 비즈니스의 지속 가능성을 담보할 수 있는 단계
구매에 직접적으로 영향을 미치는 결제 서비스는 대부분 외부 솔루션이기에 자칫 잘못하면 사용자 경험을 해칠 가능성이 있기에 가급적이면 쾌적한 사용자 경험을 유지할 수 있도록 신경쓰면서 다양한 결제 수단을 제공하는 것이 중요
 * 회원가입
 * 결제 프로세스

옹호 단계
고객으로 하여금 재구매를 하고 다른 고객에게 추천하도록 브랜드의 팬으로 만드는 과정
팬을 만드는 것이 신규 고객을 만드는 것보다 효율적이며 장기적으로 안정적인 매출 창출 가능
이 단계가 제대로 작동하지 않으면 앞선 4단계의 효율은 점차 감소하고 결과적으로 브랜드는 성장동력을 잃게 됩니다.
 * 회원 등급 프로그램
 * 고객 피드백 수집

보통 제품을 판매하는 입장에서 항상 중점으로 포커싱해야 할 부분은 '고객이 우리 제품을 구매하기까지 어떤 과정을 거쳤는지' 입니다.이러한 과정을 '고객 구매 여정' 이라고 하는데요. 고객 여정을 최적화 해야하는 이유와, 어떻게 최적화 하는지에 대해 전략을 설명해주신 글이 있어 공유 드립니다. 인지 단계고객이 처음으로 브랜드를 접하는 시점브랜드를 지속적으로 노출시키면서 고객의 인식 속에 브랜드를 각인시킬 수 있는 브랜딩 작업 필요<ul ><li>SNS와 콘텐츠 마케팅</li><li>검색엔진 최적화</li><li>페이드 마케팅</li></ul> 고려 단계고객이 브랜드와 제품에 대해 더 많이 알아보고자 하는 단계다양한 정보를 제공하고 고객을 설득하는 노력을 기울여야 하고, 인지 단계에서 브랜드 가치를 잘 구축해 놓았다면 이 단계에서 보다 쉽게 고객을 설득 할 수 있습니다.<ul ><li>상세페이지</li><li>고객 후기</li></ul> 비교 단계고객이 우리 제품을 놓고 다른 유사한 제품과 비교할 때에는 우리 제품만에 가지고 있는 장점을 강조하는 것이 중요하고, 우리 제품을 구매할 수 있는 여러 판매처의 가격을 비교한다면 자사 플랫폼에서 구매하도록 유도하기 위해 고객이 매력적으로 느낄 수 있는 프로모션과 혜택을 기획해야 합니다.<ul ><li>가격 정책</li><li>프로모션</li></ul> 구매 단계고객이 최종적으로 결정을 내리는 단계이자 비즈니스의 지속 가능성을 담보할 수 있는 단계구매에 직접적으로 영향을 미치는 결제 서비스는 대부분 외부 솔루션이기에 자칫 잘못하면 사용자 경험을 해칠 가능성이 있기에 가급적이면 쾌적한 사용자 경험을 유지할 수 있도록 신경쓰면서 다양한 결제 수단을 제공하는 것이 중요<ul ><li>회원가입</li><li>결제 프로세스</li></ul> 옹호 단계고객으로 하여금 재구매를 하고 다른 고객에게 추천하도록 브랜드의 팬으로 만드는 과정팬을 만드는 것이 신규 고객을 만드는 것보다 효율적이며 장기적으로 안정적인 매출 창출 가능이 단계가 제대로 작동하지 않으면 앞선 4단계의 효율은 점차 감소하고 결과적으로 브랜드는 성장동력을 잃게 됩니다.<ul ><li>회원 등급 프로그램</li><li>고객 피드백 수집</li></ul>

새는 트래픽을 막기 위한 고객 여정 지도

들어가기두뇌의 회전이 빠른 사람들이 있다.그런 사람들은 처음 보는 개념도 몇 분이면 이해해버리고, 어려운 문제를 매우 빠르게 풀어낸다.그러면 나와 같이 보통의 사람들은 어떻게 하면 좋을까?어려운 문제에 대한 가정수학적으로 증명은 하지 않았지만, 내가 생각하는 어려운 문제에 대한 가정이 있다.세상에는 어려운 문제가 정말 많다. 어려운 문제는 천재에게도 어렵다. 하지만, 내가 풀어야할 어려운 문제가 얼마나 될까?생각보다 많지 않을 것이다. 그렇기에 우리는 천재와 경쟁할 수 있다.어려운 문제들의 상당수 혹은 내가 감당하기 힘들 정도로 풀어야한다면 그것은 나에게 적합한 일이 아닐 것이다.관심사를 줄이자그렇다면 보통사람이 취할 수 있는 전략은 관심사를 줄이는데 있다.천재가 다방면에서 10가지의 문제를 푼다고 가정..

보통 사람의 배움

천재가 아닌 사람들은 어려운 문제를 어떻게 해결해야 할까요?
어려운 문제를 대하는 태도에 대한 글을 짧게나마 적어봤습니다.

https://godpage.tistory.com/entry/%EB%B3%B4%ED%86%B5-%EC%82%AC%EB%9E%8C%EC%9D%98-%EB%B0%B0%EC%9B%80

천재가 아닌 사람들은 어려운 문제를 어떻게 해결해야 할까요? 어려운 문제를 대하는 태도에 대한 글을 짧게나마 적어봤습니다. https://godpage.tistory.com/entry/%EB%B3%B4%ED%86%B5-%EC%82%AC%EB%9E%8C%EC%9D%98-%EB%B0%B0%EC%9B%80

규이의 블로그

An end-to-end open source machine learning platform for everyone. Discover TensorFlow's flexible ecosystem of tools, libraries and community resources.

TensorFlow

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다!

🎃 텐서플로우
 * https://www.tensorflow.org/
 * 연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여
   * 프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적
   * 리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원
 * TensorFlow의 주요 특징 및 기능
   * TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공
   * 유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원
   * 시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard
   * 프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능
   * 커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티
   * 사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스
 * TensorFlow 구현 모범 사례
   * 코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동
   * 모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지

🎃 PyTorch
 * https://pytorch.org/
 * 직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품
   * 포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점
   * 엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장
   * NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적
   * 동적 계산 그래프를 유연하게 처리
 * PyTorch 아키텍처 및 구성 요소
   * PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심
   * 텐서 연산: GPU 가속을 통한 고급 수학적 연산
   * 신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어
   * 최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘
   * 데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구
 * PyTorch 개발 워크플로
   * 데이터 준비
     * 입력 데이터를 PyTorch 텐서로 변환하기
     * 사용자 정의 데이터 세트 및 데이터 로더 생성
     * 필요한 전처리 변환 적용
   * 모델 개발
     * torch.nn을 사용하여 네트워크 아키텍처 정의하기
     * 포워드 패스 계산 구현하기
     * 손실 함수 및 옵티마이저 구성

🎃 LangChain
 * https://www.langchain.com/
 * 개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상
   * 강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원
 * LangChain 프레임워크 개요
   * LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화
   * 프럼프트 관리 및 최적화
   * 데이터 증강 생성
   * 의사 결정을 위한 자율 에이전트
   * 컨텍스트 유지를 위한 메모리 시스템
 * 광범위한 통합 기능
   * 외부 데이터 소스
     * 문서 저장소
     * 벡터 데이터베이스
     * API 엔드포인트
   * 개발 도구
     * 버전 관리 시스템
     * 모니터링 플랫폼
     * 배포 서비스
   * 비용을 최적화하기 위해 몇 가지 전략
     * 빈번한 쿼리를 위한 캐싱 메커니즘 활용
     * 가능한 경우 API 호출 일괄 처리
     * 효율적인 리소스 할당을 위해 사용 패턴 모니터링

🎃 허깅 페이스 트랜스포머
 * https://huggingface.co/docs/transformers/en/index
 * 허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치
 * 허깅 페이스의 핵심 기능
   * 바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브
   * PyTorch 및 TensorFlow와의 원활한 통합
   * 고급 토큰화 및 전처리 도구
   * 이전 학습을 위한 기본 지원
   * 포괄적인 문서 및 커뮤니티 리소스
 * 허깅 페이스 구현 가이드
   * 허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.
     * 이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장
     * 최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중
   * 파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.
     * 여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능
   * 로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.
     * 기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택
   * 프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.
     * 이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장

🎃 LlamaIndex
 * https://www.llamaindex.ai/
 * 데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크
   * LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화
   * 엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장
 * LlamaIndex의 특징 및 기능
   * 정교한 데이터 처리 및 검색 기능 중심
   * 여러 소스 통합을 위한 데이터 커넥터(LlamaHub)
   * 고급 문서 작업(삽입, 삭제, 업데이트)
   * 다중 문서 합성 기능
   * 쿼리 엔진 선택을 위한 라우터 기능
   * 벡터 스토어 통합 및 ChatGPT 플러그인 지원
   * OpenAI 함수 호출 API 호환성
 * 라마인덱스 개발 프로세스
   * 데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식
     * 데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요
   * 쿼리 프로세스:
     * 노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집
     * 응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성
     * 채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화
 * 비용 최적화 전략
   * 인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함
   * 개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공

🎃 OpenAI 프레임워크(OPF)
 * https://platform.openai.com/docs/api-reference/introduction
 * 책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시
   * 강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장
   * 프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능
   * OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공
   * 프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원
 * OpenAI 프레임워크 구성 요소
   * 위험 평가를 위한 종합적인 평가 시스템
   * 통합 사이버 보안 조치
   * 안전 자문 그룹(SAG) 감독
   * 책임 있는 확장 정책 구현
   * 고급 모니터링 및 테스트 프로토콜
 * OpenAI 구현 전략
   * 안전과 효율성에 중점을 둔 구조화된 접근 방식
   * 철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.
   * 시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합
 * 비용 최적화 전략:
   * 대시보드를 통한 토큰 사용량 모니터링
   * 사용량 임계값 및 알림 구현
   * 작업 요구 사항에 따른 전략적 모델 선택
   * 언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제

🎃 Microsoft JARVIS
 * https://github.com/microsoft/JARVIS
 * 지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS
   * 서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행
   * 로컬 및 클라우드 기반 배포 모델을 모두 지원
   * 엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공
 * JARVIS 플랫폼 개요
   * JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템
   * 플랫폼의 특징:
     * 멀티모달 처리 기능
     * 실시간 웹 액세스 통합
     * 고급 작업 계획 시스템
     * 모델 간 협업
     * 포괄적인 API 지원
     * 지능형 리소스 관리
 * JARVIS 개발 워크플로(4단계 워크플로우)
   * 작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화
   * 모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택
   * 작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행
   * 응답 통합: 결과를 일관된 출력으로 종합적으로 합성
 * 배포 옵션에 따른 리소스 요구 사항
   * 최소 설정: 16GB VRAM, 100GB 스토리지
   * 표준 설정: 64GB RAM(Jetson AGX Orin에 권장)
   * 클라우드 배포: 유연한 확장 옵션
   * 리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합

🎀 결론 🎀
 * 이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.
   * TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월
   * LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화
   * Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장
 * 모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.

 * 출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다! 🎃 텐서플로우<ul ><li>https://www.tensorflow.org/</li><li>연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여<ul ><li>프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적</li><li>리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원</li></ul></li><li>TensorFlow의 주요 특징 및 기능<ul ><li>TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공</li><li>유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원</li><li>시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard</li><li>프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능</li><li>커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티</li><li>사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스</li></ul></li><li>TensorFlow 구현 모범 사례<ul ><li>코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동</li><li>모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지</li></ul></li></ul> 🎃 PyTorch<ul ><li>https://pytorch.org/</li><li>직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품<ul ><li>포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점</li><li>엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장</li><li>NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적</li><li>동적 계산 그래프를 유연하게 처리</li></ul></li><li>PyTorch 아키텍처 및 구성 요소<ul ><li>PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심</li><li>텐서 연산: GPU 가속을 통한 고급 수학적 연산</li><li>신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어</li><li>최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘</li><li>데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구</li></ul></li><li>PyTorch 개발 워크플로<ul ><li>데이터 준비<ul ><li>입력 데이터를 PyTorch 텐서로 변환하기</li><li>사용자 정의 데이터 세트 및 데이터 로더 생성</li><li>필요한 전처리 변환 적용</li></ul></li><li>모델 개발<ul ><li>torch.nn을 사용하여 네트워크 아키텍처 정의하기</li><li>포워드 패스 계산 구현하기</li><li>손실 함수 및 옵티마이저 구성</li></ul></li></ul></li></ul> 🎃 LangChain<ul ><li>https://www.langchain.com/</li><li>개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상<ul ><li>강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원</li></ul></li><li>LangChain 프레임워크 개요<ul ><li>LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화</li><li>프럼프트 관리 및 최적화</li><li>데이터 증강 생성</li><li>의사 결정을 위한 자율 에이전트</li><li>컨텍스트 유지를 위한 메모리 시스템</li></ul></li><li>광범위한 통합 기능<ul ><li>외부 데이터 소스<ul ><li>문서 저장소</li><li>벡터 데이터베이스</li><li>API 엔드포인트</li></ul></li><li>개발 도구<ul ><li>버전 관리 시스템</li><li>모니터링 플랫폼</li><li>배포 서비스</li></ul></li><li>비용을 최적화하기 위해 몇 가지 전략<ul ><li>빈번한 쿼리를 위한 캐싱 메커니즘 활용</li><li>가능한 경우 API 호출 일괄 처리</li><li>효율적인 리소스 할당을 위해 사용 패턴 모니터링</li></ul></li></ul></li></ul> 🎃 허깅 페이스 트랜스포머<ul ><li>https://huggingface.co/docs/transformers/en/index</li><li>허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치</li><li>허깅 페이스의 핵심 기능<ul ><li>바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브</li><li>PyTorch 및 TensorFlow와의 원활한 통합</li><li>고급 토큰화 및 전처리 도구</li><li>이전 학습을 위한 기본 지원</li><li>포괄적인 문서 및 커뮤니티 리소스</li></ul></li><li>허깅 페이스 구현 가이드<ul ><li>허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.<ul ><li>이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장</li><li>최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중</li></ul></li><li>파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.<ul ><li>여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능</li></ul></li><li>로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.<ul ><li>기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택</li></ul></li><li>프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.<ul ><li>이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장</li></ul></li></ul></li></ul> 🎃 LlamaIndex<ul ><li>https://www.llamaindex.ai/</li><li>데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크<ul ><li>LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화</li><li>엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장</li></ul></li><li>LlamaIndex의 특징 및 기능<ul ><li>정교한 데이터 처리 및 검색 기능 중심</li><li>여러 소스 통합을 위한 데이터 커넥터(LlamaHub)</li><li>고급 문서 작업(삽입, 삭제, 업데이트)</li><li>다중 문서 합성 기능</li><li>쿼리 엔진 선택을 위한 라우터 기능</li><li>벡터 스토어 통합 및 ChatGPT 플러그인 지원</li><li>OpenAI 함수 호출 API 호환성</li></ul></li><li>라마인덱스 개발 프로세스<ul ><li>데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식<ul ><li>데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요</li></ul></li><li>쿼리 프로세스:<ul ><li>노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집</li><li>응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성</li><li>채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화</li></ul></li></ul></li><li>비용 최적화 전략<ul ><li>인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함</li><li>개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공</li></ul></li></ul> 🎃 OpenAI 프레임워크(OPF)<ul ><li>https://platform.openai.com/docs/api-reference/introduction</li><li>책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시<ul ><li>강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장</li><li>프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능</li><li>OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공</li><li>프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원</li></ul></li><li>OpenAI 프레임워크 구성 요소<ul ><li>위험 평가를 위한 종합적인 평가 시스템</li><li>통합 사이버 보안 조치</li><li>안전 자문 그룹(SAG) 감독</li><li>책임 있는 확장 정책 구현</li><li>고급 모니터링 및 테스트 프로토콜</li></ul></li><li>OpenAI 구현 전략<ul ><li>안전과 효율성에 중점을 둔 구조화된 접근 방식</li><li>철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.</li><li>시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합</li></ul></li><li>비용 최적화 전략:<ul ><li>대시보드를 통한 토큰 사용량 모니터링</li><li>사용량 임계값 및 알림 구현</li><li>작업 요구 사항에 따른 전략적 모델 선택</li><li>언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제</li></ul></li></ul> 🎃 Microsoft JARVIS<ul ><li>https://github.com/microsoft/JARVIS</li><li>지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS<ul ><li>서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행</li><li>로컬 및 클라우드 기반 배포 모델을 모두 지원</li><li>엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공</li></ul></li><li>JARVIS 플랫폼 개요<ul ><li>JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템</li><li>플랫폼의 특징:<ul ><li>멀티모달 처리 기능</li><li>실시간 웹 액세스 통합</li><li>고급 작업 계획 시스템</li><li>모델 간 협업</li><li>포괄적인 API 지원</li><li>지능형 리소스 관리</li></ul></li></ul></li><li>JARVIS 개발 워크플로(4단계 워크플로우)<ul ><li>작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화</li><li>모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택</li><li>작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행</li><li>응답 통합: 결과를 일관된 출력으로 종합적으로 합성</li></ul></li><li>배포 옵션에 따른 리소스 요구 사항<ul ><li>최소 설정: 16GB VRAM, 100GB 스토리지</li><li>표준 설정: 64GB RAM(Jetson AGX Orin에 권장)</li><li>클라우드 배포: 유연한 확장 옵션</li><li>리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합</li></ul></li></ul> 🎀 결론 🎀<ul ><li>이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.<ul ><li>TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월</li><li>LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화</li><li>Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장</li></ul></li><li>모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.</li></ul> <ul ><li>출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9</li></ul>

[Dev]모든 개발자가 마스터해야 할 7가지 AI 프레임워크!

Your Resume App

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.
프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다.

물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다.

https://resume.realerror.com/

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다. 물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다. https://resume.realerror.com/

resume.realerror.com

IT직군 역량 자가진단 - 프론트엔드부터 CEO까지

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다.

커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다.

요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다. 

 * “회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"
 * “백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”
 * “회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?” 

어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다. 

훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다. 

요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다. 커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다. 요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다.&nbsp; <ul ><li>“회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"</li><li>“백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”</li><li>“회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?”&nbsp;</li></ul> 어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다.&nbsp; 훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다.&nbsp; 요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교와 커리어의 차이점

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까?

익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요.

낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요.

이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까? 익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요. 낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요. 이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

회사를 옮겨보면 알게 되는 나의 쓸모

2024년을 마무리하기 전,
지금까지의 이력을 업데이트한 2024년 버전 이력서를 만들어보았어요.

제가 이력서를 작성할 때 가장 신경쓰는 점은 크게 3가지입니다.

📌 이력서 전체에서 업무 경험과 스킬들이 일관적인 방향성을 가지고 있는지
📌 경력 파트에서 단순히 업무 내용만을 기재하는 것이 아니라 업무에 도움이 되는 수치나 성과를 나타내고 있는지
📌 내가 원하는 직무에 일치하는 관련 키워드나 스킬셋이 잘 나타나있는지

이 3가지를 포함하는 이력서는 나중에 면접 단계로 이어질 때도,
대부분 추가 질문이나 꼬리 질문에서 여쭤보기 때문에,
스스로 잘 정리하고 기록하는 것이 중요하다고 생각했습니다.

여러분들의 의견은 어떠신가요?
여러분들은 이력서를 작성할 때 사용하는 나만의 팁이나 노하우가 있으신가요?

2024년을 마무리하기 전, 지금까지의 이력을 업데이트한 2024년 버전 이력서를 만들어보았어요. 제가 이력서를 작성할 때 가장 신경쓰는 점은 크게 3가지입니다. 📌 이력서 전체에서 업무 경험과 스킬들이 일관적인 방향성을 가지고 있는지 📌 경력 파트에서 단순히 업무 내용만을 기재하는 것이 아니라 업무에 도움이 되는 수치나 성과를 나타내고 있는지 📌 내가 원하는 직무에 일치하는 관련 키워드나 스킬셋이 잘 나타나있는지 이 3가지를 포함하는 이력서는 나중에 면접 단계로 이어질 때도, 대부분 추가 질문이나 꼬리 질문에서 여쭤보기 때문에, 스스로 잘 정리하고 기록하는 것이 중요하다고 생각했습니다. 여러분들의 의견은 어떠신가요? 여러분들은 이력서를 작성할 때 사용하는 나만의 팁이나 노하우가 있으신가요?

2024년 이력서 업데이트

2022년 1월 4일부터 2024년 11월 18일까지, 약 3년을 우아한형제들과 함께해서 즐거웠습니다 :)   왜 떠나는가? 사실 이직해야지! 하고 결심해서 시작한 것은 아니었다. 3-4년차가 이직하기 참 좋을 때라는데, 나는 과연 이직을 할 수 있을까에 대한 궁금증이 제일 컸다. 부업으로 꾸준히 멘토링을 하는 입장에서 취업/이직이 점점 어려워지고 있구나도 많이 느낄 수 있었다. 물론 연차를 더 쌓은 후 이직을 하는 길도 있었다. 하지만 우아한형제들이 첫 회사인 나는, 약 3년이라는 기간동안 대부분 회사 내부 서비스만을 개발했다. 디자인시스템, 어드민, 운영 도구 등등.. 어떻게 보면 서비스 회사에서 서비스 개발은 해보지 않은 셈이다. 이러다가 더 연차가 쌓였을 때, 만일 서비스 회사에 지원을 하게 된다면 서비스 경험이 없는 나를 과연 뽑을지에 대한 의문이 컸다. 주니어라면 와서 배우면 되는 부분이지만, 시니어라면 팀을 이끄는 역량이 필요할지도 모르는데 경험조차 없다면.. 계속 개…

개발자 단민 | 3년차엔 뭐다? 이직이다!

왜 인지 올 해 저희 회사분들 이직 얘기 많이 전하네요.
다들 최고가 되셔서 떠나시는 만큼 멀리서 항상 응원합니다!!!!
https://www.jeong-min.com/77-resignation/

왜 인지 올 해 저희 회사분들 이직 얘기 많이 전하네요.다들 최고가 되셔서 떠나시는 만큼 멀리서 항상 응원합니다!!!!https://www.jeong-min.com/77-resignation/

www.jeong-min.com

최고가 되어 떠나는 단민님 이직기

메모이제이션(memoization)와 캐싱은 프로그래밍의 기본 개념입니다. 이 글에서는 자바스크립트와 타입스크립트의 예시를 통해 메모이제이션에 대해 자세히 소개합니다.


(번역) 자바스크립트와 타입스크립트에서 메모이제이션란 무엇인가요?

오늘 소개드릴 글은 이스트소프트의 김태현님이 번역해주신 글입니다.

이 글에선 자바스크립트와 타입스크립트를 사용하여 메모이제이션의 구현을 통해 수치와 표를 이용하여 로직의 성능 측정 방법을 알려주고 있습니다. 또한 저자는 쉬게 접근하기위해 피보나치 수열을 사용해서 메모이제이션의 사용 사례와 트레이드 오프에 대해서도 이야기하고 있는데요.

개인적으로 이 내용을 바탕을 이해하고난뒤 리액트의 메모이제이션을 기반하는 개념들을 더 쉽게 이해할 수 있었습니다.

만약 자바스크립트와 타입스크립트 코드에서 최적화에 대해 관심을 가지고 계신다면 이 글을 입문으로 추천합니다!

글 링크: https://velog.io/@tap_kim/memoization-in-js-ts

오늘 소개드릴 글은 이스트소프트의 김태현님이 번역해주신 글입니다. 이 글에선 자바스크립트와 타입스크립트를 사용하여 메모이제이션의 구현을 통해 수치와 표를 이용하여 로직의 성능 측정 방법을 알려주고 있습니다. 또한 저자는 쉬게 접근하기위해 피보나치 수열을 사용해서 메모이제이션의 사용 사례와 트레이드 오프에 대해서도 이야기하고 있는데요. 개인적으로 이 내용을 바탕을 이해하고난뒤 리액트의 메모이제이션을 기반하는 개념들을 더 쉽게 이해할 수 있었습니다. 만약 자바스크립트와 타입스크립트 코드에서 최적화에 대해 관심을 가지고 계신다면 이 글을 입문으로 추천합니다! 글 링크: https://velog.io/@tap_kim/memoization-in-js-ts

velog.io

자바스크립트와 타입스크립트에서 메모이제이션란 무엇인가요?

중앙일보의 고품격 주간 경제지

[허태윤의 브랜드 스토리] 성공한 브랜드의 비밀은 확실한 내부 브랜딩 전략

배민의 '배민다움' - 아이디어 생성과정에서 직원들 스스로가 배민다움을 이해하고 발전시켜나가며 체화한 스토리는 유명합니다. 직원들의 투표를 통해 호수가 보이는 잠실로 사무실을 이전했고, ‘송파구에서 일 잘하는 법’으로 명명한 배민 직원의 업무 지침도 배민다움을 직원들에게 공유하고 이해시키기 위해 만들어 내부에서 외부로 향했습니다.

디즈니의 '캐스트' - 디즈니에서는 테마파크 직원들은 ‘캐스트’라 불립니다. 영화가 끝나고 엔딩 크레딧이 올라가면 등장인물들의 이름이 올라가 듯 디즈니는 테마파크를 무대로 생각하고 그곳에서 일하는 직원은 고객을 위해 연기하는 배우라고 생각합니다 공연하는 직원, 청소하는 직원, 햄버거를 파는 직원 등 이들 모두는 디즈니가 찍는 영화의 한 장면을 담당한다고 자부하고 있습니다. 고객을 관객이라고 상정하고 그들이 파는 것은 훌륭한 기술이나 서비스가 아니라 꿈·환상, 그리고 사랑이라는 보이지 않는 가치라는 점을 직원들에게 먼저 설득합니다.

구글의 '20% 룰' - 최고의 기업이 되기 이전에도 구글은 직원을 최고의 자산이라 생각하며 그에 걸맞은 대우를 해주는 것으로 유명했습니다. 전 세계 국가에서 모인 인재들을 위해 카페테리아에 최고의 셰프들이 만든 요리를 모두 맛볼 수 있게 했죠. 특히, ‘20% 타임제’를 통해 업무 시간의 20%는 개인적 관심사에 시간을 보낼 수 있게 해 직원들은 자발적으로 자신의 관심사와 회사의 일을 연결해 훌륭한 성과를 만들고 있습니다. 실제로 구글 로고를 디자인한 한국인 데니스 황은 구글 맵스, g메일 등의 로고도 ‘20% 타임’을 통해 만들었죠. 한마디로 구글은 내부 고객들에게 먼저 브랜드를 팔고, 구글의 열정적 팬이 된 직원들이 다시 고객에 파는 회사라고 할 수 있습니다.

[ 큐레이터의 문장 🎒 ]

"송소고택* 방으로 안내하기 전, 내일 손님을 맞을 다른 방 아궁이에 잠시 멈췄다. 참나무 향이 기분 좋게 나며 벌겋게 타는 장작을 보여주며 “손님이 예약하면 하루 전부터 방에 불을 이렇게 땝니다. 당일 날 때면 방이 뜨거워 손님이 잘 수가 없어서 하루 전에 불을 땝니다. 이틀 동안 그 온기로만 손님들이 편한 밤을 보내시지요”라고 설명했다. 온돌처럼 은은한 온기를 담은 목소리로 전해지는 진심은 추위를 녹이고도 남았다."

* 1880년경 지어진 ‘송소고택’은 청송의 만석꾼 심호택의 99칸 살림집이다. 지금까지 딱 3개가 남아 있는 조선시대 99칸 집 중 가장 아름다운 고택으로 알려져 있다. 송소고택은 청송 심 씨 11대 종손인 심재오 선생이 직접 관리를 하고 손님을 맞는다.

https://jmagazine.joins.com/economist/view/331826

배민의 '배민다움' - 아이디어 생성과정에서 직원들 스스로가 배민다움을 이해하고 발전시켜나가며 체화한 스토리는 유명합니다. 직원들의 투표를 통해 호수가 보이는 잠실로 사무실을 이전했고, ‘송파구에서 일 잘하는 법’으로 명명한 배민 직원의 업무 지침도 배민다움을 직원들에게 공유하고 이해시키기 위해 만들어 내부에서 외부로 향했습니다. 디즈니의 '캐스트' - 디즈니에서는 테마파크 직원들은 ‘캐스트’라 불립니다. 영화가 끝나고 엔딩 크레딧이 올라가면 등장인물들의 이름이 올라가 듯 디즈니는 테마파크를 무대로 생각하고 그곳에서 일하는 직원은 고객을 위해 연기하는 배우라고 생각합니다 공연하는 직원, 청소하는 직원, 햄버거를 파는 직원 등 이들 모두는 디즈니가 찍는 영화의 한 장면을 담당한다고 자부하고 있습니다. 고객을 관객이라고 상정하고 그들이 파는 것은 훌륭한 기술이나 서비스가 아니라 꿈·환상, 그리고 사랑이라는 보이지 않는 가치라는 점을 직원들에게 먼저 설득합니다. 구글의 '20% 룰' - 최고의 기업이 되기 이전에도 구글은 직원을 최고의 자산이라 생각하며 그에 걸맞은 대우를 해주는 것으로 유명했습니다. 전 세계 국가에서 모인 인재들을 위해 카페테리아에 최고의 셰프들이 만든 요리를 모두 맛볼 수 있게 했죠. 특히, ‘20% 타임제’를 통해 업무 시간의 20%는 개인적 관심사에 시간을 보낼 수 있게 해 직원들은 자발적으로 자신의 관심사와 회사의 일을 연결해 훌륭한 성과를 만들고 있습니다. 실제로 구글 로고를 디자인한 한국인 데니스 황은 구글 맵스, g메일 등의 로고도 ‘20% 타임’을 통해 만들었죠. 한마디로 구글은 내부 고객들에게 먼저 브랜드를 팔고, 구글의 열정적 팬이 된 직원들이 다시 고객에 파는 회사라고 할 수 있습니다. [ 큐레이터의 문장 🎒 ] "송소고택* 방으로 안내하기 전, 내일 손님을 맞을 다른 방 아궁이에 잠시 멈췄다. 참나무 향이 기분 좋게 나며 벌겋게 타는 장작을 보여주며 “손님이 예약하면 하루 전부터 방에 불을 이렇게 땝니다. 당일 날 때면 방이 뜨거워 손님이 잘 수가 없어서 하루 전에 불을 땝니다. 이틀 동안 그 온기로만 손님들이 편한 밤을 보내시지요”라고 설명했다. 온돌처럼 은은한 온기를 담은 목소리로 전해지는 진심은 추위를 녹이고도 남았다." * 1880년경 지어진 ‘송소고택’은 청송의 만석꾼 심호택의 99칸 살림집이다. 지금까지 딱 3개가 남아 있는 조선시대 99칸 집 중 가장 아름다운 고택으로 알려져 있다. 송소고택은 청송 심 씨 11대 종손인 심재오 선생이 직접 관리를 하고 손님을 맞는다. https://jmagazine.joins.com/economist/view/331826

포브스 코리아

《고객 경험(Customer eXperience)은 내부로부터》

1
가장 스마트하게 일하는 것은 다른 누구도 할 수 없는 일을 하는 것을 의미한다.

2
이것은 아주 높은 기준이다. 다른 사람들은 할 수 없고 자신만이 잘할 수 있는 일을 찾아내는 것은 엄청난 도전이다.

3
대부분은 그것이 무엇인지 알게 되는 데 한평생이 걸린다. 그것은 오직 의도적인 연습과 다른 사람들의 도움을 통해서만 찾을 수 있지만, 일단 찾게 되면 그 보상은 엄청나다.

4
다른 사람들이 원하는 것을 잘할 때, 그리고 그 일을 할 수 있는 유일한 사람이 바로 당신일 때, 바로 그때 당신은 흔치 않은 보상을 받을 것이다.

#엔드말라리아

1 가장 스마트하게 일하는 것은 다른 누구도 할 수 없는 일을 하는 것을 의미한다. ​ ​2 이것은 아주 높은 기준이다. 다른 사람들은 할 수 없고 자신만이 잘할 수 있는 일을 찾아내는 것은 엄청난 도전이다. ​ ​3 대부분은 그것이 무엇인지 알게 되는 데 한평생이 걸린다. 그것은 오직 의도적인 연습과 다른 사람들의 도움을 통해서만 찾을 수 있지만, 일단 찾게 되면 그 보상은 엄청나다. ​ ​4 다른 사람들이 원하는 것을 잘할 때, 그리고 그 일을 할 수 있는 유일한 사람이 바로 당신일 때, 바로 그때 당신은 흔치 않은 보상을 받을 것이다. ​ #엔드말라리아 ​

< 진짜 스마트한 사람은 이렇게 일한다 >

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요.

몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요.

‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다.

일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요. 몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요. ‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다. 일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더

EuP Egypt Industries: High-quality Filler Masterbatch supplier. Trusted by industry leaders. Affordable prices. Visit us now!

EuP Egypt l Largest Filler Masterbatch Manufacturer

EuP Egypt, the world's leading filler masterbatch manufacturer, serves over 90 countries with premium PP, PE filler masterbatch products. We deliver cost-effective plastic solutions with top-quality materials and international standards.
Website: https://eupegypt.com/
Phone: (+20)1220165445
Address: CPC Sadat Industrial Park, El Sadat City, Menofia, Egypt
Map : https://maps.app.goo.gl/kwSxbNtcWLnuy4qM7
#eupegypt #eup #eupegyptfillermasterbatch #fillermasterbatch #masterbatch #ppfillermasterbatch #pefillermasterbatch

EuP Egypt, the world's leading filler masterbatch manufacturer, serves over 90 countries with premium PP, PE filler masterbatch products. We deliver cost-effective plastic solutions with top-quality materials and international standards. Website: https://eupegypt.com/ Phone: (+20)1220165445 Address: CPC Sadat Industrial Park, El Sadat City, Menofia, Egypt Map : https://maps.app.goo.gl/kwSxbNtcWLnuy4qM7 #eupegypt #eup #eupegyptfillermasterbatch #fillermasterbatch #masterbatch #ppfillermasterbatch #pefillermasterbatch

EuP Egypt

eupegyptindustries

EuP Egypt, the world's leading filler masterbatch manufacturer, serves over 90 countries with premium PP, PE filler masterbatch products. 

EuP Egypt

댓글 0

비슷한 게시물

주간 인기 TOP 10

추천 프로필