이것저것 얕은 지식 보다는 어느 분야에서 오래 가려면 전문화된 지식과 깊은 탐구가 중요하고 그만큼 스페셜리스트가 되는게 중요하다 라는 이야기 힌번 쯤 들어보셨을 것 같습니다. 하지만 우리가 살고 있는 AI 시대에서는 조금 다를 수 있을 것 같은데요 제너럴리스트가 가진 고유한 장점이 AI와 공존하는 세상에서 어떻게 더 중요한 역할을 할 수 있는지 다루고 있습니다. 과거의 전문화된 사고방식을 넘어, 변화하는 환경에서 제너럴리스트가 어떻게 적응하고 성공할 수 있는지 살펴볼 수 있습니다.

제너럴리스트란 무엇인가?
 * 다양한 분야를 탐구하며, 새로운 영역에 대한 호기심을 가진 사람.
 * 폭넓고 얕은 기술을 가지지만, 핵심은 적응력과 새로운 상황에서 문제를 해결하는 능력.
 * 서로 다른 분야의 지식을 결합해 창의적인 솔루션을 도출.

제너럴리스트가 활약하는 곳
 * '악한 환경(Wicked Environments)': 규칙이 불확실하고 패턴이 명확하지 않은 상황에서 뛰어난 능력을 발휘.
 * 대조: 친절한 환경(Kind Environments): 반복적이고 명확한 패턴 속에서는 전문가가 우위.

AI 시대의 제너럴리스트
 * 대규모 언어 모델(LLM)은 친절한 환경에 적합하지만, 완전히 새로운 문제에서는 한계.
 * 제너럴리스트는 AI를 활용해 빠르게 새로운 영역에 적응하고 창의적으로 문제를 해결.
 * 과거의 "전문화" 중심 경제에서 "지능 배치" 경제로 전환하며, 적응력과 문제 해결력이 더 중요해짐.
   
역사 속 제너럴리스트의 사례
 * 고대 아테네: 시민이 정치, 군사 등 다양한 역할을 수행하며, 삶의 통합성을 중시.
 * 점점 복잡한 사회로 전환하며 전문화가 필요했지만, AI의 도움으로 다시 다양한 역할 수행이 가능.

여러분은 자신이 개발자로서의 경력을 전문화와 다재다능 중 어느 쪽에 가깝다고 느끼시나요?

https://every.to/chain-of-thought/why-generalists-own-the-future

왜 제너럴리스트가 미래를 주도할까?

최근에 회사에서 특정 프롬프트의 성능을 올리기 위해서
프롬프트 엔지니어링과 파인튜닝을 진행해보았습니다.

프롬프트 엔지니어링을 사용해서 모든 케이스를 커버하고 있었습니다만,
조금 더 성능을 높이고 싶은 욕심이 있었기에, Llama 3.3이 새로나왔다고 하여 70B(700억파라메터)모델을 파인튜닝 해보기로 하였습니다.

7B의 경우는 로컬머신으로도 간단하게 파인튜닝이 가능했습니다만,
70B부터는 많은 문제들이 생겼습니다. 메모리가 부족하여 Cuda Out of Memory 를 수도없이 보았습니다. 70B를 파인튜닝 하기위해서는 최소 160GB의 메모리가 필요했기 때문입니다.

그리고 같은 텐서가 다른머신에 들어가서 데이터가 꼬이는 일도 발생하였습니다.
다양한 버그와 에러들을 뚫고 겨우겨우 학습을 시도하는 창이 떴습니다만....
저는 여기서 포기할 수 밖에 없었습니다.

왜냐하면 학습하는데 332시간이 걸렸기 때문입니다.
클라우드에서 A100 16대를 사용하는 환경이었는데, 332시간이면 어림잡아
비용이 천만원이 나왔습니다.

그때 확실히 깨달았습니다. AI에는 돈이 많이 필요하구나...
심지어 가장 파라메터가 많은 405B모델도 아니었습니다.
405B모델은 4비트 양자화를 해서 파인튜닝 하는데에도 H100 8대가 필요했습니다.
서빙에는 H100 4대가 필했구요. Llama를 회사에서 서비스 하기위해 운영하는것은 참으로 가성비가 나오지 않는 일이었습니다.

AI학습이 조금 더 저렴해지는 시기가 곧 오겠지만...
아직은 너무 비싸네요.

Llama 3.3 70B를 파인튜닝하다 중단한 이야기

Counter를 사용하세요~

 * 장점: 중복된 원소도 정확히 비교 가능
 * 시간 복잡도 O(n)
   
from collections import Counter

list1 = ['apple', 'banana', 'cherry']
list2 = ['cherry', 'banana', 'apple']
print(Counter(list1) == Counter(list2))

# 중복 문자열 포함 예시
list3 = ['apple', 'apple', 'banana']
list4 = ['banana', 'apple', 'apple']

print(Counter(list3) == Counter(list4))

[파이썬 팁]  두 개의 리스트의 원소가 같은지 확인하는 방법.

카카오 엔터테인먼트 사원

쿨현진

카카오 엔터테인먼트 신사업팀 매니저

임영민

카카오 엔터테인먼트 Product Manager

Marc Lee

카카오 엔터테인먼트 마케팅

류정혜_Ryu

카카오 마케팅

진사랑

카카오 엔터테인먼트 작가

김화영

root

허정근 root.jeong

카카오 엔터테인먼트 글로벌인사이트Lab장

Hong Minyoung

카카오 엔터테인먼트 프론트엔드 개발자

권현빈

카카오 엔터테인먼트 그래픽 디자이너

이소영

카카오 엔터테인먼트 백엔드 개발자

박윤호

카카오 엔터테인먼트 마케팅 기획

이민지

오디오뉴비

전병욱

카카오엔터테인먼트 PM/기획

김미선

이수지

카카오엔터테인먼트 커머스사업기획

SOYOUNG

이지수

카카오엔터테인먼트 CRM마케팅매니저

다혜(Olivia)

카카오엔터테인먼트 디자이너

김정호

카카오엔터테인먼트 광고

celina

카카오엔터테인먼트 서비스 기획자

송주은

카카오엔터테인먼트 팀장

안경미

yoon

최형택

카카오엔터테인먼트

오수민

카카오엔터테인먼트 PD

이상민 lupy

카카오엔터테인먼트 매니저

이경원

플랫폼 성장전략

김보나

iOS Developer @kakaoentertainment

이규원

카카오엔터테인먼트  성장문화 매니저

봉주완

카카오엔터테인먼트 피디

?????? 김소희PD

카카오엔터테인먼트 제작 및 투자

정민

나그네

웹툰 IP 매니저

박단비

카카오엔터테인먼트 음원유통팀 매니저

An jiyoung

카카오계열사에서 이것저것 만드는 개발자

박승규

카카오엔터테인먼트 프론트엔드 개발

허동욱 Root

카카오엔터테인먼트 기획자

장성아_pina

카카오엔터테인먼트 브랜드전략 마케팅 인턴

김정민

Letisha? (김슬기)

카카오엔터테인먼트 사원

뚜뚜

카카오엔터테인먼트 컨텐트사업기획

Serim Son

사업 개발

노우주

카카오엔터테인먼트 프로덕트 메니저

정재범

PM/PO/기획

김정은

마케팅

이송희 (Song)

서비스기획

고요

다다헤

개발

이경민

웃어준

임혜연

세정

카카오엔터테인먼트 대리

강민서

alexis

카카오엔터테인먼트 마케팅 매니저

ATY1220

카카오엔터테인먼트 FE개발자

최성원 shai

Marketing Lead

김경복

카카오엔터테인먼트 마케팅

김주현

크래프톤 - Project Beluga 콘텐츠 디자이너

서연은

카카오엔터테인먼트 웹툰PD

ㄱㅊㄱ

카카오엔터테인먼트 qa

김아린

카카오엔터테인먼트 개발자

송진규

좋아하는 것을 잘하고 싶은 사람

모니크

카카오엔터테인먼트 채용담당자

카일라

한혜미

카카오엔터테인먼트 백엔드 개발자

홍석현_Tony

카카오엔터테인먼트 신사업개발

이고운

프로덕트 매니저/서비스 기획

카카오엔터테인먼트 안드로이드 개발자

왕상진_matt

프론트앤드 개발자

유재석

카카오엔터테인먼트 CRM

문예림

카카오엔터테인먼트 프론트엔드 개발자

서현우_bono

카카오엔터테인먼트 ios 개발자

김수현 

팀장

이수현

카카오엔터테인먼트 사업부서

앤드류

이혁원

카카오엔터테인먼트 콘텐츠 매니저

강지윤

윤희웅 owen

카카오엔터테인먼트 현지화 그래픽 리드

수연 San

전미녕이

Kayla

카카오엔터테인먼트 데이터 분석가

강현욱(Thomas)

승귤 - 박승규

kuahn

카카오엔터테인먼트 UX/UI 디자이너

나세훈

카카오엔터테인먼트 전략 기획

이상준

고장협

송기연 kaki

김영천

카카오엔터테인먼트 사업개발 오너

이예찬

Luke_승환

-22

3321

김상범_dinger

박준호

최용열

카카오엔터테인먼트 / AI전략기획

최유리

이정석

언어

프론트엔드

백엔드

데이터베이스

데브옵스

재직자

쿨현진