LLaMA3 모델이 정량적으로는 한국어 능력이 어느 정도인지 궁금해서 다양한 벤치마크에서 뽑아보았습니다. 공개되었는 KMMLU 평가셋에서는 다음과 같은 점수가 나왔습니다. CoT까지 쓴것은 아니고 Prompt를 몇가지 테스트해보고 맞춰봤습니다.

llama3-8b-instruct: 38.6
llama3-70b-instruct: 54.5

참고로 chatgpt의 모델들 점수들은...
gpt-3.5-turbo: 42.47
gpt-4: 59.95

물론 KMMLU 벤치마크에서는 한국어를 생성하는 것은 아니고, 한국어 문제에 대해 A/B/C/D 중에 답을 하는 사지선다형 문제이기 때문에 모든 한국어 능력을 대변할 수는 없겠지만! 놀랍긴하네요..
다른 모델들의 점수들을 더 비교해보시려면 KMMLU 논문(https://arxiv.org/pdf/2402.11548.pdf) 이나 HyperCLOVA X Technical Report (https://arxiv.org/pdf/2404.01954.pdf) 를 참고해주세요.

앨버트-라슬로 바라바시가 '성공의 공식 포뮬러' 책에서 말하는 또다른 성공 공식은 바로 승자효과 입니다. 바로 '과거의 성공 x 적합성 = 미래의 성공'. 물론 '탁월한 적합성'을 가지면 후발주자도 중심축이 될 수 있다고 말합니다. 또한 성공과 적합성에 편승하려는 심리를 경계해야 한다고 하고요.

1️⃣ 우선적 애착, 선호적 연결로 해석되는 Preferential Attachment는 이미 잘 연결된 노드에 연결되는 것은 선호하여 연결망 많은 노드가 계속 연결이 강화되는 네트워크 특성을 설명합니다.

2️⃣ 알고 있는 단어의 수는 '문해력'에 영향을 끼치는데요. 1000만 단어를 접한 학생들은 폭넓은 어휘로 의사표현을 할 수 있고 이를 통해 칭찬과 인정을 받으면 더 많이 익히려고 하는, '지식이 지식을 낳고 기술이 기술을 낳는 현상'을 보여줍니다.

3️⃣ '과거의 성공 x 적합성 = 미래의 성공' 성과와 상관없이 성공적으로 보이는 프로젝트가 성공을 유인하며, 유리한 노드는 갈수록 유리해지기 때문에 후발주자보다는 선발주자가 성공할 확률이 큽니다. 인정과 찬사를 받으면 자신의 능력에 대한 회의가 줄고 이를 더 많은 성공을 정당화하는데 이용합니다. 일종의 사회적 입증된 선택이고, 성공이 성공을 낳는 거죠. 

4️⃣ 주의해야 할 부분도 있습니다.  바로 성공 혹은 적합성에 대한 편승 효과인데요. 무언가를 평가할 때 다른 사람의 평가 점수에 맞춰서 자신의 기준을 조절하는 경향이 생깁니다. 보통 사람과 다른 판단을 하는 이상한 사람으로 보이고 싶지 않은 심리적 위축 같은 거죠. 개인 차원에서 혹은 조직 차원에서도 이런 태도는 경계해야 합니다.

성공이 성공을 낳는 승자 효과(from. 성공의 공식 포뮬러)

복잡계 네트워크 이론 창시자인 앨버트-라슬로 바라바시는 '성공의 공식 포뮬러' 책에서 '사회적 성취는 어떻게 이루어지는가'에 대해서 설명하면서, 성공에 5가지 공식이 있다고 말하는데요.

첫번째 공식은 바로 '성과 + 연결망 = 개인의 성공' 입니다. 스타트업 창업 시 좋은 제품과 비즈니스 모델이 중요하겠지만, 좋은 투자자를 만나고 선배 창업자에게 고민을 털어놓을 수 있는 '네트워킹' 역시 큰 부분을 차지하는 것 같습니다. 비즈니스를 오래, 잘 하려면 창업가들에게는 '찐 네트워크'가 반드시 필요하다고도 하구요.

커리어리도 비즈니스/커리어 네트워킹 플랫폼으로 하나의 역할을 하고 있는 거겠죠!

----

1️⃣ 성과(Performance) = 부단한 노력으로 혼자 이룬 거대한 것
  - 열심히 노력해서 중요한 목표에 달성했지만 그로 인해 얻는 보상이 내적인 것
  - 개인적인 만족과 성취에 제한됨.

2️⃣ 성공(Success) = 사회적 입증(social proof)된 성과
  - 개인이 아닌 집단과 사회로부터의 인정이 포함됨. 내적이 아니라 외적인 성과
  - 성공은 혼자가 아닌 함께 해내는 것, 우리가 속한 공동체에서 얻는 보상

3️⃣ '성과 + 연결망 = 개인의 성공' 
   - 개인의 역량뿐 아니라 이를 지지하고 응원해주는 네트워크(연결망)이 성공에 큰 영향을 줌

4️⃣  네트워킹 = 역량, 연결망 = 성공의 원동력! 
   - 과거보다 쉽게 연결되고 협업의 중요성이 중요해지는 세상에서 '연결망' 없이 홀로 성공한다는 건 점점 어려워짐

당신의 성공은 우리가 함께 이룬 성공이다(from. 성공의 공식 포뮬러)

#독서 #브런치작가 #소프트웨어엔지니어 #Ai

Software Engineer

최기형

소프트웨어 개발자

개발

이진호

Senior Consultant

이커머스 서비스 기획으로 시작해 현재는 유통 소비재 분야의 PI Consulting 업무를 수행하고 있습니다. \n유통 시스템에 대한 IT 기획/컨설팅부터 구축 프로젝트 관리 업무 커리어를 쌓고 있습니다. \n요즘은 데이터 분석에도 관심을 두고 있습니다. 

SK C&C Senior Consultant

Victor SM Yang

매니저

SK C&C 매니저

진은혜

IT 서비스 운영

SK C&C IT 서비스 운영

박제현

front-End\n기술 스택:\n•\tJavaScript, ES6, TypeScript\n•\tReact, React-Native, Nextjs\n•\tReact-Query, Redux\n•\tStyled-Components, Tailwind CSS\n•\tStory

배수민

벡엔드 개발자

문다영

인공지능 엔지니어

SK C&C 인공지능 엔지니어

강준형

소프트웨어 엔지니어

SK C&C 소프트웨어 엔지니어

이재호

K.K.E.

백엔드 개발자

SK C&C 백엔드 개발자

김효림

전현정

jslee

Ai engineer

SK C&C Ai engineer

김보경

SK C&C SM

김희용

프론트엔드 개발

SK C&C 프론트엔드 개발

김종민 (JongMin)

유무선 통신 마케팅 시스템 빌링 운영&개발

#백엔드 #개발자 #소프트웨어엔지니어 #파이썬디벨로퍼 #Ai #애자일개발 #DevOps #서버개발 #Architecture

SK C&C 유무선 통신 마케팅 시스템 빌링 운영&개발

강인수

시스템운영개발

SK C&C 시스템운영개발

오원석

SW Developer

SK C&C 개발자

이다영

인공지능 개발자

SK C&C 인공지능 개발자

주영

khos

UX/UI 디자이너

SK C&C UX/UI 디자이너

MARINA

사업개발 기획

SK C&C 사업개발 기획

남기백(Dreamee)

주형진

박슬기

웹 개발자

SK C&C 프론트엔드 개발자

제봉

윤건희

프론트엔드 개발자

이겨레

SK C&C 웹 개발자

한장희

클라우드 엔지니어

SK C&C 클라우드 엔지니어

김성수

개발자

우경은

클라우드 앱 엔지니어

SK C&C Cloud App. Engineer

윤서율

MSA 에반젤리스트

SK C&C MSA 에반젤리스트

이승주

데이터 분석/엔지니어

SK C&C 데이터 분석/엔지니어

김경록

SK C&C PM

영석

인프라엔지니어

SK C&C 인프라엔지니어

준현

SK C&C Software Engineer

배중욱

알파카파카

승민

김승준

강수진

조경민

보안

SK C&C 보안

도지

TaeHyung Kang

장혜미

데이터사이언티스트

SK C&C 데이터사이언티스트

박서희

과장

Business Intelligence PL/PM

노종찬 

sw엔지니어

김영상

이동현

Marisol Jeong

최태욱

김관응

아키텍트

SK C&C 아키텍트

고은별

예나*

noah

silverlake

나태관

빅데이터 분석가

SK C&C 빅데이터 분석가

연아준후팜

이동영

프로덕트 매니저

SK C&C 프로덕트 매니저

함태웅

애플리케이션 아키텍터

SK C&C 시니어 소프트웨어 엔지니어

정경석

현경

김기찬

김다예

ios 개발자

SK C&C ios 개발자

최성환

임선호

Manager

soften

Kimhanear

김진석

llllllllliiiiiiii

#백엔드 #ESG #C/C++ #소프트웨어엔지니어 #개발자 #DevOps

이용희

얏호

SK C&C .

ㅌㅎ

이진희

PMO 총괄

SK C&C PMO 총괄

Inyoung.R

조덕상

유철

Blockchain

SK C&C Blockchain

배정호

김병수

SM 개발자

SK C&C SM 개발자

최대열

amethy

이상원

영상

이유영

박석

신종훈

민철

Android

SK C&C Android

미수타리

운영 매니저

박장표

박기량

혲이

허니비

국민대학교 경제학

채현종

시스템 개발 및 운영 및 매니저

SK C&C 시스템 개발 및 운영 및 매니저

뚠커리

백엔드 개발

프리랜서 개발자

Labyrinth

백엔드개발자

SK C&C 백엔드개발자

SK주식회사

언어

프론트엔드

백엔드

데이터베이스

데브옵스

Java

SpringBoot

MySQL

Docker

Kubernetes

기술 스택

언어