일론 머스크, 샘 알트먼, 피터 틸을 따라하지마세요 (Feat. Y-Combinator)

1주일 전에 올라와서 재미있게 본 영상의 따끈따끈한 번역입니다. 영상 말마따나 누군가의 조언을 들을 때는 그 조언의 배경을 잘 이해해야한다 생각합니다. 어설프게 따라하면.. 골치아파지거든요. 

한글 번역 : https://youtu.be/g5puAz-_l7s?si=IKqgK70lKSYUW0VB

YouTube

일론 머스크, 샘 알트먼, 피터 틸을 따라하지마세요

사용자가 공유한 콘텐츠

아마존이 앤트로픽(Anthropic)에 최대 40억 달러(약 5조 3560억 원)를 투자할 계획이라는 파이낸셜타임즈의 보도가 나왔네요. 마이크로소프트, 구글, 엔비디아 등이 AI 스타트업들에게 자사 기술, 플랫폼을 사용하도록 설득하기 위한 경쟁이 날로 치열해지고 있기 때문이라는 분석과 함께요(예를 들어 마이크로소프트의 오픈AI 투자). 아마존은 앤트로픽의 소수 지분에 초기 12억 5천만 달러를 투자할 것이고, 향후 규모를 40억 달러까지 키울 계획이 있다고 발표했습니다. 해당 계약의 일부로 앤트로픽은 AWS와 전용 AI 칩을 사용해서 모델을 개발할 예정이라고 해요. 

앤트로픽은 올초 구글, 세일즈포스 벤처스, 줌, 스파크 벤처스 등으로부터 10억 달러(약 1조 3천억 원) 가까이 투자받기도 했어요. ChatGPT의 경쟁 서비스인 ‘클로드 2’를 슬랙, 줌, 구글 클라우드에 통합하는 파트너십을 맺었어요. 즉 앤트로픽이 모델을 개발하는 데 구글클라우드플랫폼 서비스를 사용하고 있었는데 AWS로 갈아탔다는 이야기이기도 합니다.

아마존의 경우에는 생성AI에 투자하는 타이밍을 놓치지 않고 경쟁에서 뒤쳐지지 않기 위해 이번 투자를 진행하는 것으로 보입니다. 아마존은 생성 AI 모델을 훈련하고 실행하는 데 자사의 Trainium과 Inferentia 칩을 엔비디아 칩의 대안으로서 포지셔닝 시키려고 하고 있어요. 앤트로픽은 ‘책임 있는 AI 모델’을 강조하며 현재 오픈AI의 대항마로 뜨고 있는 스타트업이기도 합니다. 

아직 마이크로소프트에 비하면 투자 규모 등은 작지만 거대 IT 기업들의 생성 AI 트렌드 따라잡기 노력이 한창 진행중이라는 것만은 확실하네요. https://www.ft.com/content/1621f6ee-41da-48a7-98c9-fa161883dc6f

*앤트로픽? 
앤트로픽은 오픈AI 출신 7명이 2021년 공동 창업한 회사입니다. ‘사람이 컨트롤할 수 있고(stirable), 해석할 수 있으며(interpretable), 의지할 수 있을만한(reliable) AI 시스템을 빌딩한다'는 것이 이 회사의 미션이고요. 현재 대규모 언어 모델을 직접 빌딩하고 있어요. 스타트업으로서는 만만찮은 작업입니다. 

그러나 앤트로픽 창업자들은 지금의 대규모 AI 모델들이 어떤 결과를 내놓을지 모르는 상태로 시장에 나와 있다는 사실을 큰 문제로 보고 있습니다. 앞으로 기업, 연구소 등이 더 많은 데이터, 더 많은 파라미터로 모델의 규모를 키워서 5~10년 안에 범용 AI를 만들려고 할텐데 그 결과를 장담할 수 없기 때문에 인류의 미래를 걱정하게 된다는 것입니다. AI 모델 규모 자체 뿐만 아니라 이를 적용한 서비스 시장도 빠르게 성장하고 있는데 규제가 여전히 너무 느슨하다는 점도 우려하고요. 따라서 미래가 어떻게 변할지 모르지만 지금의 모델을 낱낱이 뜯어보고 지금 발생할 수 있는 문제의 범위를 가능한 예측하며 새로운 모델을 만들겠다고 합니다.

아마존, 생성 AI 스타트업 앤트로픽에 최대 5조 원 투자 계획

슬랙은 지난 8월,UI 리뉴얼을 발표했다. 그동안 버튼 위치가 바뀌거나 UI 디자인이 조정되는 업데이트가 있긴 했다. 그러나 이번처럼 크게 갈아엎는 것은 처음이다. 새 UI 업데이트는 공지가 올라온 8월부터 이미 시작했지만, 모두에게 배포된 것은 아니다. 일단 새롭게 슬랙에 가입하는 팀부터 적용되며, 향후 몇 달에 걸쳐 적용 대상을 늘려나간다는 계획이다.

슬랙이 UI를 갈아엎는 이유 | 요즘IT

슬랙은 지난 8월, UI 리뉴얼을 발표했다. 그동안 버튼 위치가 바뀌거나 UI 디자인이 조정되는 업데이트가 있긴 했다. 그러나 이번처럼 크게 갈아엎는 것은 처음이다. 새 UI 업데이트는 공지가 올라온 8월부터 이미 시작했지만, 모두에게 배포된 것은 아니다. 일단 새롭게 슬랙에 가입하는 팀부터 적용되며, 향후 몇 달에 걸쳐 적용 대상을 늘려나간다는 계획이다.

Wishket

슬랙이 UI를 갈아엎는 이유

🪐 우아한테크코스 2024 입학설명회

지원하기

우테코의 중요한 교육철학 중 하나인 ‘몰입’ 을 주제로 코치와 졸업생이 직접 나와 우테코를 소개합니다.

일시 : 10월 5일 (목) 18:00 ~ 20:30
장소 : 온/오프라인 생중계
온라인 : 우아한테크 유튜브 라이브
오프라인 : 우아한테크코스 잠실 캠퍼스 (한국 루터회관 14층)

라이브 현장으로 50명을 초대한다고 합니다.

🚀 입학설명회 자세히 보기 및 사전 신청하러 가기!
https://www.woowacourse.io/apply

우아한테크코스 2024 입학설명회

지성과 감성의 컬래버레이션, 다빈치모텔 2023 현대카드에서 진행하는 문화 융복합 페스티벌 '다빈치모텔...

현대카드와 배달의민족 공통점은?

그래서 브랜딩의 기준점은 ‘나(브랜드)’여야하고,
마케팅의 기준점은 ‘경쟁사(타 브랜드)‘여야한다. 

🔖
- 전략은 전쟁에서 상대방을 이기기 위해 속이는 기술. 마케팅에는 필히 상대방이 있고, 상대방에 따라 전략을 어찌할지 고민. 반면 브랜드 철학은 내가 누구인지 고집스럽게 찾아가는 과정이 필요. 정체성과 자기다움과 같은 것들. 
- ‘00스러움'을 만들려면 적어도 3~5년 정도의 시간 소요. 그 과정 없이 마케팅을 진행하면 오류가 발생. 마케팅은 철저히 숫자로 증명되어야 하기때문. 
- 점차 TV를 보는 사람들 감소. 결국에는 사람들의 말, 구전에 기댈 수 밖에 없음. 사진 찍고 SNS에 올리는 모든 행위 자체가 마케팅. 광고를 진행하는 주체가 대중으로 옮겨간 것. 
- 사업에는 세 가지가 필요. 프로덕트(서비스), 오퍼레이션, 마케팅 순으로 중요. 빵을 판다고 하면 프로덕트인 빵이 가장 맛있어야 하고, 빵을 100개 만들다가 1,000개 만들게 되었을 때도 무리 없이 잘 작동해야 함(오퍼레이션). 그 다음이 마케팅. 물론 역으로 해도 되지만 많은 비용 발생. SNS는 좋은 홍보툴이지만 그보다 먼저 프로덕트의 질을 최대한 높이는 고민이 필요한 이유.

네이버 블로그 | 코딩바비 강사랑 블로그♡⃜

💡브랜딩은 철학, 마케팅은 전략

Explore the power of fine-tuning LLMs for model optimization. Learn about techniques, considerations, and when not to use LLM fine-tuning.

Fine-tuning LLMs 101 | Data Science Dojo

LLM(대규모 언어 모델)을 파인튜닝하는 것은 관련 데이터를 학습시켜 특정 작업에 맞게 모델의 매개변수를 조정하는 것으로, 모델 성능을 향상시키는 강력한 기법입니다.

🍀 LLM 파인튜닝(fine-tuning)
파인튜닝(fine-tuning)은 특정 작업에 맞게 LLM의 파라미터를 조정하는 프로세스입니다. 이는 작업과 관련된 데이터 세트에 대한 모델 학습을 통해 수행됩니다. 필요한 파인튜닝(fine-tuning)의 양은 작업의 복잡성과 데이터 세트의 크기에 따라 달라집니다.

LLM을 파인튜닝(fine-tuning)하는 방법에는 여러 가지가 있습니다. 한 가지 일반적인 접근 방식은 지도 학습을 사용하는 것입니다. 여기에는 모델에 레이블이 지정된 데이터 세트를 제공하는 것이 포함되며, 각 데이터 포인트는 입력과 출력의 쌍으로 구성됩니다. 모델은 손실 함수를 최소화하여 입력을 출력에 매핑하는 방법을 학습합니다.

LLM을 파인튜닝(fine-tuning)하는 또 다른 접근 방식은 강화 학습을 사용하는 것입니다. 여기에는 원하는 출력을 생성하는 데 대한 보상 신호를 모델에 제공하는 것이 포함됩니다. 모델은 보상 신호를 최대화하여 원하는 출력을 생성하는 방법을 학습합니다.

이러한 어려움에도 불구하고 기초 LLM을 파인튜닝(fine-tuning)하는 것은 특정 작업에서 LLM의 성능을 개선할 수 있는 유망한 접근 방식입니다. 대규모 데이터 세트와 컴퓨팅 리소스의 가용성이 증가함에 따라 파인튜닝(fine-tuning)이 더욱 보편화될 가능성이 높습니다.

🍀 LLM을 위한 파인튜닝(fine-tuning) 기술
파인튜닝(fine-tuning)은 특정 작업에 맞게 LLM의 파라미터를 조정하는 프로세스입니다. 이는 작업과 관련된 데이터 세트에 대한 모델 학습을 통해 수행됩니다. 필요한 파인튜닝(fine-tuning)의 양은 작업의 복잡성과 데이터 세트의 크기에 따라 다릅니다. LLM에는 용도 변경과 전체 파인튜닝(fine-tuning)이라는 두 가지 주요 파인튜닝(fine-tuning) 기술이 있습니다.

1. 용도 변경
용도 변경은 원래 학습된 작업과 다른 작업에 LLM을 사용하는 기법입니다. 예를 들어 텍스트 생성을 위해 학습된 LLM을 감성 분석에 사용할 수 있습니다.

LLM의 용도를 변경하려면 먼저 수행하려는 작업과 관련된 입력 데이터의 특징을 식별해야 합니다. 그런 다음, 이러한 특징을 원하는 출력에 매핑하는 방법을 학습할 수 있는 분류기 모델에 LLM의 임베딩 레이어를 연결해야 합니다. 용도 변경은 전체 파인튜닝(fine-tuning)보다 계산 비용이 적게 드는 파인튜닝(fine-tuning) 기법입니다. 하지만 동일한 수준의 성능을 달성할 가능성은 낮습니다.

2. 전체 파인튜닝(fine-tuning)
전체 파인튜닝(fine-tuning)은 수행하려는 작업과 관련된 데이터 데이터 세트에 대해 전체 LLM을 학습시키는 기법입니다. 이는 가장 계산 비용이 많이 드는 파인튜닝(fine-tuning) 기법이지만 최상의 성능을 얻을 가능성이 가장 높은 기법이기도 합니다.

LLM을 완전히 파인튜닝(fine-tuning)하려면 수행하려는 작업에 대한 입력 및 출력의 예가 포함된 데이터 데이터 집합을 만들어야 합니다. 그런 다음 지도 학습 알고리즘을 사용하여 이 데이터 세트에 대해 LLM을 훈련시켜야 합니다. 파인튜닝(fine-tuning) 기술의 선택은 수행하려는 특정 작업과 사용 가능한 리소스에 따라 달라집니다. 계산 리소스가 부족하다면 용도 변경을 고려할 수 있습니다. 그러나 최상의 성능을 원한다면 LLM을 완전히 파인튜닝(fine-tuning)해야 합니다.

🍀 비지도 파인튜닝(fine-tuning)과 지도 파인튜닝(fine-tuning) LLM 비교
대규모 언어 모델(LLM)은 텍스트와 코드의 방대한 데이터 세트에 대해 사전 학습됩니다. 이를 통해 텍스트 생성, 번역, 질의응답 등 다양한 작업을 학습할 수 있습니다. 그러나 LLM은 파인튜닝(fine-tuning) 없이는 특정 작업에 적합하지 않은 경우가 많습니다.

파인튜닝(fine-tuning)은 특정 작업에 맞게 LLM의 파라미터를 조정하는 프로세스입니다. 이는 작업과 관련된 데이터 세트에 대한 모델 학습을 통해 수행됩니다. 필요한 파인튜닝(fine-tuning)의 양은 작업의 복잡성과 데이터 세트의 크기에 따라 다릅니다.LLM의 파인튜닝(fine-tuning)에는 비지도 및 지도의 두 가지 주요 유형이 있습니다.

🍎 비지도 파인튜닝(fine-tuning)
비지도 파인튜닝(fine-tuning)은 레이블이 포함되지 않은 데이터 데이터 세트에 대해 LLM을 학습시키는 기법입니다. 즉, 모델은 각 입력에 대해 올바른 출력이 무엇인지 알지 못합니다. 대신 모델은 시퀀스의 다음 토큰을 예측하거나 데이터 세트의 텍스트와 유사한 텍스트를 생성하는 방법을 학습합니다.

비지도 파인튜닝(fine-tuning)은 지도 파인튜닝(fine-tuning)보다 계산 비용이 적게 드는 파인튜닝(fine-tuning) 기법입니다. 그러나 동일한 수준의 성능을 달성할 가능성도 낮습니다.

🍎 지도 파인튜닝(fine-tuning)
지도 파인튜닝(fine-tuning)은 레이블이 포함된 데이터 데이터 세트에 대해 LLM을 학습시키는 기법입니다. 즉, 모델은 각 입력에 대해 올바른 출력이 무엇인지 알고 있습니다. 모델은 손실 함수를 최소화하여 입력을 출력에 매핑하는 방법을 학습합니다.

지도 파인튜닝(fine-tuning)은 비지도 파인튜닝(fine-tuning)보다 계산 비용이 더 많이 드는 파인튜닝(fine-tuning) 기법입니다. 그러나 최상의 성능을 얻을 가능성도 더 높습니다.

파인튜닝(fine-tuning) 기법의 선택은 수행하려는 특정 작업과 사용 가능한 리소스에 따라 달라집니다. 계산 리소스가 부족하다면 비지도 파인튜닝(fine-tuning)을 고려할 수 있습니다. 그러나 최상의 성능을 원한다면 LLM의 파인튜닝(fine-tuning)을 감독해야 합니다.

🍀 인간 피드백으로부터의 강화 학습(RLHF) LLM을 위한 파라미터 효율적 파인튜닝(fine-tuning)(PEFT)
LLM을 파인튜닝(fine-tuning)하는 데는 감독된 파인튜닝(fine-tuning)과 인간의 피드백을 통한 강화 학습(RLHF)이라는 두 가지 주요 접근 방식이 있습니다.

1. 감독형 파인튜닝(fine-tuning)
지도 파인튜닝(fine-tuning)은 레이블이 포함된 데이터 데이터 세트에 대해 LLM을 훈련시키는 기법입니다. 즉, 모델은 각 입력에 대해 올바른 출력이 무엇인지 알고 있습니다. 모델은 손실 함수를 최소화하여 입력을 출력에 매핑하는 방법을 학습합니다.

2. 인간 피드백을 통한 강화 학습(RLHF)
RLHF는 사람의 피드백을 사용하여 LLM을 파인튜닝(fine-tuning)하는 기법입니다. 기본 아이디어는 LLM에 프롬프트를 주고 출력을 생성하는 것입니다. 그런 다음 사람에게 출력에 대한 평가를 요청합니다. 이 평가는 더 높은 품질의 출력을 생성하기 위해 LLM을 파인튜닝(fine-tuning)하는 신호로 사용됩니다.

RLHF는 감독 파인튜닝(fine-tuning)보다 더 복잡하고 비용이 많이 드는 파인튜닝(fine-tuning) 기술입니다. 하지만 정의하기 어렵거나 라벨링된 데이터가 충분하지 않은 작업에 더 효과적일 수 있습니다.

🍀  매개변수 효율적 파인튜닝(fine-tuning)(PEFT)
PEFT는 파인튜닝(fine-tuning) 중에 업데이트해야 하는 매개변수의 수를 줄이기 위한 일련의 기술입니다. 이는 더 작은 데이터 집합을 사용하거나, 더 간단한 모델을 사용하거나, 낮은 순위 적응(LoRA)이라는 기술을 사용하여 수행할 수 있습니다.

LoRA는 저차원 행렬을 사용하여 다운스트림 작업의 공간을 표현하는 기법입니다. 그런 다음 전체 LLM 대신 이 행렬을 파인튜닝(fine-tuning)합니다. 이를 통해 파인튜닝(fine-tuning)에 필요한 계산량을 크게 줄일 수 있습니다.

PEFT는 LLM을 파인튜닝(fine-tuning)하는 데 유망한 접근 방식입니다. 파인튜닝(fine-tuning)을 더 저렴하고 효율적으로 수행할 수 있으므로 더 많은 사용자가 더 쉽게 접근할 수 있습니다.

🍀 LLM 파인튜닝(fine-tuning)을 사용하지 않는 경우
대규모 언어 모델(LLM)은 텍스트와 코드의 방대한 데이터 세트에 대해 사전 학습됩니다. 이를 통해 텍스트 생성, 번역, 질의응답 등 다양한 작업을 학습할 수 있습니다. 하지만 LLM을 파인튜닝(fine-tuning)하는 것이 항상 필요하거나 바람직한 것은 아닙니다.

다음은 LLM 파인튜닝(fine-tuning)을 사용하지 않는 몇 가지 경우입니다:

👉 모델을 파인튜닝(fine-tuning)할 수 없는 경우. 일부 LLM은 파인튜닝(fine-tuning)을 허용하지 않는 API(애플리케이션 프로그래밍 인터페이스)를 통해서만 사용할 수 있습니다.
👉 모델을 파인튜닝(fine-tuning)할 데이터가 충분하지 않습니다. LLM을 파인튜닝(fine-tuning)하려면 레이블이 지정된 대량의 데이터 세트가 필요합니다. 데이터가 충분하지 않으면 파인튜닝(fine-tuning)을 통해 좋은 결과를 얻지 못할 수 있습니다.
👉 데이터는 끊임없이 변화합니다. LLM을 사용하는 데이터가 지속적으로 변경되면 파인튜닝(fine-tuning)이 이를 따라잡지 못할 수 있습니다. 특히 원어의 어휘와 문법이 시간이 지남에 따라 변할 수 있는 기계 번역과 같은 작업의 경우 더욱 그렇습니다.
👉 애플리케이션은 동적이고 상황에 민감합니다. 경우에 따라 LLM의 출력은 사용자 또는 상황의 특정 컨텍스트에 맞게 조정되어야 합니다. 예를 들어 고객 서비스 애플리케이션에서 사용되는 챗봇은 고객의 의도를 파악하고 그에 따라 응답할 수 있어야 합니다. 이러한 유형의 애플리케이션에 맞게 LLM을 파인튜닝(fine-tuning)하려면 챗봇이 사용되는 다양한 컨텍스트를 캡처하는 레이블이 지정된 대규모 데이터 세트가 필요하기 때문에 어려울 수 있습니다.

이러한 경우에는 다음과 같은 다른 접근 방식을 사용하는 것을 고려할 수 있습니다:

👉 더 작고 덜 복잡한 모델 사용. 더 작은 모델은 훈련하고 파인튜닝(fine-tuning)하는 데 계산 비용이 덜 들며 일부 작업에는 충분할 수 있습니다.
👉 전이 학습 접근 방식 사용. 전이 학습은 다른 작업에 대해 학습된 모델을 사용하여 새 작업에 대한 모델을 초기화하는 기법입니다. 이 방법은 모델이 더 빨리 학습하는 데 도움이 될 수 있으므로 새 작업을 위해 모델을 훈련하는 데 더 효율적인 방법이 될 수 있습니다.
👉 인컨텍스트 학습 또는 검색 증강 사용. 컨텍스트 내 학습 또는 검색 증강은 추론 시간 동안 LLM에 컨텍스트를 제공하는 기법입니다. 이를 통해 LLM이 보다 정확하고 관련성 높은 결과를 생성하는 데 도움이 될 수 있습니다.

🍀  마무리
결론적으로, LLM을 파인튜닝(fine-tuning)하는 것은 이러한 모델을 특정 작업에 맞게 조정할 수 있는 강력한 도구입니다. 용도 변경 및 전체 파인튜닝(fine-tuning)을 포함하여 그 뉘앙스와 옵션을 이해하면 성능을 최적화하는 데 도움이 됩니다. 감독형 파인튜닝(fine-tuning)과 비감독형 파인튜닝(fine-tuning) 중 어떤 것을 선택할지는 리소스와 작업의 복잡성에 따라 달라집니다. 또한 인간 피드백을 통한 강화 학습(RLHF)과 매개변수 효율적 파인튜닝(fine-tuning)(PEFT)은 전문화된 접근 방식을 제공합니다. 파인튜닝(fine-tuning)은 LLM을 향상시키지만, 특히 모델이 이미 업무에 적합한 경우에는 항상 필요한 것은 아닙니다. 특정 애플리케이션에 대한 LLM의 효율성과 효과를 극대화하려면 파인튜닝(fine-tuning)을 사용할 시기를 신중하게 고려해야 합니다.

Data Science Dojo

LLM 파인튜닝(Fine-tuning) 101

Translate texts & full document files instantly. Accurate translations for individuals and Teams. Millions translate with DeepL every day.

DeepL Translate: The world's most accurate translator

🍀 LLMOps란 무엇인가요?
대규모 언어 모델 운영의 약자인 LLMOps는 프로덕션 환경 내에서 대규모 언어 모델을 운영 관리하기 위해 사용되는 일련의 관행, 기술 및 도구를 포괄합니다.

따라서 이러한 모델을 운영 워크플로우에 효과적으로 통합하기 위한 모범 사례를 수립해야 할 필요성이 커지고 있습니다. LLMOps는 대규모 언어 모델의 간소화된 배포, 지속적인 모니터링 및 지속적인 유지 관리를 용이하게 합니다. 기존의 머신 러닝 운영(MLOps)과 마찬가지로 LLMOps도 데이터 과학자, DevOps 엔지니어, IT 전문가가 참여하는 협업이 필요합니다. 

🍀 개발부터 프로덕션 워크플로우까지 LLM
대규모 언어 모델(LLM)은 개방형 질의응답, 요약, 거의 임의의 명령어 실행 등 광범위한 작업에서 이전 벤치마크를 크게 뛰어넘는 새로운 범주의 자연어 처리(NLP) 모델을 나타냅니다. MLOps의 운영 요구사항은 대부분 LLMOps에 적용되지만, LLM을 교육하고 배포하는 데는 LLMOps에 대한 고유한 접근 방식이 요구되는 고유한 과제가 있습니다.

🍀 LLMOps의 구성 요소는 무엇인가요?
머신러닝 프로젝트 내에서 LLMOps의 범위는 각 프로젝트의 특정 요구사항에 따라 매우 다양할 수 있습니다. 일부 프로젝트에서는 데이터 준비부터 파이프라인 생산에 이르는 작업을 아우르는 포괄적인 LLMOps 접근 방식이 필요할 수 있습니다.

1. 탐색적 데이터 분석(EDA)
🚩 데이터 수집: LLMOps의 첫 번째 단계는 LLM을 학습시키는 데 사용할 데이터를 수집하는 것입니다. 이 데이터는 텍스트 코퍼라, 코드 저장소, 소셜 미디어 등 다양한 소스에서 수집할 수 있습니다.
🚩 데이터 정리: 데이터를 수집한 후에는 학습을 위해 데이터를 정리하고 준비해야 합니다. 여기에는 오류 제거, 불일치 수정, 중복 데이터 제거 등이 포함됩니다.
🚩 데이터 탐색: 다음 단계는 데이터의 특성을 더 잘 이해하기 위해 데이터를 탐색하는 것입니다. 여기에는 데이터의 분포를 살펴보고, 이상값을 식별하고, 패턴을 찾는 것이 포함됩니다.

2. 데이터 준비 및 신속한 엔지니어링
🚩 데이터 준비: LLM을 학습시키는 데 사용되는 데이터는 특정한 방식으로 준비해야 합니다. 여기에는 데이터 토큰화, 중단어 제거, 텍스트 정규화 등이 포함됩니다.
🚩 프롬프트 엔지니어링: 프롬프트 엔지니어링은 LLM으로 텍스트를 생성하는 데 사용되는 프롬프트를 만드는 프로세스입니다. 프롬프트는 LLM이 원하는 출력을 생성할 수 있도록 신중하게 만들어야 합니다.

3. 모델 미세 조정
🚩 모델 학습: 데이터가 준비되면 LLM을 학습시킵니다. 이는 머신러닝 알고리즘을 사용하여 데이터의 패턴을 학습하는 방식으로 이루어집니다.
🚩 모델 평가: LLM이 학습되면 얼마나 잘 작동하는지 평가해야 합니다. 이 평가는 LLM을 학습시키는 데 사용되지 않은 테스트 데이터 세트를 사용하여 수행됩니다.
🚩 모델 미세 조정: LLM의 성능이 좋지 않은 경우 미세 조정할 수 있습니다. 여기에는 LLM의 파라미터를 조정하여 성능을 개선하는 작업이 포함됩니다.

4. 모델 검토 및 거버넌스
🚩 모델 검토: LLM을 미세 조정한 후에는 안전하고 신뢰할 수 있는지 검토해야 합니다. 여기에는 편향성, 안전 및 보안 위험 점검이 포함됩니다.
🚩 모델 거버넌스: 모델 거버넌스는 수명 주기 동안 LLM을 관리하는 프로세스입니다. 여기에는 성능을 추적하고, 필요에 따라 변경하고, 더 이상 필요하지 않은 경우 폐기하는 것이 포함됩니다.

5. 모델 추론 및 제공
🚩 모델 추론: LLM을 검토하고 승인하면 프로덕션에 배포할 수 있습니다. 즉, 텍스트를 생성하거나 질문에 답변하는 데 사용할 수 있습니다.
🚩 모델 제공: 모델 제공은 사용자가 LLM을 사용할 수 있도록 하는 프로세스입니다. 이는 REST API 또는 웹 애플리케이션과 같은 다양한 방법을 통해 수행할 수 있습니다.

6. 사람의 피드백을 통한 모델 모니터링
🚩 모델 모니터링: LLM이 배포되면 예상대로 작동하는지 확인하기 위해 모니터링해야 합니다. 여기에는 성능을 추적하고, 문제를 파악하고, 필요에 따라 변경하는 것이 포함됩니다.
🚩 사람의 피드백: 사람의 피드백을 통해 LLM의 성능을 개선할 수 있습니다. 이는 LLM이 생성하는 텍스트에 대한 피드백을 제공하거나 LLM의 성능에 문제가 있는지를 파악하는 방식으로 이루어질 수 있습니다.
 
🍀 LLMOps 구현 모범 사례
LLMOps는 데이터 준비부터 파이프라인 생산에 이르기까지 광범위한 작업을 다룹니다. 다음은 LLMOps를 성공적으로 도입하기 위한 7가지 핵심 단계입니다:

1. 데이터 관리 및 보안
데이터는 LLM 교육에서 중요한 구성 요소이므로 강력한 데이터 관리와 엄격한 보안 관행이 필수적입니다. 
🚩 데이터 저장: 대용량 데이터를 처리할 수 있는 적절한 소프트웨어 솔루션을 사용하여 전체 LLM 수명 주기 동안 효율적인 데이터 검색을 보장합니다.
🚩 데이터 버전 관리: 포괄적인 데이터 버전 관리 관행을 통해 데이터 변경 기록을 유지하고 개발을 모니터링합니다.
🚩 데이터 암호화 및 액세스 제어: 전송 암호화로 데이터를 보호하고 역할 기반 액세스와 같은 액세스 제어를 적용하여 안전한 데이터 처리를 보장합니다.
🚩 탐색적 데이터 분석(EDA): 머신 러닝 수명 주기에 맞춰 데이터를 지속적으로 준비하고 탐색하여 공유 가능한 시각화 및 재현 가능한 데이터 세트를 생성합니다.
🚩 프롬프트 엔지니어링: 신뢰할 수 있는 프롬프트를 개발하여 LLM에서 정확한 쿼리를 생성하고 효과적인 커뮤니케이션을 촉진합니다.
 
2. 모델 관리
LLMOps에서는 LLM 모델의 효율적인 교육, 평가 및 관리가 가장 중요합니다. 다음은 몇 가지 권장 사례입니다:
🚩 기초 모델 선택: 성능, 크기, 호환성 등의 요소를 고려하여 적절한 사전 학습된 모델을 커스터마이징의 시작점으로 선택합니다.
🚩 소수 샷 프롬프트: 소수 샷 학습을 활용하여 광범위한 학습 데이터 없이도 특수한 작업에 대한 모델 미세 조정을 신속하게 수행하여 대규모 언어 모델을 활용할 수 있는 다양하고 효율적인 접근 방식을 제공합니다.
🚩 모델 미세 조정: 기존 라이브러리와 미세 조정을 위한 기술을 사용하여 모델 성능을 최적화하고 특정 도메인에서 모델의 기능을 향상시킬 수 있습니다.
🚩 모델 추론 및 제공: 모델 새로 고침 주기를 관리하고 효율적인 추론 요청 시간을 보장하는 동시에 테스트 및 품질 보증 단계에서 프로덕션 관련 고려 사항을 해결합니다.
🚩 사람의 피드백을 통한 모델 모니터링: 모델 드리프트를 감지하고 잠재적인 악의적인 사용자 행동을 식별하기 위한 경고를 통합하는 강력한 데이터 및 모델 모니터링 파이프라인을 개발하세요.
🚩 모델 평가 및 벤치마킹: 모델 드리프트 및 잠재적인 악의적인 사용자 행동을 식별하기 위한 경고를 포함하여 포괄적인 데이터 및 모델 모니터링 파이프라인을 구축합니다. 이러한 사전 예방적 접근 방식은 모델 안정성과 보안을 강화합니다.

3. 배포
다음 팁을 통해 모델 성능과 접근성을 최적화하면서 원하는 환경에 원활하게 통합할 수 있습니다:
🚩 클라우드 기반 및 온프레미스 배포: 예산, 보안 및 인프라 요구 사항과 같은 고려 사항에 따라 적절한 배포 전략을 선택합니다.
🚩 특정 작업에 맞게 기존 모델 조정하기: 이 접근 방식은 비용 효율적이므로 사전 학습된 모델을 특정 업무에 맞게 조정합니다. 자연어 처리(NLP) 또는 딥 러닝 모델과 같은 다른 머신 러닝 모델을 사용자 지정하는 데에도 적용됩니다.

4. 모니터링 및 유지 관리
LLMOps는 시간이 지나도 지속적인 성능과 적응성을 보장합니다:
🚩 모델 성능 개선: 모델 및 파이프라인 계보와 버전에 대한 추적 메커니즘을 구축하여 수명 주기 전반에 걸쳐 아티팩트와 전환을 효율적으로 관리할 수 있습니다.
이러한 모범 사례를 구현함으로써 조직은 LLMOps 채택을 개선하고 운영 워크플로우에서 대규모 언어 모델의 이점을 극대화할 수 있습니다.

🍀 LLMOps가 필수적인 이유는 무엇인가요?
대규모 언어 모델(LLM)은 텍스트와 코드로 구성된 방대한 데이터 세트에 대해 학습되는 인공 지능(AI)의 한 유형입니다. 텍스트 생성, 번역, 질문 답변 등 다양한 작업에 사용할 수 있습니다. 하지만 LLM은 배포 및 관리가 복잡하고 까다롭기도 합니다. 이것이 바로 LLMOps가 필요한 이유입니다.

LLMOps는 LLM을 배포, 관리 및 모니터링하는 데 사용되는 일련의 관행과 도구입니다. 실험과 반복부터 배포 및 지속적인 개선에 이르기까지 전체 LLM 개발 수명 주기를 포괄합니다.

LLMOps는 여러 가지 이유로 필수적입니다. 
🚩 첫째, 일관되고 신뢰할 수 있는 방식으로 LLM을 배포하고 관리하는 데 도움이 됩니다. 이는 고객 서비스 챗봇이나 의료 진단 시스템과 같은 중요한 애플리케이션에서 LLM이 자주 사용되기 때문에 중요합니다.
🚩 둘째, LLMOps는 LLM의 성능을 개선하는 데 도움이 됩니다. LLM의 성능을 모니터링하여 개선할 수 있는 영역을 파악할 수 있습니다. 이는 LLM의 파라미터를 조정하거나 더 많은 학습 데이터를 제공함으로써 가능합니다.
🚩 셋째, LLMOps는 LLM과 관련된 위험을 완화하는 데 도움이 됩니다. LLM은 텍스트와 코드로 구성된 방대한 데이터 세트를 학습하는데, 이 데이터에는 유해하거나 편향된 정보가 포함될 수 있습니다. LLMOps는 LLM의 학습 데이터에서 이러한 정보를 식별하고 제거하는 데 도움을 줄 수 있습니다.

🍀 LLMOps의 장점은 무엇인가요?
🚩 효율성: LLMOps는 LLM 개발 및 배포의 효율성을 개선하는 데 도움이 될 수 있습니다. 이는 데이터 준비 및 모델 트레이닝과 같은 LLMOps와 관련된 많은 작업을 자동화함으로써 이루어집니다.
🚩 확장성: LLMOps는 LLM 개발 및 배포를 확장하는 데 도움이 될 수 있습니다. 이는 여러 LLM을 더 쉽게 관리하고 배포할 수 있도록 함으로써 이루어집니다.
🚩 위험 완화: LLMOps는 LLM과 관련된 위험을 완화하는 데 도움이 될 수 있습니다. 이는 LLM의 학습 데이터에서 유해하거나 편향된 정보를 식별하여 제거하고, LLM의 성능을 모니터링하여 잠재적인 문제를 식별함으로써 이루어집니다.

결론적으로 LLMOps는 대규모 언어 모델을 성공적으로 배포하고 관리하고자 하는 조직에게 매우 중요한 분야입니다. 여기에 설명된 모범 사례를 구현함으로써 조직은 일관되고 신뢰할 수 있는 방식으로 LLM을 배포 및 관리하고 이러한 강력한 모델의 이점을 극대화할 수 있습니다.

Deepl

LLMOps에 대한 이해: 이것이 중요한 이유와 2023년의 모범 사례

글로벌 네트워크 전문 기업 시스코가 데이터 분석 플랫폼 기업 스플렁크를 인수했다.시스코는 스플렁크와 21일(현지시간) 최종 인수합병 계약을 체결했다고 밝혔다. 인수가는 28...

시스코, 데이터 분석 기업 '스플렁크' 37조원에 인수

글로벌 No. 네트워크 장비 업체인 시스코 시스템즈(CSCO)가 스플렁크를 주당 157달러, 총 280억달러에 전액 현금 거래로 21일(현지시간) 최종 인수합병 계약을 체결했다고 밝혔다.  시스코가 제시한 인수가는 주당 157달러로 스플렁크의 20일 종가에 약 30% 프리미엄이 붙은 가격이다. 인수합병 이후 게리 스틸 스플렁크 사장 겸 최고경영자(CEO)는 시스코의 경영진에 합류하게 된다.

- 인수 배경
그간 시스코는 스위치와 라우터를 판매하는 기존 사업에서 벗어나 반복 매출을 올리는 구독 기반 소프트웨어 및 서비스 사업으로 전환하기 위해 인수 대상 기업을 물색해왔다. 월스트리트저널(WSJ) 보도에 따르면 지난 2022년 2월에도 스플렁크를 200억달러에 인수하겠다고 제안한 바 있다.

- 향후 플랜
시스코는 스플렁크 인수를 통해 소프트웨어 사업을 강화하고 인공지능(AI) 경쟁력을 키울 계획이다. 2003년 10월 설립된 스플렁크는 AI와 머신러닝 기술을 활용해 대량의 데이터를 바탕으로 비즈니스 시스템과 프로세스를 빠르게 개선하려는 기업을 위한 선도적인 플랫폼을 제공한다.  특히, 스플렁크의 보안 역량은 시스코의 포트폴리오를 보완하고, 디바이스에서 애플리케이션, 클라우드에 이르기까지 선도적인 보안 분석과 커버리지를 제공할 전망이다. 이를 통해 하이브리드 및 멀티 클라우드 환경 전반에 통합 가시성을 제공해 고객이 디지털 비즈니스를 강화하는 원활한 애플리케이션 경험을 제공할 수 있도록 지원할 것으로 기대된다.

< 스플렁크(Splunk)​ >
- 설립연도: 2003년 10월(19년)
- 본사: 미국 샌프란시스코
- 직원수: +8,000
- 창립자: 마이클 바움, Rob Das, 에릭 스완
- 고객사: 16,000+(글로벌), 400+(한국)
- 매출: 36억 5천만 달러(2023년)
- 기업공개: NASDAQ(TICKER:SPLK)
- 홈페이지: http://www.splunk.com
- 주요솔루션: Splunk Enterprise, Splunk Cloud Platform , Splunk Attack Analyzer, Splunk enterprise security, Splunk Mission control,  Splunk security essentials, Splunk SOAR, Splunk user behavior analytics, Splunk application performance monitoring, splunk infrastructure monitoring, splunk IT service intelligence, Splunk Real user monitoring, Splunk on-call, Splunk synthetic monitoring 등 비즈니스 인텔리전스 도구, 데이터 분석 도구, 빅 데이터 도구, 사이버 보안 도구

* 데이터 분석 소프트웨어에 뿌리를 둔 스플렁크는 사이버 보안으로 사업을 확장했다. 기업이 데이터를 모니터링하고 분석하여 해킹 위험을 최소화하고 기술적 문제를 좀 더 신속하게 해결하도록 지원한다. 또한 온프레미스 제품에서 서비스형 소프트웨어 비즈니스 모델로 전환하고 있다.

출처:
- https://www.datanet.co.kr/news/articleView.html?idxno=187419
- https://zdnet.co.kr/view/?no=20230922081014

Zdnet

대규모 투자 유치 이후의 스타트업들에서 수시로 목격할 수 있는 일이 있는데요.
대기업 출신의 임원 영입, 대규모 채용, 출혈 마케팅으로 입니다.

얼리 스테이지에서 스케일업을 하려 할 때 발생할 확률이 매우 높습니다.
투자 목적과 시기가 적기라고 판단되어 집행이 되었을 텐데 왜 이런 일들이 일어날까요?

시작은 거의 비슷합니다.
매출이 발생하고 마케팅을 통해 성장 속도가 가팔라지는 시점에 인력의 부족, 채용의 어려움, 시스템의 한계, 전문 인재의 필요성 등을 느끼게 됩니다. 

이를 해결해 줄 묘안으로 경험이 풍부한 대기업 출신 리더를 수소문해 영입을 꽤합니다.
리더의 영입 이후 처우 개선과 조직을 신설하며 대규모 채용을 진행합니다. 
영입된 인재들을 중심으로 다양한 영업과 마케팅, 운영을 하며 공격적으로 숫자를 쫓아 지표들을 가파르게 성장시킵니다.
인력 규모의 폭발적 증가와 함께 판관비 역시 폭발적으로 함께 증가하고 여러 이슈들이 산발적으로 터지기 시작합니다.

혼돈....

(그나마 잘 영입했다면) 임원진들과 함께 잘 협의해나가며 선택과 집중을 통해 업무와 리소스를 관리를 하고 어려웠던 채용 문제도 풀어가며 업무 프로세스와 인적 관리 정책들이 맞물려져 돌아갈 때까지 버텨내면 "의미있는 성장통"으로 평가될 수 있겠지만....

고정비의 급증, 비효율적인 마케팅 비용의 집행, 재고와 부채의 증가, 핵심 인재들의 이탈, 후속 투자의 불확실성 등과 같은 이유로 감당할 수 없는 상황에 이르는 "무리한 투자"가 더 많습니다.

스케일업을 하려할 때 빠르게 달성하려하기 보다 성장을 위한 체력을 준비한 뒤에 순차적으로 성장을 이어가는 것이 필요합니다.

채용에 앞서 성장 목표에 대한 우선순위를 사전에 명확히한 후 채용 로드맵을 계획하고 리더 영입을 통해 내부 조직의 정비(업무 프로세스와 HR 시스템)가 선행되어야 합니다.
되도록 경쟁 또는 목표로한 기업의 조직에 견주어 조직을 구성하고 규모를 설정하기보다 가장 효율적으로 성과를 달성할 수 있는 우선순위가 높은 업무 순으로 개선해나가는 형태가 좋습니다.
마케팅은 충분히 준비된 다음에 해도 됩니다. 

고객이 만족할 만한 좋은 프로덕트라면 무리하게 경쟁하며 할 필요가 없을지 모릅니다.
카카오도 배민도 쿠팡도 그럤습니다.

스케일업을 할 때에는 '조직 규모의 확장'보다는 '조직 기능의 향상'에 주목적을 두어야 합니다.

큰 투자를 통해 스케일업을 준비하고 있다면 무엇이 준비되어 있는지 확인해보시기 바랍니다

20일에 네이버가 생성형 인공지능(AI) 검색 '큐(Cue:)' 베타 서비스를 시작한다고 밝혔다. 큐는 복잡한 질의에도 쉽게 답변을 제공하고 검색 편의를 높이는 도구이며, 일반 사용자에게 새로운 검색 경험을 제공하고 네이버 서비스를 이용할 수 있다. 또한 멀티스텝 리즈닝(단계별 추론) 기술을 적용하여 차별화된 답변을 제공하고 검색 한계점을 보완했다.

네이버, 생성AI 검색 서비스 '큐' 공개 | 일일일

지난 20일 네이버 생성AI 검색 서비스 '큐'가 베타서비스를 시작했습니다. 어떤 내용이 담겨있는지 살펴보세요. 현재 대기 명단에 등록하면 승인까지 1일이 안 걸립니다. 신청하시고 사용해 보시길 추천드려요.
▶ 대기 명단 신청 : https://cue.search.naver.com

- 지난달 출시한 대화형 AI 서비스 클로바X가 문서 작성과 창작 등 기업과 개인 생산성 향상을 꾀하는 도구라면, 큐는 생성 AI를 검색에 접목해 복잡한 질의에도 의도를 단번에 파악해 검색 편의를 제고한 게 특징이다.

일일일(ONEONEONE)

📌 네이버, 생성AI 검색 서비스 '큐' 공개

개발자 면접은 어떻게 진행될까? | 처음 이직 시도를 했을 때가 떠오릅니다. 별 근거도 없이 자신만만하던 4년 차 때, 평소 실력만 믿고 당당하게 기술 면접에 뛰어들었죠. 면접은 생각보다 훨씬 어려웠고, 결과는 처참했습니다. 식은땀을 삐질삐질 흘리며 겨우 첫 라이브 코딩 테스트를 마쳤던 기억은 쉽사리 잊히지 않습니다. 그렇게 직접 부딪혀 보고 나서야 깨달았어요.

개발자 면접 유형 총정리

개발자 면접을 준비하고 계신가요? 어디서부터 어떻게 시작해야 할지 몰라 막막하신 분들을 위해 개발자 면접 대비 키트를 준비했습니다! 제가 지금까지 썼던 개발자 면접 준비 관련 글과 추천 자료를 한 곳에 모았습니다. 적극 활용하셔서 면접에 잘 대비하시길 바랍니다! 

0️⃣  면접 유형 파악하기

- 개발자 면접 유형 총정리: https://careerly.co.kr/comments/66132

1️⃣ 코딩 면접

[추천 글]
- 코딩 테스트를 위해 꼭 공부해야 할 이론: https://careerly.co.kr/comments/66531
- 코딩 테스트에 완벽하게 대비하기 위해 해야 할 6가지: https://careerly.co.kr/comments/66559
- 라이브 코딩 테스트 실전 5단계 가이드: https://careerly.co.kr/comments/66693

[기출 문제 플랫폼]
국내
- 프로그래머스: https://school.programmers.co.kr/learn/challenges?tab=all_challenges
- 백준: https://www.acmicpc.net
- 삼성 SW Expert Academy: https://swexpertacademy.com/main/main.do

해외:
- LeetCode: https://leetcode.com/problemset/all
- HackerRank: https://www.hackerrank.com
- Codility: https://www.codility.com

2️⃣ 시스템 설계 면접

[추천 글]
- 소프트웨어 시스템 설계 시 고려할 세 가지: https://careerly.co.kr/comments/67065
- 시스템 설계 면접 준비 방법: https://careerly.co.kr/comments/67313

[추천 자료]
도서
- 데이터 중심 애플리케이션 설계 (원제: Designing Data-Intensive Applications): https://search.shopping.naver.com/book/catalog/32466573690
- 가상 면접 사례로 배우는 대규모 시스템 설계 기초 (원제: System Design Interview: An Insider's Guide): https://search.shopping.naver.com/book/catalog/32485737619

온라인 자료 (영문)
- Grokking the System Design Interview: https://designgurus.org/course/grokking-the-system-design-interview
- Deep Dive into System Design Interview: https://www.educative.io/path/deep-dive-into-system-design-interview
- The System Design Primer: https://github.com/donnemartin/system-design-primer

3️⃣ 인성 면접 / 행동 면접

[추천 글]
- 면접에서 효과적으로 경험 어필하는 법: https://careerly.co.kr/comments/67573

[추천 툴]
- 각 기업 문화 페이지
- STAR 기법

Brunch Story

👩🏻‍💻 개발자 면접 대비 키트

복잡한 시스템을 익힐 때 아무리 서류를 여러 번 읽어보고 연구해 봐도 이해하는 데 시간이 꽤 걸릴 수도 있어요. 주니어시절 아키텍처를 이해하는 데 어려움을 많이 겪었던 것 같아요. 아키텍처를 이해하는 데 도움 되었던 방법 몇 가지 적어 봅니다.

1️⃣ 서류를 읽어보며 상위 설계 대충 이해해 보기

시스템 설계를 설명하는 서류나 학습 자료가 있다면 한 번 훑어보면서 대충 상위 레벨 아키텍처를 스스로 이해해 보려고 노력한다. 자료를 읽는다고 바로 이해되는 건 아니지만, 대충 큰 그림을 이해하고 코드를 읽어 보면 아키텍처를 이해하는 데 큰 도움이 된다.

서류가 없는 경우, 이 단계를 스킵하고 다음 단계부터 시작하면 된다.

2️⃣ 코드 읽어 보면서 시스템 설계 다이어그램 직접 그려 보기

스케일이 큰 시스템의 코드베이스는 굉장히 복잡하고 하나하나 꼼꼼하게 읽어 보면서 그릴 수 없다. 그렇지만 최대한 중요한 코드를 파악하고 컴포넌트가 어떤 역할을 하고 컴포넌트 간 어떤 상호 작용을 하는지 다이어그램을 그려 보며 스스로 설계해 본다. 다이어그램이 완벽하지 않아도 된다. 요점은 스스로 코드를 파해쳐 보며 설계해 보는 게 자료만 읽는 것보다 아키텍처를 이해하는 데 더 도움 된다.

이 방법은 마치 알고리즘 문제 풀기와 비슷하다. 기본적으로 알고리즘 개념을 책을 읽거나 유투브 강의를 보며 익힌 다음 직접 문제를 풀어 보면서 연습해야 '내 것'으로 만들 수 있다. 아키텍처도 비슷한 방식으로 접근하는데, 설계 경험 충분하지 않다면 실무에서 아키텍처를 익히려면 직접 그려보고 설계해 보는 게 가장 중요하다.

또한 이런식으로 아키텍처 다이어그램을 직접 그리면 설계 서류를 작성하고 설계 면접을 준비하는 데 도움 된다.

3️⃣ 선임에게 다이어그램 보여 주며 설명해 보기

스스로 그려 본 다이어그램을 관련 아키텍처를 잘 아는 선임에게 보여 주며 스스로 익힌 점을 설명해 보자. 틀려도 괜찮다. 요점은 시스템을 잘 아는 선임에게 내가 이해한 시스템을 설명하고 선임이 틀린 점을 바로 알려주면서 내가 모르는 점을 알게 되고 틀린 점을 바로 고칠 수 있다. 

예를 들어, 주니어 시절 선임이 '학습 세션(learning session)'을 통해 다이어어그램을 그리며 신입사원에게 아키텍처를 설명해 줬는데, 세션이 끝나도 그 시스템을 이해하지 못했다. 물론 어느 정도 상위 수준의 아키텍처를 이해할 수 있었지만, 정보를 흡수만 하는 게 시스템을 익히는 데 큰 도움이 되지 않았다. 

어렵더라도 내가 스스로 익혀보고 설계를 해보면서 선임에게 반대로 알려 주면서 상호적인 학습 세션을 통해 배우면 개념을 훨씬 빠르고 깊게 익힐 수 있었던 것 같다.

4️⃣ 팀원에게 다이어그램 그리며 시스템 설명해 보기

'가르치면서 배운다'는 걸 느낀 적이 있는데, 아키텍처를 가르쳐 주면서 팀원들이 모르는 점을 물어본다. 모든 질문에 대답할 수도 있고 없을 수도 있지만, 없어도 괜찮다. 내가 알지 못한 점을 다른 사람의 질문을 통해 알 수 있고, 스스로 공부했을 때 그냥 지나쳤을 수도 있는 아키텍처의 디테일한 점을 익힐 수 있다. 종종 생각지도 못한 질문을 받고 그 질문에 관한 답변을 찾으면서 스스로 공부했을 때 보다 더 많은 양의 정보를 흡수할 수 있다.

5️⃣ 상호작용하는 학습 세션 만들기

스텝3과 스텝4를 할 수 없는 상황이라면 팀원끼리 모여 함께 다이어그램을 그리며 설계를 설명해 보는 건 어떨까? 같이 배우면 혼자 배우는 것보다 더 많은 양의 정보를 흡수할 수 있다.

🪴 함께 읽으면 좋은 글

라지 스케일 시스템을 구현하는 개발자가 아는 것
https://careerly.co.kr/comments/90638

개발자가 꼭 봐야 할 책 - 데이터 중심 애플리케이션 설계
https://careerly.co.kr/comments/67004

초당 1억 건의 요청 S3 스케일의 스토리지 구축, 운영, 관리
https://careerly.co.kr/comments/88808

복잡한 시스템 빨리 이해하는 법

머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository is intented for helping whom are interested in machine learning study) - GitHub - teddylee777/machine-learning: 머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository i

GitHub - teddylee777/machine-learning: 머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository is intented for helping whom are interested in machine learning study)

엄청난 repo를 발견해버렸습니다...
유튜브 테디노트 채널의 repo인데요!

머신러닝에 관련된 모든 카테고리의 강의를 정리했을 뿐 아니라
책, 유튜브 채널, 웹사이트까지 모두 소개하고 자격증까지 소개하고 있네요...

잠 안오면 이거 하나씩 깨부셔야겠어요!

https://github.com/teddylee777/machine-learning#%ED%86%B5%EA%B3%84-statistics

GitHub

머신러닝을 혼자서 처음부터 공부한다면...!

TypingMind, Xnapper, BlackMagic, DevUtils의 개발자 Tony Dinh이 회사를 퇴사하고 3년만에 월 수익 5,500만 원을 버는 Indie Hacker가 된 과정과 제품 성공 이야기를 전합니다.

🗞️ 베트남 개발자가 사이드 프로젝트로 월 5천만원 벌게 된 이야기

안녕하세요 :) 
오늘은 베트남에서 혼자 2일만에 개발한 ChatGPT 껍데기 서비스로 월 4,000만원 버는 Tony Dinh 이야기를 준비했습니다.

Tony는 7년간 개발자로 일하다 사이드 프로젝트를 위해 퇴사한 후, 단 3년 만에 베트남 월 평균 임금의 166배를 벌고 있습니다. 어떻게 가능했을까요? 그의 지난 3년을 핵심만 정리해서 이 글👇에 담았습니다. 

전체 내용 보기 ➡️ https://www.sidehustlerstory.com/p/tony-dinh/?ref=careerly.co.kr

👇 전체 목차입니다. 내용 이해에 이미지가 필요한 부분이 많아서 이 글에는 목차만 공유합니다.

📌 시작: 사이드 프로젝트 for 재미+취업 😆💼
📌 선 퇴사 😎, 후 개발 👨‍💻
📌 Tony의 연봉 히스토리 💸
📌 풀스택 개발자의 풀스택 제품 라인업 🤹
📌 첫 성공: DevUtils 🛠️
📌 Cool & Free 제품으로 바이럴 타기: BlackMagic 🎩
📌 BlackMagic을 1억 7천만원에 팔 수 밖에 없었던 드라마 🎬
📌 2022년에 스크린샷 앱을 만든다고? Xnapper 📸
📌 ChatGPT 껍데기로 매 달 4천만원 벌기: TypingMind 🧠
🎁 60일 만에 월 수익을 7배 증가시킨 베타 테스팅 전략 ($300 → $2,164) 📈
🎁 구매 취소율 80% 위기를 극복한 방법 🏋️‍♂️
🎁 BlackMagic 인수 제안(7억 원)을 거절한 뒷 이야기와 이 과정에서 배운 것들 👋
🎁 5번이나 프로덕트 헌트 1위 등극한 Tony의 런칭 전략 🥇
🎁 Tony가 제품 개발에 활용한 기술 스택 🛠️

전체 내용 보기 ➡️ https://www.sidehustlerstory.com/p/tony-dinh/?ref=careerly.co.kr

사이드허슬러스토리

ChatGPT 껍데기로 월 4천만원 버는 베트남 개발자 이야기

The Product-Minded Software Engineer by Gergely...

제품 중심 개발자 되기

바로 제품중심으로 생각할 줄 아는 개발자이다. (Product-Minded Software Engineer) 
"나쁜 엔지니어들은 기술에만 너무 집중합니다. 훌륭한 Product Engineer들은 사랑 받는 제품을 만들기 위해 제품 개발 과정에서 적절한 깊이로 고민 해야 한다는 사실을 압니다." 
Shopify의 head of engineering인 Jean-Michel Lemieux은 Product Engineer를 위와 같이 정의했다.

나는 기획이라는 업을 한 지 약 7~8년차가 되었고, 프리랜서/인하우스 둘 다 경험해 보았을 때
다양한 스타일의 개발자들을 만나왔다. 사람의 성격이나 성향, 기질은 둘째 치고 
함께 일할 때 즐거움을 주었던 분들의 특징은  바로 제품에 대해 "생각"이라는걸 할 줄 안다는 것이었다. 

내 경험이다만, 일단 제품 중심 개발자는 질문하는 것도 행동하는 것도 달랐다. 

1. 이 기능이 왜 필요한지 정확히 이해하기 위해 많은 질문을 던진다.
2. 이를 테스트하고 수정된 사양에 포함된 일부 제안을 가져온다.
3. 빠르게 기능을 구축하고 피드백을 얻는다.
4. 기능을 출시한 후에도 예상과 일치하는지 계속해서 확인한다.
5. 예상과 달랐을 때, 결과를 깊이 파고들어 실제 세계에서의 제품 사용에 대해 새로운 것을 배운다.

(주니어~미들이지만 위 1번부터 5번 모두 해당하는 Frontend 개발자 분이 계셨다. 그 사람의 개발 실력이 어떻든 간에 만약 내가 창업을 한다면, 가장 먼저 영입 하고 싶은 분이기도 하다.)

반면 "기획서 나오면 검토할게요". "안됩니다." "6개월 이상 걸립니다." "기능정의서 먼저 주세요." "화면 보고 얘기하시죠." "그때 자세히 못봤는데 지금 보니 이거 못합니다." 라는 대답만 나오는 개발자와는 그닥 즐겁게 일하지는 못했던 것 같다.  

제품 중심으로 생각할 줄 아는 개발자는 각 프로젝트 이후, 제품 이해력이 깊어지고 더 나은 제품 직감력을 발휘 하기 시작한다. 길가에 그냥 지나쳤던 나무가 플라타너스 나무로 보이듯이, 감각이 생기면 문제 해결도 빨라지고 수월해지는 것이다. 이 과정에서 제품 중심 개발자는 더 많은 커리어 성장 기회를 얻는다.

📌 제품 중심 개발자가 되기 위한 팁
사용자가 있는 제품을 개발하고 있다면, 제품 중심 마인드를 키우는 데 도움이 되는 몇 가지 팁이 있다. 이러한 팁은 제품 중심 개발자로 성장하는 데 효과적인 것으로 보인다.
(아티클 원문에서 내가 깊게 공감하는 것만 뽑아 봤다. 약간 수정포함)

1. 회사의 존재 이유를 이해하기. 
비즈니스 모델은 무엇인가? 어떻게 수익을 창출하나? 어떤 부분이 가장 이윤이 많으며 어떤 부분이 가장 확장되고 있나? 왜 그럴까?

2. PM과 좋은 관계를 구축하기. 
대부분의 PM은 개발자를 멘토링할 기회에 기뻐한다. (말걸어주면 기쁘다.)
개발자들이 제품에 관심을 가지면 자신의 역량을 확장할 수 있다. 물론 제품 관련 질문을 많이 하기 전에 좋은 관계를 구축하고, PM에게 제품에 더 많이 관여하고 싶다고 분명히 전하는 것이 좋다.

3. 타당한 제안 제시하기. 
비즈니스, 제품 및 이해관계자에 대한 좋은 이해를 갖게 된 후에는 제품 개발에 대한 이니셔티브를 가져갈 수 있다. 

4. PM(기획자)에게 피드백 자주 요청하기. 
훌륭한 제품 중심 개발자가 되기 위해서는 기존의 엔지니어링 기술에 더해 제품 기술을 개발해야 한다. 제품 기술에 대한 당신의 성과를 어떻게 평가하는지 가장 잘 아는 사람은 PM(기획자)이다. 제품 제안이 얼마나 가치 있는지에 대한 피드백을 얻고, 추가 성장을 위한 아이디어를 얻기 위해 PM에게 연락한다.

물론 저런 것이 적성에 맞지 않고 도저히 힘든 사람들도 있기에 이 세상 모든 개발자에게 강요할 수는 없을 것이다. 어디까지나 내가 맞는 직군, 내게 맞는 회사나 조직, 프로젝트에 맞춰서 일하면 될 것이다. 내 의견이 반영 되는 것이나 주도적으로 일하는 것이 버거운 사람도 있는 것일테니 말이다. (그렇다면 프리랜서나 SI/SM을 추천한다. 불안정하지만, 오히려 월 단가는 훨씬 더 높다.)

커리어를 건강하게, 차곡차곡 쌓아 올라가고 싶은 사람에게는 제품개발 사고능력이 필수라고 본다. 나는 그런 개발자와 함께 일하고 싶다. 

원문: https://eopla.net/magazines/6578

"유튜브는 원래 데이팅 어플이었다?" 스타트업 피봇 사례 39가지

PM(기획자)인 내가 함께 일하기 좋아하는 개발자는

안녕하세요, 뱅크샐러드 코어 백엔드 팀의 정겨울입니다. 뱅크샐러드는 백엔드 서비스에 다양한 언어를 사용하고 있습니다. 특히 지난 4년간은 Go와 gRPC...

뱅크샐러드 Go 코딩 컨벤션 | 뱅크샐러드

뱅크샐러드는 백엔드 서버 언어로 Go 를 가장 활발하게 사용하고 있습니다. 일관성 있는 서비스 코드 베이스를 만들기 위한 노력으로 코딩 컨벤션을 잘 정리해두고 있는데요, 이번에 회사 블로그 글로 포스트되어서 공유합니다. 

Go에 관심이 있으시다면 읽어보시면 좋을 것 같아요.

> 시간이 흐르고, 조직의 규모가 변하며, 구성원이 바뀔수록 코드 일관성 그 이상으로 여러 코드 베이스의 개념적 일관성을 유지하기 위한 노력이 필요합니다. 이 글에선 주로 코드 일관성 측면에서 뱅크샐러드가 어떤 Go 코딩 컨벤션을 따르며 권장하는지 얘기해보고자 합니다.

https://blog.banksalad.com/tech/go-best-practice-in-banksalad/

Banksalad

뱅크샐러드의 Go 언어 코딩 컨벤션

Developers and Open Source authors now have a massive amount of services offering free tiers, but it can be hard to find them all to make informed decisions.

Free for Developers

사이드 프로젝트! 생각만 해도 가슴이 뛰는 분들 많으실텐데요! 가슴이 뛰는 이유로는..... 프로젝트 진행의 즐거움과 유저들과의 만남도 있겠지만... !! 개인적으로는 비용에 대한 부담이 큰 것 같아요. 

사이드 프로젝트인만큼 투자할 수 있는 시간과 에너지가 한정되어있는데, 그러자니 SaaS, PaaS를 찾아보게 되고, 그만큼 비용이 늘어날 수 밖에 없는데요. 

사이드 프로젝트는 하고 싶지만 비용은 줄이고 싶어! 하시는 분들을 위한 서비스들을 모아놓은 곳이 있어 공유합니다. 

클라우드, 이벤트 통계, API, BaaS, CI/CD, 디자인 등등 다양한 부분의 무료 서비스들을 한번에 찾아볼 수 있습니다! 

https://free-for.dev

Free-for

사이드 프로젝트를 위한 무료 서비스들

Airbnb를 실패의 위기에서 구한 방법과 디자이너를 향한 그의 조언

브라이언 체스키가 Airbnb에서 PM을 없애버린 이유

"A/B 테스트를 그만두고 스스로 만족할 때까지 프로덕트를 다듬고, 자랑스럽다 말할 수준이 되면 다른 사람에게 공개하라"

여러모로 굉장히 흥미롭네요. 에어비앤비 CEO 브라이언 체스키가 디자인 중심의 경영을 선언하고 PM 롤을 없앴군요? 

체스키는 회사가 커질수록 서비스의 변화가 줄어들고 비용만 증가하는 문제를 두고 고민하다가 CEO가 제품 개발에 깊이 참여하는 애플의 경영 방식을 따르기로 했다고 합니다(feat. 조너선 아이브). 이게 '디자인 중심의 경영'이라고 선언한 방식의 요지이고, 하위 부서들의 로드맵 폐지하고 본인이 직접 컨트롤 가능한 소수의 핵심 사업만 추진한다네요.

그럼 PM은 어떻게 됐냐. 기존 조직을 기능 조직(디자인, 개발, 마케팅)으로 나누고 PM직무는 기존 직무와 마케팅 직무를 결합하여 ‘프로덕트 마케터’로 이름을 바꾼 뒤 디자이너의 권한을 강화했다고 합니다. 

'PM은 쓸모 없고 디자이너가 짱이야!' 했다기보단 제품을 만들어갈 때 역할과 균형을 꽤 크게 조율했다고 보는 게 맞을 거 같은데요.. 근데 왜 때문에 저러는지 알 거 같기도 합니다.

연중 80%의 업데이트는 상반기/하반기 나누어 2번만 크게 진행하고, A/B테스트는 꼭 필요한 경우에만 진행하는 걸로(A/B테스트 맛집이었는데 서운..) 정하면서 문제와 제품을 깊이 들여다볼 시간을 만들었고 체스키 스스로도 기업 경영보다는 제품에 시간을 쏟는 중이라고 합니다.

재밌네요! 흥미진진. 
저런 환경은 어떨지.. 한 번 경험해 보고 싶습니다.

차우진의 TMI.FM

🚫PM을 없앤 에어비앤비

오늘 영상의 주인공은 고위드 김항기 대표님입니다. 김항기 대표님의 이력은 독특하다는 표현으로는 부족할 정도인데요. 그는 대우증권 지점영업직으로 시작해 법인영업, 애널리스트, 펀드매니저를 거쳐 자산운용사를 설립하는 등 금융인으로서 가능한 모든 커리어를 섭렵하며 최고의 자리에 올랐습니다. 하지만 4년 전부터는 스타트업을 비롯한 혁신 기업에게 혁신적인 금융을 제공한다는 비전을 주창하며 고위드의 대표를 맡았는데요.

영업사원에서 대표가 되기까지, 20년 차 투자자의 인생 철학 | 고위드 김항기

1. “질문이 모호한 것은 (진짜) 문제가 뭔지 모른다는 뜻이고, (뭐가 정말 문제인지 모르니까) 불안해서 그 불안함을 해결하려고 그냥 주위를 찾아다니는 거예요. (나도 모르는 내 문제를 누군가가 해결해주길 바라면서 말이죠)”

2. “(근데) 이 패턴을 가지고 있으면 문제 해결이 (절대) 안 돼요"

3. “(이건) 선배님이 저한테 알려주신 거예요. 제가 어느 날 가서 무슨 질문을 했더니 저한테 이렇게 말하시더라고요. “네 불안에 내 시간 쓸 생각 없어. 끝까지 실행해봐, 그러면 질문이 구체적으로 변할 거야. 그래도 해결 안 되면 그때 찾아와"라고”

4. “불안할 때 한 가지 일을 더 실행해보고, 더 실행해보고, 더 실행해보는 것들, 그런 것들을 통해서 저도 굉장히 많이 배웠고, 그래서 제 인생의 슬로건에는 이런 게 있긴 해요. ‘까리하면 제일 어려운 길로’”

5. “최소한 그렇게 살면 (쉽게) 죽진 않거든요. 그러니까 ‘헷갈리면 아 몰라 제일 어려운 길로 가’, 그러면 진짜 죽지는 않아요. 근데 (금융 시장에서 오래 있으면서) 헷갈릴 때 쉬운 길을 택해 버릇하면 반드시 죽는다는 건 제가 알고 있어요"

6. “(그러니) 정말 힘드시더라도, 장기적으로 옳은 길을 택하시는 게 가장 빠른 길이다(라는 걸), 많은 선배 경영자들과 훌륭한 경영인들의 책을 보고 느끼시고, 어떤 방향이 장기적으로 성장할 수 있는 길인지 한 번 생각해보시면 어떨까라는 생각을 가지고 있습니다"

- 고위드 김항기 대표

https://www.youtube.com/watch?v=guETTiacPnE&t=902s

’질문이 모호하다’는 건

01. 며칠 전 절친한 분의 의뢰로 네이밍 작업을 하나 하게 되었습니다. 브랜딩 일을 한다고 하면 자주 받는 의뢰 중의 하나인데, 가장 좋아하는 일이기도 하지만 동시에 가장 어렵다고 생각하는 일이 바로 이름 짓기, 이 네이밍입니다. 

02. 네이밍이 어려운 이유는 결과론적 시각이 가장 크게 작용하는 부분이기 때문입니다. 누구나 아는 위대한 제품이나 서비스, 브랜드로 성장한 다음에야 '저 브랜드는 이름부터 근사해'라는 평을 듣게 되지만, 사실 그 이름을 처음 들이밀었을 때는 반신반의하거나 '이게 뭐냐'는 식의 반응을 보인 사람들이 훨씬 많을 거거든요. 
하물며 큰 성공을 거둔 뒤에도 '솔직히 이름이 뭐 얼마나 대단한 역할을 했냐. 성공하고 나니까 좋아 보이는 거지'라는 내부의 비판을 들을 때도 있습니다. 

03. 동의가 되는 부분도 있고 아닌 부분도 있지만 오늘 하고 싶은 이야기는 네이밍의 역할에 관한 것은 아닙니다. 오히려 좋은 이름을 짓기 위해서는 (그 수많은 핍박과 의심과 결과론적 시각의 집중포화를 맞음에도 불구하고) 어떤 노력과 관심을 기울여야 하는지 현실적인 방법들에 대한 이야기가 될 것 같네요. 

04. 네이밍에 정답이 없다는 사실은 누구나 다 알고 계실 겁니다. 어쩔 땐 저도 수십 개에 해당하는 리스트를 만들어 가슴에 품고 다니면서도 맘에 드는 녀석이 하나 없어 끙끙 않을 때가 많거든요. 이번에 지인이 의뢰하신 네이밍도 마찬가지였습니다. 개인적으로는 비업무의 영역이지만 또 그분에게는 나름의 중요한 의미가 있는 프로젝트이니 대충 할 수도 없는 노릇이죠. 때문에 요 며칠간은 매일 아침마다 몇 개의 단어를 입으로 발음해 보고 운전하고 지나가다 눈에 밟히는 간판 위에 그 단어를 얹어보기도 하고, 만나는 사람에게 '이런 유형의 발음이 어떻게 들리시나요?' 같은 질문들을 해대며 살았던 것 같습니다. 

05. 그런 노력들 속에서 이번에도 깨달은 것 한 가지는 네이밍이라는 분야야말로 지나치게 깊이 파고들어갈 것이 아니라 끊임없이 지우고, 버리고, 비우고를 반복하며 먼 시각에서 흐린 눈(?)으로 바라봐야 한다는 것이었습니다.
이게 무슨 말인고 하면, 네이밍을 일반적인 기획이나 브랜딩처럼 기존의 지식과 정보 위로 쌓고 또 쌓아가며 다듬는 방법을 택하면 오히려 역효과가 날 수 있다는 의미입니다. 

06. 그래픽 디자이너로 시작해 90~2000년대 전 세계 기업의 로고를 수도 없이 많이 디자인 한 폴 랜드(Paul Rand)라는 인물을 아실 겁니다. 그런 폴 랜드가 남긴 유명한 어록이 하나 있죠. 
'좋은 이름을 만나면 로고 작업의 절반은 이미 끝나 있는 것과 마찬가지다. 좋은 이름은 탄생과 동시에 사람들의 일상 속으로 깊숙이 파고들어 그 자체로 브랜드가 되기 때문이다. 간결하지만 명확한 이름을 만나면 로고는 10초 만에도 그린다.'

07. 그래서 저는 네이밍을 할 때 나름의 원칙들이 몇 가지 있습니다. (물론 이 원칙은 자주 깨지기도 하지만요... 일단 저 스스로를 다독이는 무기인 셈이죠.)

첫째, 발음 자체가 되도록 간결하고 쉬울 것 
둘째, 의미 파악을 위한 depth가 깊지 않을 것 
셋째, 유행의 흐름을 되도록 덜 타게 할 것 
넷째, 다른 이름과 헷갈리게 만들지 않을 것 
다섯째, 후발주자라는 인식을 절대 심어주지 말 것 

08. 이렇게 보면 사실 위 다섯 가지 원칙은 하나의 문장으로 정리가 되는 것 같습니다.
바로 '쉽고 간결하되 누군가를 의식해서 만든 것처럼 보이지 않아야 한다'라고 말이죠. 그리고 저는 이것이야말로 네이밍이자 브랜딩을 하는 가장 본질적인 노력이라고도 생각합니다. '우리다움을 가장 명확하게 드러내되, 그것이 유일하고 특별하고 소중하게 하는 것'이 바로 브랜드를 만드는 첫 번째 이유가 될 테니 말이죠. 

09. 그래서 혹시라도 업무를 하시는 중에 네이밍을 해야 할 일이 있다면 그저 필 꽂히는 느낌대로 여러 단어를 조합해 볼 게 아니라 방망이 깎는 노인처럼 마치 그 브랜드가 그 이름으로 런칭했다고 가정하고 계속해서 가상현실에 접목해 보는 노력을 하는 게 중요합니다. 그러면서 불필요한 것을 덜어내고 더 명확하게 드러낼 수 있는 게 없을지 하나씩 체크하는 게 좋은 이름을 만드는 진정 어린 노력이 아닐까 싶거든요. 

10. 네이밍 업무를 할 때면 수명이 몇 년씩은 단축되는 듯한 느낌이지만, 좋은 이름 하나를 만들고 나면 그 뿌듯함과 벅참은 다른 무엇보다도 오래 보존됩니다. 누군가는 이름을 짓는다는 그 무게감이 버거워 굳이 맡으려고 하지 않을 때도 많지만 개인적으로는 한 번쯤 과감히 도전해 봐도 좋은 영역이라고 생각합니다. 다른 존재에게 이름을 부여한다는 행위는 기존에 우리가 하던 일과는 또 전혀 다른 책임감과 사명감을 안겨다 주기 때문이죠. 그래서 저는 이름을 짓는 일을 참 애정하고 더 잘하고 싶은가 봅니다.

이름을 짓는다는 것 : '네이밍'을 위한 현실적인 고민과 노력

Meta에 오신 것을 환영합니다 | Meta

Facebook

프로덕트 매니저/서비스 기획

한주현

서비스기획/관리

강유진

애니메이션 PD

드래곤라퓨타

3D 애니메이션 제작업계 종사자입니다. 애니메이션을 중심으로 재미있는 콘텐츠 이야기를 공유합니다.

마케터

1호 

치기공을 전공했지만 지금은 마케터. 첫 직장이었던 병원에서 센스가 없다며 매일 혼난 탓에 센스를 기르려 읽은 책에서 마케팅의 재미를 느껴 마케터의 꿈을 키웠다. 마케팅을 잘하고 싶어서 일하면서 듣는 모든 이야기를 무조건 받아 적었고, 그 촘촘한 기록을 바탕으로 내 글을 쓰기 시작했다. 대전의 작은 치과에서 병원 마케터로 일하다 2014년에 배달의민족에 합류해 6년 동안 브랜드 마케터로 일했다. 사람들에게 즐거움을 주고, 무언가를 함께하는 데서 기쁨을 느낀다. 좋아하는 것을 좋아한다고 외칠 때 무엇이든 잘한다고 믿는다.

이승희

유튜브

블로그

인스타그램

직접 수집한 영감들이 누군가에게 동력의 씨앗이 되기를 바라며 '영감노트 @ins.note' 계정을 운영하고 있습니다. <일놀놀일>, <별게 다 영감>, <기록의 쓸모>, <브랜드 마케터들의 이야기(공저)>를 썼습니다.
#마케터 #독서 #블로거 #브랜드마케팅

댓글 0