Airbnb를 실패의 위기에서 구한 방법과 디자이너를 향한 그의 조언

브라이언 체스키가 Airbnb에서 PM을 없애버린 이유

"A/B 테스트를 그만두고 스스로 만족할 때까지 프로덕트를 다듬고, 자랑스럽다 말할 수준이 되면 다른 사람에게 공개하라"

여러모로 굉장히 흥미롭네요. 에어비앤비 CEO 브라이언 체스키가 디자인 중심의 경영을 선언하고 PM 롤을 없앴군요? 

체스키는 회사가 커질수록 서비스의 변화가 줄어들고 비용만 증가하는 문제를 두고 고민하다가 CEO가 제품 개발에 깊이 참여하는 애플의 경영 방식을 따르기로 했다고 합니다(feat. 조너선 아이브). 이게 '디자인 중심의 경영'이라고 선언한 방식의 요지이고, 하위 부서들의 로드맵 폐지하고 본인이 직접 컨트롤 가능한 소수의 핵심 사업만 추진한다네요.

그럼 PM은 어떻게 됐냐. 기존 조직을 기능 조직(디자인, 개발, 마케팅)으로 나누고 PM직무는 기존 직무와 마케팅 직무를 결합하여 ‘프로덕트 마케터’로 이름을 바꾼 뒤 디자이너의 권한을 강화했다고 합니다. 

'PM은 쓸모 없고 디자이너가 짱이야!' 했다기보단 제품을 만들어갈 때 역할과 균형을 꽤 크게 조율했다고 보는 게 맞을 거 같은데요.. 근데 왜 때문에 저러는지 알 거 같기도 합니다.

연중 80%의 업데이트는 상반기/하반기 나누어 2번만 크게 진행하고, A/B테스트는 꼭 필요한 경우에만 진행하는 걸로(A/B테스트 맛집이었는데 서운..) 정하면서 문제와 제품을 깊이 들여다볼 시간을 만들었고 체스키 스스로도 기업 경영보다는 제품에 시간을 쏟는 중이라고 합니다.

재밌네요! 흥미진진. 
저런 환경은 어떨지.. 한 번 경험해 보고 싶습니다.

조쉬의 프로덕트 레터

🚫PM을 없앤 에어비앤비

일에 진심인 사람들을 위한 트렌드&커리어 콘텐츠

④협업_최소현 네이버 디자인·마케팅 총괄이 질문노트 만든 이유

이거 너무 멋진 말이네요.

"지금껏 해온 일이 다양한 가치를 묶어서 새로운 가치를 만들어내는 거였으니, 이건 내가 할 수 있겠다. 그렇게 스스로 다짐했죠."

최소현 네이버 디자인/마케팅 부문장님의 인터뷰입니다.

folin.co

"같은 말을 다른 언어로 하는 사람들을 연결하러 갔다"

제품 개발 프레임워크 중엔 디자인 씽킹(Design Thinking) - 린 스타트업(Lean Startup) - 애자일(Agile) 모델이 있습니다. 가트너에서 처음 정리했고 저는 다양한 사람들의 고민과 수많은 기업들의 역사가 담겨 있는 이 모델을 좋아해요.

제품이 만들어지는 전체 과정을 아래와 같이 설명하는데요,
1. 공감(Empathize)
2. 문제 정의(Define)
3. 아이디어(Ideate)
4. 실험(Experiments)
5. 학습(Learn)
6. 할 일 목록(Product Backlog)
7. 스프린트 계획(Sprint Planning)
8. 스트린트 실행(Sprint Execution)
9. 출시 가능 결과물(Shippable Increment)
10. 스프린트 회고(Sprint Review)

여기서 프로토타입이 나오는 시점은 언제일까요?
이건 쉽게 '4. 실험'을 떠올릴 수 있어요. 

그럼 MVP를 만드는 시점이 언제일까요? 
이때 MVP도 '4. 실험'이라고 생각하는 경우가 많을 거예요.
그런데 MVP는 '9. 출시 가능 결과물'에서 나와야 해요. 

✅ 프로토타입은 아이디어 검증과 문제 해결 가능한 제품을 발견하기 위한 목적으로 만들어진, 시장에 판매할 수 없는 '도구'입니다.
✅ MVP는 최소 기능으로 압축돼 있으나 판단에 따라 시장에 내놓을 수도 있는, 문제 해결력이 있는 '제품'입니다.

물론 MVP를 시작으로 제품을 만들어나가면서 다시 프로토타입을 필요로 하게 되기도 하고, 문제 정의를 다시 하는 일도 많습니다. 하지만 프로토타입을 시장에 내놓을 수준으로 만들려고 하는 일이 많아서 이 부분을 설명하고 싶었습니다.

*첨부한 그림은 가트너에서 그린 걸 제가 살짝 변형 한 것이고요,
*커리어리에도 계신 김영욱님이 브런치에 이 모델을 잘 비평하신 글이 있으니 이것도 이해에 도움이 되실 거 같아요! https://brunch.co.kr/@ywkim36/27

🌀프로토타입은 MVP가 아니다

저는 현재 6번째 회사를 아주 만족하면서 다니고 있습니다. UX 리서치라는 일을 하는 직업인으로 새로운 직장을 고를 때에 가장 중요하게 생각한 것은 자율성, 연결성, 유효성 3가지였습니다. 내가 그동안 해왔던 일들을 돌아보았을 때 가장 즐겁게 했던 것들의 공통점을 찾아내고 그것을 원하는 방식으로 해낼 수 있는 자율성이 있는가? 내가 배우고 싶은 사람들에게 응원을 받으며 합류할 수 있는가? 내가 가진 소프트스킬과 하드스킬을 적용하면 사용자와 시장에 임팩트를 만들 수 있을까? 이 세 가지 고민을 지나 새로운 조직에 합류했습니다. 이 과정에서 여러 스타트업, 기업, 창업가들과 커피챗을 했고 인터뷰를 진행했습니다. 인터뷰어로 쌓았던 경험과 최근 인터뷰이로 여러 사람들을 만나면서 든 생각을 정리했습니다.

[ 큐레이터의 문장 🎒 ]

1️⃣ 인터뷰어는 여러분에게 관심이 있습니다

인터뷰어가 서류, 과제 또는 여러분의 커리어, 경험을 보고 시간을 내서 만나려고 했을 때에는 어떤 마음이었을까요? 함께 일하고 싶은 사람을 만나고 싶은 마음, 당장 자신이 해야 하는 일을 함께 할 수 있는 의지할 만한 동료를 찾고 싶은 마음을 갖고 미팅에 들어왔을 겁니다. 너무 긴장이 되거나, 상대방이 디자인 크리틱을 할 것 같은 마음이 들 때에는 "저 사람은 내가 합격하기를 바라는 사람이야"라는 낙관주의를 스스로에게 허락해도 괜찮습니다.

2️⃣ 지원한 회사, 직무와 무관한 사이드 프로젝트 이야기는 하지 마세요

인터뷰 시간은 짧고 서로 묻고 싶은 것이 많습니다. 인터뷰와 무관한 이야기는 최소화하는 것이 좋습니다. 모두 강점과 약점을 갖고 있는데, 강점을 전달하기도 모자란 시간을 사용하면서 인터뷰와 관련이 떨어지는 이야기를 길게 할 필요는 없습니다. 사이드 프로젝트를 이야기할 때에는 1) 도메인(산업군)과 관련이 있거나 2) 직무와 관련이 있거나 3) 현재 지원한 회사가 처한 문제를 해결하는데 도움이 되는 인사이트가 있는지 따져봐야만 합니다.

3️⃣ 자기소개를 할 때에는 즐거운 이야기를 포함하세요

상대방을 사용자라고 생각하면 쉽습니다. 수많은 인터뷰를 해야 하는 인터뷰어 입장에서는 진지하고 안타까운 이야기보다 즐겁고 새로운 이야기에 귀를 기울입니다. 이직하는 이유를 솔직하게 이야기하는 것도 방법이겠지만 재직하고 있는 회사에 대한 비판, 함께 일하는 동료에 대한 부정적인 평가는 인터뷰 시간을 어둡게 만듭니다. 솔직함은 프로젝트에 대한 이야기를 할 때 부족했던 점, 개선하려고 했던 점, 그때는 몰랐지만 이제는 알게 된 점에 대해서 회고하면서 이야기해도 충분합니다.

https://www.redbusbagman.com/beforeinterview/

RBBM - 레드버스백맨

⟪인터뷰를 앞둔 모두에게 보내는 3가지 마음⟫

많은 도움 얻고갑니다. 감사합니다😊

농부들을 위한 새로운 용도로 재활용이 되는 맥주병.
콜롬비아 맥주 브랜드가 지역 사회에 기여하는 특별한 방법 
https://bit.ly/3t1rYTo

Explore the power of fine-tuning LLMs for model optimization. Learn about techniques, considerations, and when not to use LLM fine-tuning.

Fine-tuning LLMs 101 | Data Science Dojo

LLM(대규모 언어 모델)을 파인튜닝하는 것은 관련 데이터를 학습시켜 특정 작업에 맞게 모델의 매개변수를 조정하는 것으로, 모델 성능을 향상시키는 강력한 기법입니다.

🍀 LLM 파인튜닝(fine-tuning)
파인튜닝(fine-tuning)은 특정 작업에 맞게 LLM의 파라미터를 조정하는 프로세스입니다. 이는 작업과 관련된 데이터 세트에 대한 모델 학습을 통해 수행됩니다. 필요한 파인튜닝(fine-tuning)의 양은 작업의 복잡성과 데이터 세트의 크기에 따라 달라집니다.

LLM을 파인튜닝(fine-tuning)하는 방법에는 여러 가지가 있습니다. 한 가지 일반적인 접근 방식은 지도 학습을 사용하는 것입니다. 여기에는 모델에 레이블이 지정된 데이터 세트를 제공하는 것이 포함되며, 각 데이터 포인트는 입력과 출력의 쌍으로 구성됩니다. 모델은 손실 함수를 최소화하여 입력을 출력에 매핑하는 방법을 학습합니다.

LLM을 파인튜닝(fine-tuning)하는 또 다른 접근 방식은 강화 학습을 사용하는 것입니다. 여기에는 원하는 출력을 생성하는 데 대한 보상 신호를 모델에 제공하는 것이 포함됩니다. 모델은 보상 신호를 최대화하여 원하는 출력을 생성하는 방법을 학습합니다.

이러한 어려움에도 불구하고 기초 LLM을 파인튜닝(fine-tuning)하는 것은 특정 작업에서 LLM의 성능을 개선할 수 있는 유망한 접근 방식입니다. 대규모 데이터 세트와 컴퓨팅 리소스의 가용성이 증가함에 따라 파인튜닝(fine-tuning)이 더욱 보편화될 가능성이 높습니다.

🍀 LLM을 위한 파인튜닝(fine-tuning) 기술
파인튜닝(fine-tuning)은 특정 작업에 맞게 LLM의 파라미터를 조정하는 프로세스입니다. 이는 작업과 관련된 데이터 세트에 대한 모델 학습을 통해 수행됩니다. 필요한 파인튜닝(fine-tuning)의 양은 작업의 복잡성과 데이터 세트의 크기에 따라 다릅니다. LLM에는 용도 변경과 전체 파인튜닝(fine-tuning)이라는 두 가지 주요 파인튜닝(fine-tuning) 기술이 있습니다.

1. 용도 변경
용도 변경은 원래 학습된 작업과 다른 작업에 LLM을 사용하는 기법입니다. 예를 들어 텍스트 생성을 위해 학습된 LLM을 감성 분석에 사용할 수 있습니다.

LLM의 용도를 변경하려면 먼저 수행하려는 작업과 관련된 입력 데이터의 특징을 식별해야 합니다. 그런 다음, 이러한 특징을 원하는 출력에 매핑하는 방법을 학습할 수 있는 분류기 모델에 LLM의 임베딩 레이어를 연결해야 합니다. 용도 변경은 전체 파인튜닝(fine-tuning)보다 계산 비용이 적게 드는 파인튜닝(fine-tuning) 기법입니다. 하지만 동일한 수준의 성능을 달성할 가능성은 낮습니다.

2. 전체 파인튜닝(fine-tuning)
전체 파인튜닝(fine-tuning)은 수행하려는 작업과 관련된 데이터 데이터 세트에 대해 전체 LLM을 학습시키는 기법입니다. 이는 가장 계산 비용이 많이 드는 파인튜닝(fine-tuning) 기법이지만 최상의 성능을 얻을 가능성이 가장 높은 기법이기도 합니다.

LLM을 완전히 파인튜닝(fine-tuning)하려면 수행하려는 작업에 대한 입력 및 출력의 예가 포함된 데이터 데이터 집합을 만들어야 합니다. 그런 다음 지도 학습 알고리즘을 사용하여 이 데이터 세트에 대해 LLM을 훈련시켜야 합니다. 파인튜닝(fine-tuning) 기술의 선택은 수행하려는 특정 작업과 사용 가능한 리소스에 따라 달라집니다. 계산 리소스가 부족하다면 용도 변경을 고려할 수 있습니다. 그러나 최상의 성능을 원한다면 LLM을 완전히 파인튜닝(fine-tuning)해야 합니다.

🍀 비지도 파인튜닝(fine-tuning)과 지도 파인튜닝(fine-tuning) LLM 비교
대규모 언어 모델(LLM)은 텍스트와 코드의 방대한 데이터 세트에 대해 사전 학습됩니다. 이를 통해 텍스트 생성, 번역, 질의응답 등 다양한 작업을 학습할 수 있습니다. 그러나 LLM은 파인튜닝(fine-tuning) 없이는 특정 작업에 적합하지 않은 경우가 많습니다.

파인튜닝(fine-tuning)은 특정 작업에 맞게 LLM의 파라미터를 조정하는 프로세스입니다. 이는 작업과 관련된 데이터 세트에 대한 모델 학습을 통해 수행됩니다. 필요한 파인튜닝(fine-tuning)의 양은 작업의 복잡성과 데이터 세트의 크기에 따라 다릅니다.LLM의 파인튜닝(fine-tuning)에는 비지도 및 지도의 두 가지 주요 유형이 있습니다.

🍎 비지도 파인튜닝(fine-tuning)
비지도 파인튜닝(fine-tuning)은 레이블이 포함되지 않은 데이터 데이터 세트에 대해 LLM을 학습시키는 기법입니다. 즉, 모델은 각 입력에 대해 올바른 출력이 무엇인지 알지 못합니다. 대신 모델은 시퀀스의 다음 토큰을 예측하거나 데이터 세트의 텍스트와 유사한 텍스트를 생성하는 방법을 학습합니다.

비지도 파인튜닝(fine-tuning)은 지도 파인튜닝(fine-tuning)보다 계산 비용이 적게 드는 파인튜닝(fine-tuning) 기법입니다. 그러나 동일한 수준의 성능을 달성할 가능성도 낮습니다.

🍎 지도 파인튜닝(fine-tuning)
지도 파인튜닝(fine-tuning)은 레이블이 포함된 데이터 데이터 세트에 대해 LLM을 학습시키는 기법입니다. 즉, 모델은 각 입력에 대해 올바른 출력이 무엇인지 알고 있습니다. 모델은 손실 함수를 최소화하여 입력을 출력에 매핑하는 방법을 학습합니다.

지도 파인튜닝(fine-tuning)은 비지도 파인튜닝(fine-tuning)보다 계산 비용이 더 많이 드는 파인튜닝(fine-tuning) 기법입니다. 그러나 최상의 성능을 얻을 가능성도 더 높습니다.

파인튜닝(fine-tuning) 기법의 선택은 수행하려는 특정 작업과 사용 가능한 리소스에 따라 달라집니다. 계산 리소스가 부족하다면 비지도 파인튜닝(fine-tuning)을 고려할 수 있습니다. 그러나 최상의 성능을 원한다면 LLM의 파인튜닝(fine-tuning)을 감독해야 합니다.

🍀 인간 피드백으로부터의 강화 학습(RLHF) LLM을 위한 파라미터 효율적 파인튜닝(fine-tuning)(PEFT)
LLM을 파인튜닝(fine-tuning)하는 데는 감독된 파인튜닝(fine-tuning)과 인간의 피드백을 통한 강화 학습(RLHF)이라는 두 가지 주요 접근 방식이 있습니다.

1. 감독형 파인튜닝(fine-tuning)
지도 파인튜닝(fine-tuning)은 레이블이 포함된 데이터 데이터 세트에 대해 LLM을 훈련시키는 기법입니다. 즉, 모델은 각 입력에 대해 올바른 출력이 무엇인지 알고 있습니다. 모델은 손실 함수를 최소화하여 입력을 출력에 매핑하는 방법을 학습합니다.

2. 인간 피드백을 통한 강화 학습(RLHF)
RLHF는 사람의 피드백을 사용하여 LLM을 파인튜닝(fine-tuning)하는 기법입니다. 기본 아이디어는 LLM에 프롬프트를 주고 출력을 생성하는 것입니다. 그런 다음 사람에게 출력에 대한 평가를 요청합니다. 이 평가는 더 높은 품질의 출력을 생성하기 위해 LLM을 파인튜닝(fine-tuning)하는 신호로 사용됩니다.

RLHF는 감독 파인튜닝(fine-tuning)보다 더 복잡하고 비용이 많이 드는 파인튜닝(fine-tuning) 기술입니다. 하지만 정의하기 어렵거나 라벨링된 데이터가 충분하지 않은 작업에 더 효과적일 수 있습니다.

🍀  매개변수 효율적 파인튜닝(fine-tuning)(PEFT)
PEFT는 파인튜닝(fine-tuning) 중에 업데이트해야 하는 매개변수의 수를 줄이기 위한 일련의 기술입니다. 이는 더 작은 데이터 집합을 사용하거나, 더 간단한 모델을 사용하거나, 낮은 순위 적응(LoRA)이라는 기술을 사용하여 수행할 수 있습니다.

LoRA는 저차원 행렬을 사용하여 다운스트림 작업의 공간을 표현하는 기법입니다. 그런 다음 전체 LLM 대신 이 행렬을 파인튜닝(fine-tuning)합니다. 이를 통해 파인튜닝(fine-tuning)에 필요한 계산량을 크게 줄일 수 있습니다.

PEFT는 LLM을 파인튜닝(fine-tuning)하는 데 유망한 접근 방식입니다. 파인튜닝(fine-tuning)을 더 저렴하고 효율적으로 수행할 수 있으므로 더 많은 사용자가 더 쉽게 접근할 수 있습니다.

🍀 LLM 파인튜닝(fine-tuning)을 사용하지 않는 경우
대규모 언어 모델(LLM)은 텍스트와 코드의 방대한 데이터 세트에 대해 사전 학습됩니다. 이를 통해 텍스트 생성, 번역, 질의응답 등 다양한 작업을 학습할 수 있습니다. 하지만 LLM을 파인튜닝(fine-tuning)하는 것이 항상 필요하거나 바람직한 것은 아닙니다.

다음은 LLM 파인튜닝(fine-tuning)을 사용하지 않는 몇 가지 경우입니다:

👉 모델을 파인튜닝(fine-tuning)할 수 없는 경우. 일부 LLM은 파인튜닝(fine-tuning)을 허용하지 않는 API(애플리케이션 프로그래밍 인터페이스)를 통해서만 사용할 수 있습니다.
👉 모델을 파인튜닝(fine-tuning)할 데이터가 충분하지 않습니다. LLM을 파인튜닝(fine-tuning)하려면 레이블이 지정된 대량의 데이터 세트가 필요합니다. 데이터가 충분하지 않으면 파인튜닝(fine-tuning)을 통해 좋은 결과를 얻지 못할 수 있습니다.
👉 데이터는 끊임없이 변화합니다. LLM을 사용하는 데이터가 지속적으로 변경되면 파인튜닝(fine-tuning)이 이를 따라잡지 못할 수 있습니다. 특히 원어의 어휘와 문법이 시간이 지남에 따라 변할 수 있는 기계 번역과 같은 작업의 경우 더욱 그렇습니다.
👉 애플리케이션은 동적이고 상황에 민감합니다. 경우에 따라 LLM의 출력은 사용자 또는 상황의 특정 컨텍스트에 맞게 조정되어야 합니다. 예를 들어 고객 서비스 애플리케이션에서 사용되는 챗봇은 고객의 의도를 파악하고 그에 따라 응답할 수 있어야 합니다. 이러한 유형의 애플리케이션에 맞게 LLM을 파인튜닝(fine-tuning)하려면 챗봇이 사용되는 다양한 컨텍스트를 캡처하는 레이블이 지정된 대규모 데이터 세트가 필요하기 때문에 어려울 수 있습니다.

이러한 경우에는 다음과 같은 다른 접근 방식을 사용하는 것을 고려할 수 있습니다:

👉 더 작고 덜 복잡한 모델 사용. 더 작은 모델은 훈련하고 파인튜닝(fine-tuning)하는 데 계산 비용이 덜 들며 일부 작업에는 충분할 수 있습니다.
👉 전이 학습 접근 방식 사용. 전이 학습은 다른 작업에 대해 학습된 모델을 사용하여 새 작업에 대한 모델을 초기화하는 기법입니다. 이 방법은 모델이 더 빨리 학습하는 데 도움이 될 수 있으므로 새 작업을 위해 모델을 훈련하는 데 더 효율적인 방법이 될 수 있습니다.
👉 인컨텍스트 학습 또는 검색 증강 사용. 컨텍스트 내 학습 또는 검색 증강은 추론 시간 동안 LLM에 컨텍스트를 제공하는 기법입니다. 이를 통해 LLM이 보다 정확하고 관련성 높은 결과를 생성하는 데 도움이 될 수 있습니다.

🍀  마무리
결론적으로, LLM을 파인튜닝(fine-tuning)하는 것은 이러한 모델을 특정 작업에 맞게 조정할 수 있는 강력한 도구입니다. 용도 변경 및 전체 파인튜닝(fine-tuning)을 포함하여 그 뉘앙스와 옵션을 이해하면 성능을 최적화하는 데 도움이 됩니다. 감독형 파인튜닝(fine-tuning)과 비감독형 파인튜닝(fine-tuning) 중 어떤 것을 선택할지는 리소스와 작업의 복잡성에 따라 달라집니다. 또한 인간 피드백을 통한 강화 학습(RLHF)과 매개변수 효율적 파인튜닝(fine-tuning)(PEFT)은 전문화된 접근 방식을 제공합니다. 파인튜닝(fine-tuning)은 LLM을 향상시키지만, 특히 모델이 이미 업무에 적합한 경우에는 항상 필요한 것은 아닙니다. 특정 애플리케이션에 대한 LLM의 효율성과 효과를 극대화하려면 파인튜닝(fine-tuning)을 사용할 시기를 신중하게 고려해야 합니다.

Data Science Dojo

LLM 파인튜닝(Fine-tuning) 101

Translate texts & full document files instantly. Accurate translations for individuals and Teams. Millions translate with DeepL every day.

DeepL Translate: The world's most accurate translator

🍀 LLMOps란 무엇인가요?
대규모 언어 모델 운영의 약자인 LLMOps는 프로덕션 환경 내에서 대규모 언어 모델을 운영 관리하기 위해 사용되는 일련의 관행, 기술 및 도구를 포괄합니다.

따라서 이러한 모델을 운영 워크플로우에 효과적으로 통합하기 위한 모범 사례를 수립해야 할 필요성이 커지고 있습니다. LLMOps는 대규모 언어 모델의 간소화된 배포, 지속적인 모니터링 및 지속적인 유지 관리를 용이하게 합니다. 기존의 머신 러닝 운영(MLOps)과 마찬가지로 LLMOps도 데이터 과학자, DevOps 엔지니어, IT 전문가가 참여하는 협업이 필요합니다. 

🍀 개발부터 프로덕션 워크플로우까지 LLM
대규모 언어 모델(LLM)은 개방형 질의응답, 요약, 거의 임의의 명령어 실행 등 광범위한 작업에서 이전 벤치마크를 크게 뛰어넘는 새로운 범주의 자연어 처리(NLP) 모델을 나타냅니다. MLOps의 운영 요구사항은 대부분 LLMOps에 적용되지만, LLM을 교육하고 배포하는 데는 LLMOps에 대한 고유한 접근 방식이 요구되는 고유한 과제가 있습니다.

🍀 LLMOps의 구성 요소는 무엇인가요?
머신러닝 프로젝트 내에서 LLMOps의 범위는 각 프로젝트의 특정 요구사항에 따라 매우 다양할 수 있습니다. 일부 프로젝트에서는 데이터 준비부터 파이프라인 생산에 이르는 작업을 아우르는 포괄적인 LLMOps 접근 방식이 필요할 수 있습니다.

1. 탐색적 데이터 분석(EDA)
🚩 데이터 수집: LLMOps의 첫 번째 단계는 LLM을 학습시키는 데 사용할 데이터를 수집하는 것입니다. 이 데이터는 텍스트 코퍼라, 코드 저장소, 소셜 미디어 등 다양한 소스에서 수집할 수 있습니다.
🚩 데이터 정리: 데이터를 수집한 후에는 학습을 위해 데이터를 정리하고 준비해야 합니다. 여기에는 오류 제거, 불일치 수정, 중복 데이터 제거 등이 포함됩니다.
🚩 데이터 탐색: 다음 단계는 데이터의 특성을 더 잘 이해하기 위해 데이터를 탐색하는 것입니다. 여기에는 데이터의 분포를 살펴보고, 이상값을 식별하고, 패턴을 찾는 것이 포함됩니다.

2. 데이터 준비 및 신속한 엔지니어링
🚩 데이터 준비: LLM을 학습시키는 데 사용되는 데이터는 특정한 방식으로 준비해야 합니다. 여기에는 데이터 토큰화, 중단어 제거, 텍스트 정규화 등이 포함됩니다.
🚩 프롬프트 엔지니어링: 프롬프트 엔지니어링은 LLM으로 텍스트를 생성하는 데 사용되는 프롬프트를 만드는 프로세스입니다. 프롬프트는 LLM이 원하는 출력을 생성할 수 있도록 신중하게 만들어야 합니다.

3. 모델 미세 조정
🚩 모델 학습: 데이터가 준비되면 LLM을 학습시킵니다. 이는 머신러닝 알고리즘을 사용하여 데이터의 패턴을 학습하는 방식으로 이루어집니다.
🚩 모델 평가: LLM이 학습되면 얼마나 잘 작동하는지 평가해야 합니다. 이 평가는 LLM을 학습시키는 데 사용되지 않은 테스트 데이터 세트를 사용하여 수행됩니다.
🚩 모델 미세 조정: LLM의 성능이 좋지 않은 경우 미세 조정할 수 있습니다. 여기에는 LLM의 파라미터를 조정하여 성능을 개선하는 작업이 포함됩니다.

4. 모델 검토 및 거버넌스
🚩 모델 검토: LLM을 미세 조정한 후에는 안전하고 신뢰할 수 있는지 검토해야 합니다. 여기에는 편향성, 안전 및 보안 위험 점검이 포함됩니다.
🚩 모델 거버넌스: 모델 거버넌스는 수명 주기 동안 LLM을 관리하는 프로세스입니다. 여기에는 성능을 추적하고, 필요에 따라 변경하고, 더 이상 필요하지 않은 경우 폐기하는 것이 포함됩니다.

5. 모델 추론 및 제공
🚩 모델 추론: LLM을 검토하고 승인하면 프로덕션에 배포할 수 있습니다. 즉, 텍스트를 생성하거나 질문에 답변하는 데 사용할 수 있습니다.
🚩 모델 제공: 모델 제공은 사용자가 LLM을 사용할 수 있도록 하는 프로세스입니다. 이는 REST API 또는 웹 애플리케이션과 같은 다양한 방법을 통해 수행할 수 있습니다.

6. 사람의 피드백을 통한 모델 모니터링
🚩 모델 모니터링: LLM이 배포되면 예상대로 작동하는지 확인하기 위해 모니터링해야 합니다. 여기에는 성능을 추적하고, 문제를 파악하고, 필요에 따라 변경하는 것이 포함됩니다.
🚩 사람의 피드백: 사람의 피드백을 통해 LLM의 성능을 개선할 수 있습니다. 이는 LLM이 생성하는 텍스트에 대한 피드백을 제공하거나 LLM의 성능에 문제가 있는지를 파악하는 방식으로 이루어질 수 있습니다.
 
🍀 LLMOps 구현 모범 사례
LLMOps는 데이터 준비부터 파이프라인 생산에 이르기까지 광범위한 작업을 다룹니다. 다음은 LLMOps를 성공적으로 도입하기 위한 7가지 핵심 단계입니다:

1. 데이터 관리 및 보안
데이터는 LLM 교육에서 중요한 구성 요소이므로 강력한 데이터 관리와 엄격한 보안 관행이 필수적입니다. 
🚩 데이터 저장: 대용량 데이터를 처리할 수 있는 적절한 소프트웨어 솔루션을 사용하여 전체 LLM 수명 주기 동안 효율적인 데이터 검색을 보장합니다.
🚩 데이터 버전 관리: 포괄적인 데이터 버전 관리 관행을 통해 데이터 변경 기록을 유지하고 개발을 모니터링합니다.
🚩 데이터 암호화 및 액세스 제어: 전송 암호화로 데이터를 보호하고 역할 기반 액세스와 같은 액세스 제어를 적용하여 안전한 데이터 처리를 보장합니다.
🚩 탐색적 데이터 분석(EDA): 머신 러닝 수명 주기에 맞춰 데이터를 지속적으로 준비하고 탐색하여 공유 가능한 시각화 및 재현 가능한 데이터 세트를 생성합니다.
🚩 프롬프트 엔지니어링: 신뢰할 수 있는 프롬프트를 개발하여 LLM에서 정확한 쿼리를 생성하고 효과적인 커뮤니케이션을 촉진합니다.
 
2. 모델 관리
LLMOps에서는 LLM 모델의 효율적인 교육, 평가 및 관리가 가장 중요합니다. 다음은 몇 가지 권장 사례입니다:
🚩 기초 모델 선택: 성능, 크기, 호환성 등의 요소를 고려하여 적절한 사전 학습된 모델을 커스터마이징의 시작점으로 선택합니다.
🚩 소수 샷 프롬프트: 소수 샷 학습을 활용하여 광범위한 학습 데이터 없이도 특수한 작업에 대한 모델 미세 조정을 신속하게 수행하여 대규모 언어 모델을 활용할 수 있는 다양하고 효율적인 접근 방식을 제공합니다.
🚩 모델 미세 조정: 기존 라이브러리와 미세 조정을 위한 기술을 사용하여 모델 성능을 최적화하고 특정 도메인에서 모델의 기능을 향상시킬 수 있습니다.
🚩 모델 추론 및 제공: 모델 새로 고침 주기를 관리하고 효율적인 추론 요청 시간을 보장하는 동시에 테스트 및 품질 보증 단계에서 프로덕션 관련 고려 사항을 해결합니다.
🚩 사람의 피드백을 통한 모델 모니터링: 모델 드리프트를 감지하고 잠재적인 악의적인 사용자 행동을 식별하기 위한 경고를 통합하는 강력한 데이터 및 모델 모니터링 파이프라인을 개발하세요.
🚩 모델 평가 및 벤치마킹: 모델 드리프트 및 잠재적인 악의적인 사용자 행동을 식별하기 위한 경고를 포함하여 포괄적인 데이터 및 모델 모니터링 파이프라인을 구축합니다. 이러한 사전 예방적 접근 방식은 모델 안정성과 보안을 강화합니다.

3. 배포
다음 팁을 통해 모델 성능과 접근성을 최적화하면서 원하는 환경에 원활하게 통합할 수 있습니다:
🚩 클라우드 기반 및 온프레미스 배포: 예산, 보안 및 인프라 요구 사항과 같은 고려 사항에 따라 적절한 배포 전략을 선택합니다.
🚩 특정 작업에 맞게 기존 모델 조정하기: 이 접근 방식은 비용 효율적이므로 사전 학습된 모델을 특정 업무에 맞게 조정합니다. 자연어 처리(NLP) 또는 딥 러닝 모델과 같은 다른 머신 러닝 모델을 사용자 지정하는 데에도 적용됩니다.

4. 모니터링 및 유지 관리
LLMOps는 시간이 지나도 지속적인 성능과 적응성을 보장합니다:
🚩 모델 성능 개선: 모델 및 파이프라인 계보와 버전에 대한 추적 메커니즘을 구축하여 수명 주기 전반에 걸쳐 아티팩트와 전환을 효율적으로 관리할 수 있습니다.
이러한 모범 사례를 구현함으로써 조직은 LLMOps 채택을 개선하고 운영 워크플로우에서 대규모 언어 모델의 이점을 극대화할 수 있습니다.

🍀 LLMOps가 필수적인 이유는 무엇인가요?
대규모 언어 모델(LLM)은 텍스트와 코드로 구성된 방대한 데이터 세트에 대해 학습되는 인공 지능(AI)의 한 유형입니다. 텍스트 생성, 번역, 질문 답변 등 다양한 작업에 사용할 수 있습니다. 하지만 LLM은 배포 및 관리가 복잡하고 까다롭기도 합니다. 이것이 바로 LLMOps가 필요한 이유입니다.

LLMOps는 LLM을 배포, 관리 및 모니터링하는 데 사용되는 일련의 관행과 도구입니다. 실험과 반복부터 배포 및 지속적인 개선에 이르기까지 전체 LLM 개발 수명 주기를 포괄합니다.

LLMOps는 여러 가지 이유로 필수적입니다. 
🚩 첫째, 일관되고 신뢰할 수 있는 방식으로 LLM을 배포하고 관리하는 데 도움이 됩니다. 이는 고객 서비스 챗봇이나 의료 진단 시스템과 같은 중요한 애플리케이션에서 LLM이 자주 사용되기 때문에 중요합니다.
🚩 둘째, LLMOps는 LLM의 성능을 개선하는 데 도움이 됩니다. LLM의 성능을 모니터링하여 개선할 수 있는 영역을 파악할 수 있습니다. 이는 LLM의 파라미터를 조정하거나 더 많은 학습 데이터를 제공함으로써 가능합니다.
🚩 셋째, LLMOps는 LLM과 관련된 위험을 완화하는 데 도움이 됩니다. LLM은 텍스트와 코드로 구성된 방대한 데이터 세트를 학습하는데, 이 데이터에는 유해하거나 편향된 정보가 포함될 수 있습니다. LLMOps는 LLM의 학습 데이터에서 이러한 정보를 식별하고 제거하는 데 도움을 줄 수 있습니다.

🍀 LLMOps의 장점은 무엇인가요?
🚩 효율성: LLMOps는 LLM 개발 및 배포의 효율성을 개선하는 데 도움이 될 수 있습니다. 이는 데이터 준비 및 모델 트레이닝과 같은 LLMOps와 관련된 많은 작업을 자동화함으로써 이루어집니다.
🚩 확장성: LLMOps는 LLM 개발 및 배포를 확장하는 데 도움이 될 수 있습니다. 이는 여러 LLM을 더 쉽게 관리하고 배포할 수 있도록 함으로써 이루어집니다.
🚩 위험 완화: LLMOps는 LLM과 관련된 위험을 완화하는 데 도움이 될 수 있습니다. 이는 LLM의 학습 데이터에서 유해하거나 편향된 정보를 식별하여 제거하고, LLM의 성능을 모니터링하여 잠재적인 문제를 식별함으로써 이루어집니다.

결론적으로 LLMOps는 대규모 언어 모델을 성공적으로 배포하고 관리하고자 하는 조직에게 매우 중요한 분야입니다. 여기에 설명된 모범 사례를 구현함으로써 조직은 일관되고 신뢰할 수 있는 방식으로 LLM을 배포 및 관리하고 이러한 강력한 모델의 이점을 극대화할 수 있습니다.

Deepl

LLMOps에 대한 이해: 이것이 중요한 이유와 2023년의 모범 사례

글로벌 네트워크 전문 기업 시스코가 데이터 분석 플랫폼 기업 스플렁크를 인수했다.시스코는 스플렁크와 21일(현지시간) 최종 인수합병 계약을 체결했다고 밝혔다. 인수가는 28...

시스코, 데이터 분석 기업 '스플렁크' 37조원에 인수

글로벌 No. 네트워크 장비 업체인 시스코 시스템즈(CSCO)가 스플렁크를 주당 157달러, 총 280억달러에 전액 현금 거래로 21일(현지시간) 최종 인수합병 계약을 체결했다고 밝혔다.  시스코가 제시한 인수가는 주당 157달러로 스플렁크의 20일 종가에 약 30% 프리미엄이 붙은 가격이다. 인수합병 이후 게리 스틸 스플렁크 사장 겸 최고경영자(CEO)는 시스코의 경영진에 합류하게 된다.

- 인수 배경
그간 시스코는 스위치와 라우터를 판매하는 기존 사업에서 벗어나 반복 매출을 올리는 구독 기반 소프트웨어 및 서비스 사업으로 전환하기 위해 인수 대상 기업을 물색해왔다. 월스트리트저널(WSJ) 보도에 따르면 지난 2022년 2월에도 스플렁크를 200억달러에 인수하겠다고 제안한 바 있다.

- 향후 플랜
시스코는 스플렁크 인수를 통해 소프트웨어 사업을 강화하고 인공지능(AI) 경쟁력을 키울 계획이다. 2003년 10월 설립된 스플렁크는 AI와 머신러닝 기술을 활용해 대량의 데이터를 바탕으로 비즈니스 시스템과 프로세스를 빠르게 개선하려는 기업을 위한 선도적인 플랫폼을 제공한다.  특히, 스플렁크의 보안 역량은 시스코의 포트폴리오를 보완하고, 디바이스에서 애플리케이션, 클라우드에 이르기까지 선도적인 보안 분석과 커버리지를 제공할 전망이다. 이를 통해 하이브리드 및 멀티 클라우드 환경 전반에 통합 가시성을 제공해 고객이 디지털 비즈니스를 강화하는 원활한 애플리케이션 경험을 제공할 수 있도록 지원할 것으로 기대된다.

< 스플렁크(Splunk)​ >
- 설립연도: 2003년 10월(19년)
- 본사: 미국 샌프란시스코
- 직원수: +8,000
- 창립자: 마이클 바움, Rob Das, 에릭 스완
- 고객사: 16,000+(글로벌), 400+(한국)
- 매출: 36억 5천만 달러(2023년)
- 기업공개: NASDAQ(TICKER:SPLK)
- 홈페이지: http://www.splunk.com
- 주요솔루션: Splunk Enterprise, Splunk Cloud Platform , Splunk Attack Analyzer, Splunk enterprise security, Splunk Mission control,  Splunk security essentials, Splunk SOAR, Splunk user behavior analytics, Splunk application performance monitoring, splunk infrastructure monitoring, splunk IT service intelligence, Splunk Real user monitoring, Splunk on-call, Splunk synthetic monitoring 등 비즈니스 인텔리전스 도구, 데이터 분석 도구, 빅 데이터 도구, 사이버 보안 도구

* 데이터 분석 소프트웨어에 뿌리를 둔 스플렁크는 사이버 보안으로 사업을 확장했다. 기업이 데이터를 모니터링하고 분석하여 해킹 위험을 최소화하고 기술적 문제를 좀 더 신속하게 해결하도록 지원한다. 또한 온프레미스 제품에서 서비스형 소프트웨어 비즈니스 모델로 전환하고 있다.

출처:
- https://www.datanet.co.kr/news/articleView.html?idxno=187419
- https://zdnet.co.kr/view/?no=20230922081014

Zdnet

요즘 사람들은 글을 잘 안 읽는다고 하지만, "어떻게 하면 글을 잘 쓸 수 있을까?"에 대해 고민하는 사람들은 의외로 많은데요. 그래서인지 찾아보면 관련한 강의나 책들은 꽤나 많습니다.

[썸원 리츄얼] '발췌+요약+리라이팅'으로 글쓰기 습관 다지기 (2023년 10~12월) - 2자리 남았어요!

1. 연초부터 글쓰기의 가장 기본인 ‘발췌+요약+리라이팅'을 연습할 수 있는 글쓰기 리츄얼을 운영하고 있는데요.

2. 수많은 작법서에서 ‘발췌+요약+리라이팅'부터 연습하라고 하지만, 막상 현실에서 이를 꾸준히 연습할 수 있는 기회는 그리 많지 않아서, 한 번 만들어봤습니다. 

3. 그리고 글쓰기 리츄얼을 운영할수록 이를 통해 자신만의 글 쓰는 습관을 만들어가시는 분들이 계속 생기고 있어서, 나름 보람을 느끼면서 운영하고 있는데요. 

4. 물론 주5회 리츄얼에 참여해야 해서, 비교적 빡센 리츄얼이긴 합니다. 다만, 습관 형성 차원에서는 짧게 자주 반복하는 것이 훨씬 더 효과적이어서 이를 밀어붙이고 있고, 

5. 글을 쓰기 위해 긴 시간을 투여하기보다는, 하루 중에 잠시라도 짬을 내서 본인이 유의미하게 본 내용을 자신의 언어로 정리할 수 있도록 독려하고 푸시하는 모임이라고 생각해주시면 된답니다 (호호)

6. 그리고 보통 글쓰기를 시작하는 단계에선 힘이 많이 들어가기 때문에, 글이 길어지고, 정리가 안 되고, 장황해지기 마련인데, 발췌+요약+리라이팅은 기본적으로 자신이 본 내용 중에서 글을 짧고 임팩트 있게 정리하는 것을 연습을 하는 과정이라서 글의 힘을 빼는 데도 도움이 되는 리츄얼이랍니다 ^^

7. 그리고 어떤 일이든, 힘을 빼야 오래 연습할 수 있고요. 그런 의미에서 10월부터 시작하는 글쓰기 리츄얼의 새로운 시즌에 참가하실 분을 모집하고자 하오니, 관심 있으신 분들께서는 자세한 내용 참고해주시면 좋을 것 같고,

8. 이미 멤버십 회원분들께서 먼저 신청하셔서 몇 자리 안 남았다는 점도 알려드립니다. 늘 감사합니다 ;)

https://somewon.notion.site/2023-10-12-2-89c6a0bccb6b4100824b1964fc93a4c7

Somewon on Notion

글쓰기 리츄얼 모집 안내

세계 최대 헬스케어 회사 중 하나인 존슨 앤 존슨이 리브랜딩 했습니다. 1887년부터 130년 넘게 사용한 공동 창립자 제임스 우드 존슨의 서명은 서서히 사라집니다. Kenvue의 베이비 샴푸, 밴드에이드, 타이레놀과 같은 소비자 제품에서는 계속 볼 수 있지만 재고가 소진된 뒤에는 사라질 것으로 예측됩니다. 존슨 앤 존슨의 제약 부문인 Janssen은...

존슨 앤 존슨 리브랜딩: 사라진 135년의 유산

세계 최대 헬스케어 회사 중 하나인 존슨 앤 존슨이 리브랜딩 했습니다. 1887년부터 130년 넘게 사용한 공동 창립자 제임스 우드 존슨의 서명은 서서히 사라집니다. Kenvue의 베이비 샴푸, 밴드에이드, 타이레놀과 같은 소비자 제품에서는 계속 볼 수 있지만 재고가 소진된 뒤에는 사라질 것으로 예측됩니다.

존슨 앤 존슨의 제약 부문인 Janssen은 Johnson & Johnson Innovative Medicine으로 바뀝니다. 브랜드는 Johnson & Johnson MedTech의 의료 기술 부문을 통합할 예정입니다. 소비자 부문은 올해 초 Kenvue라는 이름으로 분사했습니다.

https://designcompass.org/2023/09/22/johnsonjohnson-rebrand/

디자인 나침반

Starting code for the GildedRose Refactoring Kata in many programming languages. - GitHub - emilybache/GildedRose-Refactoring-Kata: Starting code for the GildedRose Refactoring Kata in many programming languages.

GitHub - emilybache/GildedRose-Refactoring-Kata: Starting code for the GildedRose Refactoring Kata in many programming languages.

제가 진행하고 있는 스터디에서 공유 받았던 꽤 좋아 보이는 리팩토링 스터디 방법이 있어 공유합니다.

이미 작성된 날것의 코드를 요구사항에 맞추면서 리팩토링을 해보는 건데요. 정답이 없는 각자 리팩토링을 해보면서 서로 의견 나누고 코드 리뷰도 하다 보면 다양한 방법으로 보다 더 좋은 코드로 만들어 볼 수 있을 것 같습니다. 더불어 테스트 코드 또한 리팩토링을 하며 기능별로 구성해 볼 수 있을 것 같아 꽤 유용한 재료라 생각합니다.

어떤 분이 요구사항에 대해 친절하게도 번역을 해놓으신 게 있어 꼭 스터디가 아니더라도 홀로 작업해 봐도 좋을 것 같습니다.

https://github.com/emilybache/GildedRose-Refactoring-Kata

GitHub

리팩토링 해보실? 지금 당장 도전해보세요!

Spring Boot Folder Structure (Best Practices). What is Spring Boot - If you don't know what spring boot is, I'm happy to share my previous article which is related to spring boot setup....

Spring Boot Folder Structure (Best Practices)

개발자들은 코드의 유지보수성, 팀원 간 협업 및 전체 개발 프로세스 개선을 위해 잘 구조화된 폴더 구조를 사용합니다. 스프링 부트 폴더 구조가 중요한 이유는 다음과 같습니다.

- 명확성 및 구성
- 모듈화
- 확장성
- 코드 재사용성

다음은 스프링 부트 애플리케이션에 대한 폴더 구조를 보여줍니다. (링크 참조)

📌 config

애플리케이션 설정을 구성하는 구성 클래스 또는 애플리케이션-레벨의 AppConfig를 포함합니다.

📌 controller

RESTful 컨트롤러 클래스를 포함합니다. 이 클래스는 들어오는 HTTP 요청을 처리하고 API Endpoint를 정의합니다.

📌 DTO

응용 프로그램의 다른 계층 또는 구성 요소 간에 데이터를 전송하기 위해 사용됩니다. 
- 비즈니스 로직이 포함되지 않음
- 데이터 운반이 주 목적

📌 Enums

Enum 클래스의 예시로는 SUCCESS, FAIL, PENDING등의 상태가 있습니다.

📌 model

도메인의 구조나 동작을 나타내는 데이터 모델 또는 엔티티를 저장합니다. 데이터베이스 테이블에 매핑되고 데이터의 속성과 관계를 정의합니다.

📌 repository

데이터 접근을 다루는 레파지토리 클래스를 포함합니다. 이러한 클래스는 일반적으로 ORM, JPA 등을 사용하여 데이터베이스와 상호작용 합니다.

📌 service

비즈니스 로직을 구현하는 서비스 클래스를 포함합니다. 

📌 utils

코드베이스를 체계적이고 모듈식으로 운영하기 위해 유틸리티 클래스를 배치합니다.

Medium

🕊️ 스프링 부트 폴더 구조 모범 사례

Product-Minded Software Engineer(이하 제품 중심 개발자)는 제품 자체에 큰 관심을 가지는 개발자들이다. 그들은 사람들이 제품을 어떻게 사용하는지 이해하려 하며 제품 관련 의사 결정에 참여하는 것을 즐긴다. 제품 중심 개발자의 주요 특징은 무엇이며, 어떻게 제품 중심 개발자로 성장할 수 있을까? 이 글에서는 제품 중심 개발자의 9가지 특징과 제품 중심 개발자로 성장하는 방법에 대해 설명한다.

제품 중심 개발자 (번역)

최근 개발자를 구분하는 명칭을 기존의 Frontend/Backend Engineer에서 Product/Platform Engineer로 바뀌어야한다는 Vercel 개발자의 글이 이슈가 되었는데요.

Product Engineer에 대한 좋은 글이 있어 번역해보았습니다.
( 전체 내용 보기 → https://www.jobless.blog/product-minded-engineer/?ref=careerly )

-------------------------------
📌 Product-Minded Software Engineer by Gergely Orosz

Product-Minded Software Engineer(이하 제품 중심 개발자)는 제품 자체에 큰 관심을 가지는 개발자들이다. 그들은 사람들이 제품을 어떻게 사용하는지 이해하려 하며 제품 관련 의사 결정에 참여하는 것을 즐긴다.

제품 중심 개발자의 주요 특징은 무엇이며, 어떻게 제품 중심 개발자로 성장할 수 있을까? 이 글에서는 제품 중심 개발자의 9가지 특징과 제품 중심 개발자로 성장하는 방법에 대해 설명한다.

1️⃣ 적극적으로 제품 아이디어/의견 제시
제품 중심 개발자는 기획을 그대로 받아들이고 구현하기만 하는 것에 만족하지 않는다. 다른 아이디어를 생각하고 이를 PM에게 제안한다. 그들은 기존 기획에 도전하며 더 나은 접근 방식을 제안하기도 한다.

2️⃣ 비즈니스, 사용자 행동 및 데이터에 대한 관심
제품 중심 개발자는 뜬구름 잡는 아이디어를 제시하지 않고, 비즈니스가 어떻게 작동하는지, 제품이 어떤 역할을 하는지, 그리고 비즈니스와 제품의 목표가 무엇인지 이해하기 위해 시간을 투자한 후 아이디어를 제시한다.

또한 그들은 제품이 사용자에게 어떤 영향을 미치고 사용자들이 어떤 가치를 얻는지 파악하기 위해 비즈니스 및 사용자 데이터에 가능한 직접 접근하려 한다.

3️⃣ "Why?"
제품 중심 개발자는 모든 것의 "Why?"를 이해하려 한다. 왜 이 기능을 제품에 추가해야 하며 다른 것이 아닌 이유는 무엇일까? 왜 더 간단하게 구축할 수 있는 것을 선택하지 않을까? 왜 더 확실한 방법을 선택하지 않을까? 그리고 그들은 자율적으로 답을 찾아 나선다. 그들은 PM과 다른 팀원들에게 많은 질문을 하지만 사람들을 그들을 성가시다고 생각하지 않는다. 좋은 관계를 구축해왔기 때문이다.

4️⃣ 뛰어난 커뮤니케이션 능력 및 비개발자들과의 좋은 관계
제품 중심 개발자는 개발팀 외부의 사람들과 대화하는 것을 좋아하며, 다른 분야가 어떻게 작동하는지 자세히 알고 싶어한다. 그들은 원활한 커뮤니케이터로서 다른 분야의 작업 방식을 더 자세히 이해하기 위해 노력한다. 종종 비개발자와 커피를 마시거나 점심을 함께하거나 회의실에서 이야기를 나누기도 한다.

5️⃣ 프로젝트 초기에 제품/엔지니어링 트레이드오프 제공
제품 중심 개발자는 제품의 "Why"와 엔지니어링 측면을 모두 이해하기 때문에 다른 사람들이 할 수 없는 제안을 할 수 있다. 예를 들어 제품 개발 범위와 비용(시간)을 계산할 때, 대부분의 개발자들은 엔지니어링 노력을 줄이려고 시도하고 줄인 노력이 기능 자체에 미치는 영향을 파악하려고 한다.

하지만 제품 중심 개발자는 양방향으로 파악한다. 엔지니어링 tradeoffs와 제품 tradeoffs를 모두 고려하는 것이다. 그들은 PM에게 제품 영향은 비슷하지만 엔지니어링 노력은 훨씬 적은 완전히 다른 기능을 구축하도록 제안할 수 있다.

제품과 엔지니어링 각각의 영향을 손쉽게 파악하는 것은 제품 중심 개발자가 가지는 고유한 강점이다. 그들은 엔지니어링 및 제품 통찰력을 사용하여 빠르게 양쪽 면을 오가며 가치 있는 결론에 도달한다.

6️⃣ 실용적인 Edge Case 처리
개발자들은 종종 Edge Cases를 잊고, 제품을 테스트하거나 최종 사용자로부터 피드백을 받은 후에 처리하곤 한다. 그리고 새 제품이나 기능의 모든 가능한 Edge Cases를 처리하는 데 많은 시간이 걸리곤 한다.

하지만 제품 중심 개발자는 빠르게 Edge Cases를 떠올리고 처리 방법을 생각하며, 때로는 엔지니어링 작업을 필요로하지 않는 해결책을 제공하기도 한다. 그들은 사랑받을 수 있는 최소한의 제품 개념(minimum lovable product concept)에 중점을 두고 Edge Cases와 처리 비용을 평가한다.

예를 들어, 1000명 중 1명의 사용자가 오류를 겪을 수 있다면 그들은 이것을 고치는 비용을 고려하고, 고치지 않았을 때 어떤 일이 일어날지 생각한다. '고객 지원이 이 경우에 도움을 줄 수 있을까?' '사용자는 다시 시도하고 다음 번에 성공할 수 있을까?' '제품을 약간 수정하여 이러한 Edge Case가 발생하지 않게 할 수 있을까?'

7️⃣ 빠른 제품 검증 주기
제품 중심 개발자는 작업 중인 기능의 개발이 완료되기 전에 초기 피드백을 얻는 창의적인 방법을 찾는다. 이것은 동료와 함께 테스트를 진행하거나, 진행 중인 작업 중에 제품 매니저에게 작업 중인 기능을 보여주거나, 베타 빌드에서 팀 bug bash를 조직하는 등 여러 가지 창의적인 방법일 수 있다. 그들은 계속해서 생각한다. 사람들이 이 기능을 우리가 생각한대로 사용하는지 확인하려면 어떻게 해야 할까?

8️⃣ End-to-end 제품 기능 오너십
대부분의 경험 많은 개발자들은 자신의 작업에 대해 end-to-end 오너십을 갖는다. 기획 명세를 받아들이고 구현하는 것에서 부터, 출시하고 올바르게 작동하는지 확인하는 것까지 모든 것이다. 그러나 제품 중심 개발자는 이보다 한 발 더 나아간다.

제품 중심 개발자들은 사용자 행동과 비즈니스 데이터를 얻은 후에만 작업이 완료되었다고 간주한다. 배포 이후에도 PM, 데이터 과학자 및 고객 지원 채널과 계속해서 소통하여 실제 세계에서 기능이 어떻게 사용되고 있는지 알아본다.

9️⃣ 반복 학습을 통한 강력한 제품 직감력
제품 중심 개발자에게 프로젝트는 일반적으로 다음과 같이 진행된다.

    • 이 기능이 왜 필요한지 정확히 이해하기 위해 많은 질문을 던진다.
    • 이를 테스트하고 수정된 사양에 포함된 일부 제안을 가져온다.
    • 빠르게 기능을 구축하고 피드백을 얻는다.
    • 기능을 출시한 후에도 예상과 일치하는지 계속해서 확인한다.
    • 예상과 달랐을 때, 결과를 깊이 파고들어 실제 세계에서의 제품 사용에 대해 새로운 것을 배운다.

각 프로젝트 이후, 제품 이해력이 깊어지고 더 나은 제품 직감력을 개발하기 시작한다. 시간이 흘러 프로젝트가 시작되기도 전에 상담을 받으려는 PM들의 요청이 늘어나면서 팀 밖에서 강한 평판을 쌓게 된다. 이 과정에서 제품 중심 개발자는 더 많은 커리어 성장 기회를 얻는다.

📌 제품 중심 개발자가 되기 위한 팁
사용자가 있는 제품을 개발하고 있다면, 제품 중심 마인드를 키우는 데 도움이 되는 몇 가지 팁이 있다. 이러한 팁은 제품 중심 개발자로 성장하는 데 효과적인 것으로 보인다.

1️⃣ 회사가 성공하는 이유를 이해하기. '비즈니스 모델은 무엇인가?' '어떻게 수익을 창출하나?' '어떤 부분이 가장 이윤이 많으며 어떤 부분이 가장 확장되고 있나? 왜 그럴까?'

2️⃣ PM과 좋은 관계를 구축하기. 대부분의 PM은 개발자를 멘토링할 기회에 기뻐한다. 개발자들이 제품에 관심을 가지면 자신의 역량을 확장할 수 있다. 물론 제품 관련 질문을 많이 하기 전에 좋은 관계를 구축하고, PM에게 제품에 더 많이 관여하고 싶다고 분명히 전하는 것이 좋다.

3️⃣ 사용자 리서치, CS 등 제품 작동 방식에 대해 자세히 알아보기. 디자이너, UX 디자이너, 데이터 과학자, 운영 팀 등, 사용자와 자주 상호 작용하는 사람들과 함께 작업한다.

4️⃣ 타당한 제안 제시하기. 비즈니스, 제품 및 이해관계자에 대한 좋은 이해를 갖게된 후에는 제품 개발에 대한 이니셔티브를 가져갈 수 있다.

5️⃣ 작업 중인 프로젝트에 대한 제품/엔지니어링 트레이드오프를 제공하기. 팀이 구축하려는 제품 기능에 대한 엔지니어링 트레이드오프뿐만 아니라 엔지니어링 노력을 줄일 수 있는 제품 트레이드오프도 제안한다. 그리고 이에 대한 피드백을 적극적으로 받는다.

6️⃣ PM에게 피드백 자주 요청하기. 훌륭한 제품 중심 개발자가 되기 위해서는 기존의 엔지니어링 기술에 더해 제품 기술을 개발해야 한다. 제품 기술에 대한 당신의 성과를 어떻게 평가하는지 가장 잘 아는 사람은 PM이다. 제품 제안이 얼마나 가치 있는지에 대한 피드백을 얻고, 추가 성장을 위한 아이디어를 얻기 위해 PM에게 연락한다.

번역: https://www.jobless.blog/product-minded-engineer/?ref=careerly

원글: https://blog.pragmaticengineer.com/the-product-minded-engineer

Jobless Han 🏄🏻‍♂️

제품 중심 개발자

PowerPoint Presentation

라지 시스템을 구현하고 운영 및 관리하는 개발자의 조언을 읽어보고 정리해서 올립니다.

1. 코드 작성과 시스템 설계 시작 전 아이디어를 브레인스톰해보고 간단하게 적어본다.
2. 구축하려는 시스템 관련 전문 지식이 많은 사람과 화이트보드 세션을 진행하고 충분한 검토 과정을 거친다.

📌 추가: '설계 검토' 기간이 길어지게 되면 급한 마음에 충분히 피드백을 반영하지 않고 급하게 시스템을 구축하는 경우가 생기는 것 같아요. 하지만 잘못된 (또는 미완성된) 설계를 바탕으로 시스템을 구현하면 나중에 문제가 생기고, 문제를 고치는 데 많은 시간을 낭비하게 되고 최악의 경우에는 시스템을 처음부터 새로 구현해야 할 수 있습니다. 이해관계자와 검토를 효과적으로 그리고 빠르게 하고 피드백을 충분히 반영한 후 완성된 설계를 바탕으로 구현하면 버그 고치는 데 드는 비용이 더 적습니다. 관련 글은 아래 '함께 읽으면 좋은 글'을 참조해 주세요.

3. 여러 가지 설계 옵션을 파악하고, 각 옵션의 절충점을 이야기 해본다.

📌 추가: 주니어시절 가장 많이 하는 실수는 여러 옵션을 파악하지 않고 절충점을 따지지 않는 것입니다. 장기적으로 봤을 때 좋은 옵션이 아닐 수 있고, 추후에 설계나 코드 작성을 다시 해야 하는 경우가 생깁니다. 따라서 한 문제를 직면했을 때 가능한 여러가지 옵션을 간단하게 적어 보고 절충점을 따져 보는 것이 좋은 것 같습니다. 

4. 가상 사용 케이스를 예상해 본다.
5. 시스템의 인터페이스를 잘 생각해 보고 좋은 인터페이스를 디자인해야 한다.
6. 최상의 솔루션을 채택하고 시스템 성능을 추정할 줄 아는 스킬은 중요하다.
7. 시스템을 설계하기 전 성능을 미리 예측해야 한다(예: back-of-envelope-calculations). (계산 관련 슬라이드 참고)

📌 추가: RPS와 Storage Utilization 계산법은 기본적으로 알아두는 게 좋습니다.

8. 진화할 수 있는 시스템에 미리 대응해 본다. 시스템이 10배 더 크게 확장되어도 잘 작동되어야 한다.
9. 기본 개발 구성 요소에 대해 잘 알고 있기. 예를 들어 코어 라이브러리, 기본 자료 구조, SSTables, protocol buffers, BigTables, MySQL, MapReduce. 그냥 기본 개념을 이해하는 게 아니라 어떻게 구현되는지 자세하게 알아야 한다.

📌 추가: 표면적으로 개념을 이해하는 것보다 깊게 파고들어 조금 더 많은 정보를 알게 되면 라지 스케일 시스템 개발, 운영 및 관리에 큰 도움이 됩니다. 슬라이드에는 간단하게 몇 가지 개념만 언급했지만, 궁금하신 분들은 관련 개념을 좀 더 자세하게 알아 보거나 라지 시스템 설계 관련 책을 읽어보면 좋을 것 같아요 (책 추천은 아래 '함께 읽으면 좋은 글'을 확인해 주세요).

10. 모든 요구 사항을 다 충족하는 시스템을 설계하려고 하지 말자.
11. Caching, parallelism을 통해 low latency 요구 사항 충족시키기.
12. Eventual Consistency와 Strong Consistency 모델 이해하기.
13. 데이터 엑세스 타임 이해하기.
14. 장애에 튼튼한 앱 구현하기 (Canary, 레플리케이션, load balancing).
15. 장애 발생시 전체 운영 중단 보다 부분 기능이 작동하는 것이 더 나은 유저 경험을 제공한다.
16. 충분한 모니터링, 로깅 그리고 디버깅 훅 추가하기. 

https://static.googleusercontent.com/media/research.google.com/en//people/jeff/stanford-295-talk.pdf

🪴 함께 읽으면 좋은 글

좋은 개발자가 알아야 할 버그 고치는데 드는 비용
https://careerly.co.kr/comments/75848

개발자가 꼭 봐야 할 책 - 데이터 중심 애플리케이션 설계
https://careerly.co.kr/comments/67004

초당 1억 건의 요청 S3 스케일의 스토리지 구축, 운영, 관리
https://careerly.co.kr/comments/88808

실력 향상을 위한 해외 유튜브 채널 10개
https://careerly.co.kr/comments/88786

개발자 성장에 도움 될 테크 블로그
https://careerly.co.kr/comments/87704

googleusercontent.com

라지 스케일 시스템을 구현하는 개발자가 아는 것

자바스크립트 개발자를 위한 package.json 파일 정리

백엔드와 프론트엔드를 불문하고 대부분의 자바스크립트 프로젝트에는 최상위 경로에 `package.json` 파일이 있는데요. 그런데 혹시 이 파일이 언제 어떻게 사용되는지를 정확히 알고 계신가요?

`package.json` 파일은 쉽게 말해서 우리의 자바스크립트 프로젝트를 npm 패키지 저장소와 상호 작용할 수 있도록 만들어주는 중요한 연결 고리인데요. 우리는 `package.json` 파일을 통해 npm 패키지 저장소로부터 어떤 패키지를 내려받아 설치해야 하는지, 또한 우리의 프로젝트를 다른 프로젝트에서 사용할 수 있도록 어떻게 npm 패키지 저장소에 올릴 것인지를 설정할 수 있습니다. 그러므로 `package.json` 파일에는 패키지 사용자 입장에서 설정이 필요한 부분이 있고, 패키지 발행자 입장에서 추가로 설정이 필요한 부분도 있죠.

여러분이 개발하시는 자바스크립트 프로젝트가 npm 패키지 저장소로 부터 패키지를 내려 받기만 한다면, `package.json` 파일에 대해서 아셔야 할 내용이 사실 얼마되지 않아요. `scripts`, `dependencies`, `devDependencies` 필드 정도만 아시면 충분할 것입니다.

하지만 개발하시는 자바스크립트 프로젝트를 npm 패키지 저장소에 올려서 다른 사람들도 쓸 수 있도록 공개하시고 싶다면, `package.json` 파일에 대해서 잘 알고 계셔야 하는데요. 그래서 이번 글에서는 자바스크립트 개발자로서 알아두면 좋은 `package.json` 파일에 대해서 자주 사용되는 필드 위주로 정리해보겠습니다.

📝 포스팅: https://www.daleseo.com/js-package-json/

Daleseo

기존에는 Node.js와 익스프레스를 사용해 웹 서버를 구축하고 서비스를 만들었습니다. 익스프레스를 사용해서 서버를 구축할 때, 먼저 고민했던 부분이 무엇이었나요? 바로 디렉터리 구조입니다. 별거 아닌 것 같지만 구조에 따라서 아키텍처가 변경되므로 간단한 문제는 아닙니다. NestJS는 이러한 문제를 해결한 웹 서버 프레임워크입니다. NestJS는 서버 개발 시의 아키텍처를 누구든 비슷하게 설계하도록 아키텍처 문제를 해결하는 데 중점을 두고 있습니다.

Node.js의 새로운 파트너 NestJS는 왜 탄생했을까? | 요즘IT

💭
Java Spring 이나 다른 언어의 백엔드 프레임워크를 다뤄보신 분들은 처음 Node.js 로 백엔드 개발을 접했을 때 당혹스러울 수 있습니다. 저는 그 이유가 지금까지는 Node.js 백엔드 생태계에 압도적인 퍼포먼스를 보여주는 프레임워크 없이 express.js 나 fastify 와 같은 경량형 라이브러리를 통해 많은 기능들을 직접 구현하거나 npmjs 를 통해 필요한 것들을 직접 추가하여 구현에 포함시키는 방식이 통상적으로 사용되었기 때문이라고 봅니다.

개인적으로는 express.js 류는 프레임워크라고 하기 보다는 서버 구성을 편리하게 하는 라이브러리 집합이라고 보는 것이 옳을 것 같고 Next.js 의 경우는 정확하게는 React.js 를 랩핑한 프론트엔드 프레임워크에 가깝습니다. 따라서 예전에 Node.js 백엔드 개발자로 오랜 기간 살아갈 떄도 "제발 누가 Node.js + TypeScript 백엔드 프레임워크 만들어줘~~~" 노래를 불렀던 기억이 있네요.

Nest.js는 알게된지 한 4년 정도 되었는데, 그동안 관련 소식들을 꾸준히 Follow-up 하고 있었고 국내에서도 사용하는 기업들이 늘어나고 있어서 언젠가는 국내에서도 괜찮은 생태계가 조성될 것 같다는 근거 없는 믿음이 좀 있습니다. Nets.js의 백엔드 동작 방식은 다른 언어나 프레임워크의 동작 방식과 조금 다른 생소한 개념들이 일부 있지만 (Module 이라던지.. Provider 라던지...) 그 외 나머지 것들은 시장을 지배하고 있는 프레임워크에서 아이디어를 가져온 것들이 많아 생각보다 금방 적응 할 수 있습니다. (특히 Spring Boot 개발자들이라고 생각함 ㅇㅇ..)

아무튼 Node.js 로 조금 더 단단한 백엔드 아키텍쳐와 효율적인 생산성을 고민하고 있다면 Nest.js 한번 알아보시는 것도...? ㅎㅎ

Wishket

🔥 Nest.js 붐은 반드시 온다.

Bun 1.0

Node보다 5배 빠른 Bun이 드디어 1.0 정식 릴리즈가 되었습니다.
https://bun.sh/blog/bun-v1.0

---
Bun 1.0 is finally here.

Bun is a fast, all-in-one toolkit for running, building, testing, and debugging JavaScript and TypeScript, from a single file to a full-stack application. Today, Bun is stable and production-ready.
---

Bun은 Node의 역할을 대체하면서 동시에 Node와 달리 Typescript와 JSX 컴파일러를 기본으로 탑재를 하고 있습니다.

Bun의 가장 큰 특징은 단언컨데 성능이구요. 최소 4배에서 6배까지 더 나은 성능을 낸다고 하네요.

그리고 Hot Reloading을 지원해서 코드 수정시 즉각 코드에 반영되는 기능도 기본 기능으로 탑재하고 있습니다.

앞으로 Node을 얼마나 대체할 수 있을지 Deno와는 다른 행보를 어떻게 이어갈지 궁금해지네요.

ps.
개인적으로 최근에는 Node쪽 개발을 안하다보니 Bun으로 개발 찍먹보다는,
Vite를 Bun으로 한번 돌려보는 것은 해보려고 합니다.
https://bun.sh/guides/ecosystem/vite

Next.js도 Bun으로 돌릴 수 있어요. Bun의 성능체감은 느껴볼 수 있지 않을까 생각봅니다.
https://bun.sh/guides/ecosystem/nextjs

Bun 1.0 is finally here

모던 바닐라 자바스크립트로 본 반응성을 구현하는 패턴 | bohyeon.dev

오늘 소개해드릴 글은 메디스트림의 서보현님이 번역해주신 글입니다. 현재 프런트엔트 생태계에는 다양한 프레임워크와 그에 따른 반응형 시스템이 있습니다. 유저의 상호작용과 서버와의 통신, UI 업데이트 등 일련의 작업을 처리함에 있어 핵심은 반응성을 구현하는 방식에 있다고 할 수 있습니다. 이번 글은 반응형 시스템을 구현하는 데 활용할 수 있는 패턴과, 구현을 위한 자바스크립트의 다양한 내장 기능을 소개하고 있습니다. 바닐라 자바스크립트를 사용해 직접 반응형 시스템을 구축해보는데 더해 최신의 방법을 활용해 효과적으로 반응성을 구현해보고자 한다면 읽어보기 좋은 글입니다.

> 글 링크: https://bit.ly/pretvty

Ktseo41

모던 바닐라 자바스크립트로 본 반응성을 구현하는 패턴

제리가 만나러 갑니다! 오늘도 당근에서 개발자로 재직하고 계신 ✨초특급 파워블로거✨ 하조은님을 만났습니다! 조은님이 생각하는 개발 로드맵은 어떤건지, 커리어 패스는 어떻게 쌓아가면 좋을지 함께 이야기 나누었습니다🙌🏻 오늘도 재밌게 보셨다면 좋댓구알 부탁드려요🥕 #당근마켓 #개발자 #인터뷰 #하조은 #제만갑 #IT 🥕조은님 1편 보러가기 https://youtu.be/yV4i3-uuxxw 🧑🏻‍💻하조은님 블로그 https://hajoeun.b

당근샐러드 개발자가 제안하는 개발 로드맵 | 제만갑 | 하조은 | 당근마켓 | 네카라쿠배당토 | IT | 프로그래밍 | 엔지니어 | 블로그 | ENTJ | 연봉 | 뱅크샐러드

2편은 '당근샐러드 개발자가 제안하는 개발 로드맵'이라는 제목으로 정리해주셨네요. 유튜브 특성에 맞춰 유머와 과장이 포함된 제목인 점 이해해주세요. 

실제론 개발 로드맵에 대해선 정답이 없는 것 같다는 내용을 담고 있습니다. 그 외에도 개발자의 커리어, 도메인, 역량 등에 대해 이야기 나눴습니다. 제가 이해하고 있는 것만 이야기하려고 노력했습니다! 재밌게 봐주세요.

https://youtu.be/gYPOhwi87AU?si=g2t2nIRS8FwAET1n

YouTube

📺 개발 로드맵, 정답이 있다고 믿고 싶은 게 아닐까요?

개발자라면 공부는 해야 한다. 언제까지 구닥다리 방식으로 개발 운영할 건데? 오늘 짠 내 코드 내일이면 리거시다.

그래도 팀내 개발자가 맨날 컨퍼런스 간다하고 세미나만 하면 속 터지긴 한다. 일은 해야지?

그래서 내가 만든 룰은 그라운드 리서치도 지라로 만들어서 배정하고 아래 같은 분위기를 조성한다. 

- 내가 참석한 컨퍼런스 기술 이벤트의 전파교육은 필수, 문서화 정리도 필수, 실무적용도 필수다. 적어도 말미에 실무에 적용할 것들을 뽑아보라고 한다. 
- 스터디는 주제를 정해 팀스터디로 진행한다. 그래도 장애가 났는데, 주요 프로젝트 배포를 해야 하는데 세미나? 말도 안된다. 끊거나 중단하고 문제해결부터 하고 재개한다. 
- 되도록 회사의 기술 챌린지를 공유하고 이걸 해결하는 방향으로 스터디 주제를 권유한다. JPA 도입, 쿠버네티스 전환 등등 
- 내가 시간이 안되면 주변 CTO 나 기술리더 품앗이로 구루 세미나를 한다. 
- 관심분야를 물어보고 되도록 그 분야 일을 맡겨서 일로 배우게 유도한다. 

물론 모두 당사자가 공부하고 내 걸로 만들길 좋아하는 경우다. 억지로 공부 시켜봤자 욕만 먹는다. 그리고 주어진 일은 잘 하는데 공부하는 거 싫어하는 분들 있다. 뭐 나름 장점 있지만 그럼 리더감은 아니다. 

그럼 스스로는 어떻게 공부하냐고? 일단 난 호기심이 많다. 그리고 내가 관심 있는 분야인데 저 사람이 아는데 내가 모르는게 너무 싫다. 

내 공부 방식은 일단 개념잡기와 abstract 읽기, 상세 읽기 후에 how to start 시도. 일단 짜보고 시작하는 경우들도 많은데 난 좀 반대다. 컨셉 이해하고 상세를 봐야 감이 오는 스타일? 

아무튼 이 놈의 직업은 평생 공부는 해야 하는 직업! 그래도 아직 놓고 싶지는 않으니 은퇴까지는 열공!!

개발자 자기계발 & 일의 밸런싱

나한테 좋은 콘텐츠는 일기고... 
남에게 좋은 이야기는 콘텐츠고...

일기도 차곡차곡 모아 오래 지나면 출판이 되죠. 안네의 일기처럼..? ㅋㅋ ㅠ

대학내일 크리에이티브센터에서 8년간 다양한 브랜드의 소셜미디어 콘텐츠 기획자로 일했습니다. 현재는 통신사에서 콘텐츠 스페셜리스트로 일하고 있습니다.  '흥행하는 SNS 콘텐츠 기획'을 주제로 서울시 등에서 실무자 대상 강연을 진행했고. 빠르게 변하는 SNS 트렌드에서 브랜드는 어떻게 고객과 커뮤니케이션해야 하는지에 대해 연구하고 콘텐츠로 구현하는 일을 합니다. #디지털콘텐츠 #브랜디드콘텐츠 #온라인콘텐츠

소셜 콘텐츠 스페셜리스트

서준원

'흥행하는 SNS 콘텐츠 기획'을 주제로 서울시 등에서 실무자 대상 강연을 진행했고. 빠르게 변하는 SNS 트렌드에서 브랜드는 어떻게 고객과 커뮤니케이션해야 하는지에 대해 연구하고 콘텐츠로 구현하는 일을 합니다. #디지털콘텐츠 #브랜디드콘텐츠 #온라인콘텐츠

앗!네의 일기가 될까봐 무섭습니다😂

스토리텔러

주윤하

항상 언제나 On-Air인 삶✨
요즘 시대를 살아가는 현대인으로서 다채로운 모습을 지향합니다.

10여년의 방송작가 업무 경험을 살려 브랜드 컨설팅, 홍보 마케팅, 프로모션 및 콘텐츠 기획 제작 등 기획 관련 다양한 커리어를 쌓아왔고, 계속해서 다져나가고 있습니다.


댓글 3