Wiz Research found a data exposure incident on Microsoft's AI GitHub repository, including over 30,000 internal Microsoft Teams messages - all caused by one misconfigured SAS token

38TB of data accidentally exposed by Microsoft AI researchers | Wiz Blog

커리어리 친구들, 마이크로소프트에서 어처구니가 없는 보안 문제가 발생했습니다. 특히, 이번 사건은  이제 더 많은 소프트웨어 엔지니어가 방대한 양의 훈련 데이터를 사용함에 따라 인공지능 기능을 보다 광범위하게 활용하기 시작할 때 기업 조직이 직면하게 되는 새로운 위험의 예이기 때문입니다.

데이터 과학자와 엔지니어가 새로운 AI 솔루션을 프로덕션에 도입하기 위해 경쟁하면서 그들이 처리하는 엄청난 양의 데이터에는 추가적인 보안 검사와 보호 조치가 필요하다는 교훈을 이번에 얻게 되었습니다. 

이 사건은 위즈 리서치가 30,000개 이상의 내부 Microsoft Teams 메시지를 포함하여 Microsoft의 AI GitHub 리포지토리에서 데이터 노출 사고를 발견했고, 조사를 해봤더니 모두 잘못 구성된 하나의 SAS 토큰으로 인해 발생했습니다.

특히, Microsoft의 AI 연구 팀은 GitHub에 오픈 소스로 구성된 훈련 데이터 버킷을 게시하는 동안 직원 두 명의 워크스테이션에 대한 디스크 백업을 포함하여 실수로 38TB의 추가 개인 데이터를 노출했습니다. 

백업에는 비밀자료, 개인 키, 비밀번호 및 30,000개 이상의 내부 Microsoft Teams 메시지가 포함되어 있었고, 연구원들은 Azure Storage 계정의 데이터를 공유할 수 있는 SAS 토큰이라는 Azure 기능을 사용하여 파일을 공유했습니다. 

물론 액세스 수준은 특정 파일로만 제한될 수 있습니다. 그러나 이 경우 링크는 또 다른 38TB의 개인 파일을 포함하여 전체 스토리지 계정을 공유하도록 구성한 것이 문제가 되었습니다. 

마이크로소프트 뿐만 아니라 클라우드를 사용하는 기업이라면 일어날 수 있는  사건으로 IT 어드민들은 AI 과학자들에게 유심히 살펴보고 가이드라인을 줄 필요가 있다고 생각합니다.

https://www.wiz.io/blog/38-terabytes-of-private-data-accidentally-exposed-by-microsoft-ai-researchers

wiz.io

<MS, AI 연구원들이 실수로 노출한 38TB의 데이터는?>

커리어리 친구들, 오랜만에 제가 외부 컬럼을 하나 작성했습니다. 바로 KT 엔터프라이즈의 DX Story 컬럼란에 요즘 각광받는 "생성 AI 시대에서의 빅데이터의 활용과 전망" 주제로 작성했습니다. 

먼저 빅데이터가 어디서 오는 지에 대한 정의와 더불어, 빅데이터와 인공지능이 함께 만나 새로운 시대가 어떻게 펼쳐지에 대한 전망과 빅데이터와 생성AI는 향후 어떻게 발전할 지에 대해서도 예측해 보았습니다. 

https://enterprise.kt.com/bt/P_BT_TI_VW_001.do?bbsId=2153&bbsTP=A

<생성 AI 시대에서의 빅데이터의 활용과 전망>

머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository is intented for helping whom are interested in machine learning study) - GitHub - teddylee777/machine-learning: 머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository i

GitHub - teddylee777/machine-learning: 머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository is intented for helping whom are interested in machine learning study)

엄청난 repo를 발견해버렸습니다...
유튜브 테디노트 채널의 repo인데요!

머신러닝에 관련된 모든 카테고리의 강의를 정리했을 뿐 아니라
책, 유튜브 채널, 웹사이트까지 모두 소개하고 자격증까지 소개하고 있네요...

잠 안오면 이거 하나씩 깨부셔야겠어요!

https://github.com/teddylee777/machine-learning#%ED%86%B5%EA%B3%84-statistics

GitHub

머신러닝을 혼자서 처음부터 공부한다면...!

저도 구독중인 분이었는데 이렇게 보게되니 반갑네요 ㅎㅎ 코드구현이나 데모에 특히 신경을 많이써주셔서 아주 유용합니다~

220 likes, 6 comments - data.scientist on September 16, 2023: "<데이터 분석에 관심이 있다면 이 책부터 읽으세요. 15권>

데이터 분석 관..."

변성윤 카일스쿨 데이터 과학자 on Instagram: "<데이터 분석에 관심이 있다면 이 책부터 읽으세요. 15권>

데이터 분석 관련 책 15권 추천드려요!

입문자용 추천 위주로 시작하고 기술적인 내용은 추후에 공유드릴게요🥳

#데이터분석 #책추천 #데이터사이언스 #책스타그램 #북스타그램"

데이터 분석에 관심이 있다면 이 책부터 읽으세요

자세한 설명은 인스타그램 글에 나와있어요-!

추천 책
- 로지컬 씽킹
- 바바라 민토 논리의 기술
- 데이터 문해력
- 그로스 해킹
- 데이터 분석가의 숫자유감
- 팩트풀니스
- 픽사 스토리텔링
- 가볍게 시작하는 통계학습
- 컴퓨터 시대의 통계적 추론
- 감으로만 일하던 김 팀장은 어떻게 데이터 좀 아는 팀장이 되었나
- 빅데이터를 활용한 예측마케팅 전략
- How to Measure Anything
- A/B 테스트

https://www.instagram.com/p/CxQTsV9vhyp/?img_index=1

Instagram

데이터 분석에 관심이 있다면 이 책부터 읽으세요(15권)

뤼튼 플랫폼 발표 때 지마켓 플러그인이 소개되었었지만, 좀 늦은감이 있긴 해도 우여곡절 끝에 드디어 반영되었습니다. 

생성 AI로 만들어갈 이커머스 고객경험은 어떨지 매우 궁금해집니다.

뤼튼 지마켓 플러그인이 드디어!

본 글은 2017년 Recsys에서 Google Research분들이 발표한 논문(Folding: Why Good Models Sometimes Make Spurious Recommendations)에 대한 리뷰입니다.

분명 최적화된 추천시스템임에도 이상한 추천 결과가 나오는 경우도 있다. 이 논문에서는 그 원인을 Data의 분포에서 찾는다. 

추천시스템의 데이터는 대부분의 user가 모든 종류의 item에 대해 평가한 경험을 가지고 있지 않는 특성을 지닌다. ex) 어린이는 성인 영화를 아예 평가한 경험이 없다. 

Folding 현상은 서로 관련 없는 그룹이 embedding space에서 매우 인접하게 되는 현상이다.

좋은 추천시스템을 만들기 위해서는 Folding현상이 일어나지 않도록, Missing Value들을 Related와 Not Related로 잘 구분하여 이해하는 작업이 중요하다.

실제 서비스에 적용할때, 이런 것들을 잘 구분하여, Missing Value들을 조금이라도 채울 수 있다면 더 좋은 추천 기술을 만들 수 있을 것이다.

https://dl.acm.org/doi/10.1145/3109859.3109911

Folding : 최적화된 추천시스템이 잘못된 케이스를 추천하는 이유

내가 게임 좀 좋아한다, 아니더라도 분명 들어봤을 법한 게임 리그 오브 레전드. 특히, e스포츠 강국 한국에서는, 스타크래프트의 전설을 이어 이어 세계적인 게이머들을 배출해내고 있는 게임이죠. 과연 이 리그오브레전드는 어떻게 지금의 모습까지 오게 되었는지, 특히 그들이 일하는 방법, 한국에서 뿌리내리기까지의 고군분투들이 궁금하지 않으신가요? 이런 가슴이 뛰는 이야기는 다른 사람들과 이야기를 나누며 그 여운을 나누는 즐거움이 더 클 것 같은데요.

[묘공단] 리그 오브 레전드 플레이어 중심주의 책모임

리그 오브 레전드! 라이엇 게임즈의 인사이드 이야기!  "리그 오브 레전드 플레이어 중심주의" 책모임을 하나 준비중입니다 :))  

리그 오브 레전드의 시작과 성장 그리고 한국 시장의 고군분투 이야기가 생동감 넘치게 듬뿍 담겨있는데요. 이런 심장 뛰는 이야기는 역시 여러 사람들과 함께하는 재미가 있죠!! :)) 

추석 연휴동안 즐겁게 읽고 함께 이야기해요!!! 

https://mint-background-55f.notion.site/982a63d628d84215bc8832ac21b95de6?pvs=4

묘공단 on Notion

[책모임] 리그 오브 레전드 플레이어 중심주의

TypeScript의 문제는 언어 스펙이 무분별하게 커지고 있다는 것. 언어 스펙이 크다보니 표현이 너무 다양하고 복잡해서 읽기가 너무 어려워져, Type 도입의 목표를 무색하게 만든다. 언어 스펙은 최소화하고, 툴링에 더 집중하고 일종의 표준 라이브러리를 많이 만들어주는 쪽으로 집중해주면 좋겠음.

Generate UI with simple text prompts. Copy, paste, ship.

v0.dev by Vercel Labs

Vercel이 실험적인 서비스인 v0.dev를 내놨습니다. 

AI 시대에 맞게 프롬프트를 입력하면 원하는 UI를 생성하고 코드까지 생성해 줍니다. Explorer 메뉴에 가면 사람들이 만든 프로프트와 UI를 볼 수 있고 트위터 등에서 검색해 보면 만들어지는 과정을 녹화한 영상들이 좀 있어서 어떻게 사용하는지 어느정도 이해할 수 있습니다.

AI를 잘 알지는 못하지만 꽤 재밌는 사이트라고 생각합니다. 현재는 TailwindCSS와 Shadcn UI를 사용해서 React 코드를 만들어 주고 있고 프로덕션 레디라고 하긴 하는데 프로덕션에도 많은 차이가 있으니 어느정도 UI에 대한 아이디어를 없고 사이드 프로젝트를 하기에는 유용하지 않을까 생각합니다. 

아직 private alpha라서 대기에 넣어놓고 승인되어야 사용할 수 있는데 빨리 승인을 받아서 써보고 싶네요. 

https://v0.dev/

AI로 그렸든 연필로 그렸든, 사람에게 감동을 주는 것은 작품 그 자체보다는 작품의 의미와 작품을 만들어 낸 작가의 스토리에 있다.

똑같이 멋진 사자 사진이어도, 동물원에서 찍은 것과, 세렝게티 초원에서 1년간 기다림끝에 찍은 사진 중 어떤 것이 더 감동적인가는 말 할 것도 없을 것.

Starting code for the GildedRose Refactoring Kata in many programming languages. - GitHub - emilybache/GildedRose-Refactoring-Kata: Starting code for the GildedRose Refactoring Kata in many programming languages.

GitHub - emilybache/GildedRose-Refactoring-Kata: Starting code for the GildedRose Refactoring Kata in many programming languages.

제가 진행하고 있는 스터디에서 공유 받았던 꽤 좋아 보이는 리팩토링 스터디 방법이 있어 공유합니다.

이미 작성된 날것의 코드를 요구사항에 맞추면서 리팩토링을 해보는 건데요. 정답이 없는 각자 리팩토링을 해보면서 서로 의견 나누고 코드 리뷰도 하다 보면 다양한 방법으로 보다 더 좋은 코드로 만들어 볼 수 있을 것 같습니다. 더불어 테스트 코드 또한 리팩토링을 하며 기능별로 구성해 볼 수 있을 것 같아 꽤 유용한 재료라 생각합니다.

어떤 분이 요구사항에 대해 친절하게도 번역을 해놓으신 게 있어 꼭 스터디가 아니더라도 홀로 작업해 봐도 좋을 것 같습니다.

https://github.com/emilybache/GildedRose-Refactoring-Kata

리팩토링 해보실? 지금 당장 도전해보세요!

Spring Boot Folder Structure (Best Practices). What is Spring Boot - If you don't know what spring boot is, I'm happy to share my previous article which is related to spring boot setup....

Spring Boot Folder Structure (Best Practices)

개발자들은 코드의 유지보수성, 팀원 간 협업 및 전체 개발 프로세스 개선을 위해 잘 구조화된 폴더 구조를 사용합니다. 스프링 부트 폴더 구조가 중요한 이유는 다음과 같습니다.

- 명확성 및 구성
- 모듈화
- 확장성
- 코드 재사용성

다음은 스프링 부트 애플리케이션에 대한 폴더 구조를 보여줍니다. (링크 참조)

📌 config

애플리케이션 설정을 구성하는 구성 클래스 또는 애플리케이션-레벨의 AppConfig를 포함합니다.

📌 controller

RESTful 컨트롤러 클래스를 포함합니다. 이 클래스는 들어오는 HTTP 요청을 처리하고 API Endpoint를 정의합니다.

📌 DTO

응용 프로그램의 다른 계층 또는 구성 요소 간에 데이터를 전송하기 위해 사용됩니다. 
- 비즈니스 로직이 포함되지 않음
- 데이터 운반이 주 목적

📌 Enums

Enum 클래스의 예시로는 SUCCESS, FAIL, PENDING등의 상태가 있습니다.

📌 model

도메인의 구조나 동작을 나타내는 데이터 모델 또는 엔티티를 저장합니다. 데이터베이스 테이블에 매핑되고 데이터의 속성과 관계를 정의합니다.

📌 repository

데이터 접근을 다루는 레파지토리 클래스를 포함합니다. 이러한 클래스는 일반적으로 ORM, JPA 등을 사용하여 데이터베이스와 상호작용 합니다.

📌 service

비즈니스 로직을 구현하는 서비스 클래스를 포함합니다. 

📌 utils

코드베이스를 체계적이고 모듈식으로 운영하기 위해 유틸리티 클래스를 배치합니다.

Medium

🕊️ 스프링 부트 폴더 구조 모범 사례

Product-Minded Software Engineer(이하 제품 중심 개발자)는 제품 자체에 큰 관심을 가지는 개발자들이다. 그들은 사람들이 제품을 어떻게 사용하는지 이해하려 하며 제품 관련 의사 결정에 참여하는 것을 즐긴다. 제품 중심 개발자의 주요 특징은 무엇이며, 어떻게 제품 중심 개발자로 성장할 수 있을까? 이 글에서는 제품 중심 개발자의 9가지 특징과 제품 중심 개발자로 성장하는 방법에 대해 설명한다.

제품 중심 개발자 (번역)

최근 개발자를 구분하는 명칭을 기존의 Frontend/Backend Engineer에서 Product/Platform Engineer로 바뀌어야한다는 Vercel 개발자의 글이 이슈가 되었는데요.

Product Engineer에 대한 좋은 글이 있어 번역해보았습니다.
( 전체 내용 보기 → https://www.jobless.blog/product-minded-engineer/?ref=careerly )

-------------------------------
📌 Product-Minded Software Engineer by Gergely Orosz

Product-Minded Software Engineer(이하 제품 중심 개발자)는 제품 자체에 큰 관심을 가지는 개발자들이다. 그들은 사람들이 제품을 어떻게 사용하는지 이해하려 하며 제품 관련 의사 결정에 참여하는 것을 즐긴다.

제품 중심 개발자의 주요 특징은 무엇이며, 어떻게 제품 중심 개발자로 성장할 수 있을까? 이 글에서는 제품 중심 개발자의 9가지 특징과 제품 중심 개발자로 성장하는 방법에 대해 설명한다.

1️⃣ 적극적으로 제품 아이디어/의견 제시
제품 중심 개발자는 기획을 그대로 받아들이고 구현하기만 하는 것에 만족하지 않는다. 다른 아이디어를 생각하고 이를 PM에게 제안한다. 그들은 기존 기획에 도전하며 더 나은 접근 방식을 제안하기도 한다.

2️⃣ 비즈니스, 사용자 행동 및 데이터에 대한 관심
제품 중심 개발자는 뜬구름 잡는 아이디어를 제시하지 않고, 비즈니스가 어떻게 작동하는지, 제품이 어떤 역할을 하는지, 그리고 비즈니스와 제품의 목표가 무엇인지 이해하기 위해 시간을 투자한 후 아이디어를 제시한다.

또한 그들은 제품이 사용자에게 어떤 영향을 미치고 사용자들이 어떤 가치를 얻는지 파악하기 위해 비즈니스 및 사용자 데이터에 가능한 직접 접근하려 한다.

3️⃣ "Why?"
제품 중심 개발자는 모든 것의 "Why?"를 이해하려 한다. 왜 이 기능을 제품에 추가해야 하며 다른 것이 아닌 이유는 무엇일까? 왜 더 간단하게 구축할 수 있는 것을 선택하지 않을까? 왜 더 확실한 방법을 선택하지 않을까? 그리고 그들은 자율적으로 답을 찾아 나선다. 그들은 PM과 다른 팀원들에게 많은 질문을 하지만 사람들을 그들을 성가시다고 생각하지 않는다. 좋은 관계를 구축해왔기 때문이다.

4️⃣ 뛰어난 커뮤니케이션 능력 및 비개발자들과의 좋은 관계
제품 중심 개발자는 개발팀 외부의 사람들과 대화하는 것을 좋아하며, 다른 분야가 어떻게 작동하는지 자세히 알고 싶어한다. 그들은 원활한 커뮤니케이터로서 다른 분야의 작업 방식을 더 자세히 이해하기 위해 노력한다. 종종 비개발자와 커피를 마시거나 점심을 함께하거나 회의실에서 이야기를 나누기도 한다.

5️⃣ 프로젝트 초기에 제품/엔지니어링 트레이드오프 제공
제품 중심 개발자는 제품의 "Why"와 엔지니어링 측면을 모두 이해하기 때문에 다른 사람들이 할 수 없는 제안을 할 수 있다. 예를 들어 제품 개발 범위와 비용(시간)을 계산할 때, 대부분의 개발자들은 엔지니어링 노력을 줄이려고 시도하고 줄인 노력이 기능 자체에 미치는 영향을 파악하려고 한다.

하지만 제품 중심 개발자는 양방향으로 파악한다. 엔지니어링 tradeoffs와 제품 tradeoffs를 모두 고려하는 것이다. 그들은 PM에게 제품 영향은 비슷하지만 엔지니어링 노력은 훨씬 적은 완전히 다른 기능을 구축하도록 제안할 수 있다.

제품과 엔지니어링 각각의 영향을 손쉽게 파악하는 것은 제품 중심 개발자가 가지는 고유한 강점이다. 그들은 엔지니어링 및 제품 통찰력을 사용하여 빠르게 양쪽 면을 오가며 가치 있는 결론에 도달한다.

6️⃣ 실용적인 Edge Case 처리
개발자들은 종종 Edge Cases를 잊고, 제품을 테스트하거나 최종 사용자로부터 피드백을 받은 후에 처리하곤 한다. 그리고 새 제품이나 기능의 모든 가능한 Edge Cases를 처리하는 데 많은 시간이 걸리곤 한다.

하지만 제품 중심 개발자는 빠르게 Edge Cases를 떠올리고 처리 방법을 생각하며, 때로는 엔지니어링 작업을 필요로하지 않는 해결책을 제공하기도 한다. 그들은 사랑받을 수 있는 최소한의 제품 개념(minimum lovable product concept)에 중점을 두고 Edge Cases와 처리 비용을 평가한다.

예를 들어, 1000명 중 1명의 사용자가 오류를 겪을 수 있다면 그들은 이것을 고치는 비용을 고려하고, 고치지 않았을 때 어떤 일이 일어날지 생각한다. '고객 지원이 이 경우에 도움을 줄 수 있을까?' '사용자는 다시 시도하고 다음 번에 성공할 수 있을까?' '제품을 약간 수정하여 이러한 Edge Case가 발생하지 않게 할 수 있을까?'

7️⃣ 빠른 제품 검증 주기
제품 중심 개발자는 작업 중인 기능의 개발이 완료되기 전에 초기 피드백을 얻는 창의적인 방법을 찾는다. 이것은 동료와 함께 테스트를 진행하거나, 진행 중인 작업 중에 제품 매니저에게 작업 중인 기능을 보여주거나, 베타 빌드에서 팀 bug bash를 조직하는 등 여러 가지 창의적인 방법일 수 있다. 그들은 계속해서 생각한다. 사람들이 이 기능을 우리가 생각한대로 사용하는지 확인하려면 어떻게 해야 할까?

8️⃣ End-to-end 제품 기능 오너십
대부분의 경험 많은 개발자들은 자신의 작업에 대해 end-to-end 오너십을 갖는다. 기획 명세를 받아들이고 구현하는 것에서 부터, 출시하고 올바르게 작동하는지 확인하는 것까지 모든 것이다. 그러나 제품 중심 개발자는 이보다 한 발 더 나아간다.

제품 중심 개발자들은 사용자 행동과 비즈니스 데이터를 얻은 후에만 작업이 완료되었다고 간주한다. 배포 이후에도 PM, 데이터 과학자 및 고객 지원 채널과 계속해서 소통하여 실제 세계에서 기능이 어떻게 사용되고 있는지 알아본다.

9️⃣ 반복 학습을 통한 강력한 제품 직감력
제품 중심 개발자에게 프로젝트는 일반적으로 다음과 같이 진행된다.

    • 이 기능이 왜 필요한지 정확히 이해하기 위해 많은 질문을 던진다.
    • 이를 테스트하고 수정된 사양에 포함된 일부 제안을 가져온다.
    • 빠르게 기능을 구축하고 피드백을 얻는다.
    • 기능을 출시한 후에도 예상과 일치하는지 계속해서 확인한다.
    • 예상과 달랐을 때, 결과를 깊이 파고들어 실제 세계에서의 제품 사용에 대해 새로운 것을 배운다.

각 프로젝트 이후, 제품 이해력이 깊어지고 더 나은 제품 직감력을 개발하기 시작한다. 시간이 흘러 프로젝트가 시작되기도 전에 상담을 받으려는 PM들의 요청이 늘어나면서 팀 밖에서 강한 평판을 쌓게 된다. 이 과정에서 제품 중심 개발자는 더 많은 커리어 성장 기회를 얻는다.

📌 제품 중심 개발자가 되기 위한 팁
사용자가 있는 제품을 개발하고 있다면, 제품 중심 마인드를 키우는 데 도움이 되는 몇 가지 팁이 있다. 이러한 팁은 제품 중심 개발자로 성장하는 데 효과적인 것으로 보인다.

1️⃣ 회사가 성공하는 이유를 이해하기. '비즈니스 모델은 무엇인가?' '어떻게 수익을 창출하나?' '어떤 부분이 가장 이윤이 많으며 어떤 부분이 가장 확장되고 있나? 왜 그럴까?'

2️⃣ PM과 좋은 관계를 구축하기. 대부분의 PM은 개발자를 멘토링할 기회에 기뻐한다. 개발자들이 제품에 관심을 가지면 자신의 역량을 확장할 수 있다. 물론 제품 관련 질문을 많이 하기 전에 좋은 관계를 구축하고, PM에게 제품에 더 많이 관여하고 싶다고 분명히 전하는 것이 좋다.

3️⃣ 사용자 리서치, CS 등 제품 작동 방식에 대해 자세히 알아보기. 디자이너, UX 디자이너, 데이터 과학자, 운영 팀 등, 사용자와 자주 상호 작용하는 사람들과 함께 작업한다.

4️⃣ 타당한 제안 제시하기. 비즈니스, 제품 및 이해관계자에 대한 좋은 이해를 갖게된 후에는 제품 개발에 대한 이니셔티브를 가져갈 수 있다.

5️⃣ 작업 중인 프로젝트에 대한 제품/엔지니어링 트레이드오프를 제공하기. 팀이 구축하려는 제품 기능에 대한 엔지니어링 트레이드오프뿐만 아니라 엔지니어링 노력을 줄일 수 있는 제품 트레이드오프도 제안한다. 그리고 이에 대한 피드백을 적극적으로 받는다.

6️⃣ PM에게 피드백 자주 요청하기. 훌륭한 제품 중심 개발자가 되기 위해서는 기존의 엔지니어링 기술에 더해 제품 기술을 개발해야 한다. 제품 기술에 대한 당신의 성과를 어떻게 평가하는지 가장 잘 아는 사람은 PM이다. 제품 제안이 얼마나 가치 있는지에 대한 피드백을 얻고, 추가 성장을 위한 아이디어를 얻기 위해 PM에게 연락한다.

번역: https://www.jobless.blog/product-minded-engineer/?ref=careerly

원글: https://blog.pragmaticengineer.com/the-product-minded-engineer

Jobless Han 🏄🏻‍♂️

제품 중심 개발자

PowerPoint Presentation

라지 시스템을 구현하고 운영 및 관리하는 개발자의 조언을 읽어보고 정리해서 올립니다.

1. 코드 작성과 시스템 설계 시작 전 아이디어를 브레인스톰해보고 간단하게 적어본다.
2. 구축하려는 시스템 관련 전문 지식이 많은 사람과 화이트보드 세션을 진행하고 충분한 검토 과정을 거친다.

📌 추가: '설계 검토' 기간이 길어지게 되면 급한 마음에 충분히 피드백을 반영하지 않고 급하게 시스템을 구축하는 경우가 생기는 것 같아요. 하지만 잘못된 (또는 미완성된) 설계를 바탕으로 시스템을 구현하면 나중에 문제가 생기고, 문제를 고치는 데 많은 시간을 낭비하게 되고 최악의 경우에는 시스템을 처음부터 새로 구현해야 할 수 있습니다. 이해관계자와 검토를 효과적으로 그리고 빠르게 하고 피드백을 충분히 반영한 후 완성된 설계를 바탕으로 구현하면 버그 고치는 데 드는 비용이 더 적습니다. 관련 글은 아래 '함께 읽으면 좋은 글'을 참조해 주세요.

3. 여러 가지 설계 옵션을 파악하고, 각 옵션의 절충점을 이야기 해본다.

📌 추가: 주니어시절 가장 많이 하는 실수는 여러 옵션을 파악하지 않고 절충점을 따지지 않는 것입니다. 장기적으로 봤을 때 좋은 옵션이 아닐 수 있고, 추후에 설계나 코드 작성을 다시 해야 하는 경우가 생깁니다. 따라서 한 문제를 직면했을 때 가능한 여러가지 옵션을 간단하게 적어 보고 절충점을 따져 보는 것이 좋은 것 같습니다. 

4. 가상 사용 케이스를 예상해 본다.
5. 시스템의 인터페이스를 잘 생각해 보고 좋은 인터페이스를 디자인해야 한다.
6. 최상의 솔루션을 채택하고 시스템 성능을 추정할 줄 아는 스킬은 중요하다.
7. 시스템을 설계하기 전 성능을 미리 예측해야 한다(예: back-of-envelope-calculations). (계산 관련 슬라이드 참고)

📌 추가: RPS와 Storage Utilization 계산법은 기본적으로 알아두는 게 좋습니다.

8. 진화할 수 있는 시스템에 미리 대응해 본다. 시스템이 10배 더 크게 확장되어도 잘 작동되어야 한다.
9. 기본 개발 구성 요소에 대해 잘 알고 있기. 예를 들어 코어 라이브러리, 기본 자료 구조, SSTables, protocol buffers, BigTables, MySQL, MapReduce. 그냥 기본 개념을 이해하는 게 아니라 어떻게 구현되는지 자세하게 알아야 한다.

📌 추가: 표면적으로 개념을 이해하는 것보다 깊게 파고들어 조금 더 많은 정보를 알게 되면 라지 스케일 시스템 개발, 운영 및 관리에 큰 도움이 됩니다. 슬라이드에는 간단하게 몇 가지 개념만 언급했지만, 궁금하신 분들은 관련 개념을 좀 더 자세하게 알아 보거나 라지 시스템 설계 관련 책을 읽어보면 좋을 것 같아요 (책 추천은 아래 '함께 읽으면 좋은 글'을 확인해 주세요).

10. 모든 요구 사항을 다 충족하는 시스템을 설계하려고 하지 말자.
11. Caching, parallelism을 통해 low latency 요구 사항 충족시키기.
12. Eventual Consistency와 Strong Consistency 모델 이해하기.
13. 데이터 엑세스 타임 이해하기.
14. 장애에 튼튼한 앱 구현하기 (Canary, 레플리케이션, load balancing).
15. 장애 발생시 전체 운영 중단 보다 부분 기능이 작동하는 것이 더 나은 유저 경험을 제공한다.
16. 충분한 모니터링, 로깅 그리고 디버깅 훅 추가하기. 

https://static.googleusercontent.com/media/research.google.com/en//people/jeff/stanford-295-talk.pdf

🪴 함께 읽으면 좋은 글

좋은 개발자가 알아야 할 버그 고치는데 드는 비용
https://careerly.co.kr/comments/75848

개발자가 꼭 봐야 할 책 - 데이터 중심 애플리케이션 설계
https://careerly.co.kr/comments/67004

초당 1억 건의 요청 S3 스케일의 스토리지 구축, 운영, 관리
https://careerly.co.kr/comments/88808

실력 향상을 위한 해외 유튜브 채널 10개
https://careerly.co.kr/comments/88786

개발자 성장에 도움 될 테크 블로그
https://careerly.co.kr/comments/87704

googleusercontent.com

라지 스케일 시스템을 구현하는 개발자가 아는 것

자바스크립트 개발자를 위한 package.json 파일 정리

백엔드와 프론트엔드를 불문하고 대부분의 자바스크립트 프로젝트에는 최상위 경로에 `package.json` 파일이 있는데요. 그런데 혹시 이 파일이 언제 어떻게 사용되는지를 정확히 알고 계신가요?

`package.json` 파일은 쉽게 말해서 우리의 자바스크립트 프로젝트를 npm 패키지 저장소와 상호 작용할 수 있도록 만들어주는 중요한 연결 고리인데요. 우리는 `package.json` 파일을 통해 npm 패키지 저장소로부터 어떤 패키지를 내려받아 설치해야 하는지, 또한 우리의 프로젝트를 다른 프로젝트에서 사용할 수 있도록 어떻게 npm 패키지 저장소에 올릴 것인지를 설정할 수 있습니다. 그러므로 `package.json` 파일에는 패키지 사용자 입장에서 설정이 필요한 부분이 있고, 패키지 발행자 입장에서 추가로 설정이 필요한 부분도 있죠.

여러분이 개발하시는 자바스크립트 프로젝트가 npm 패키지 저장소로 부터 패키지를 내려 받기만 한다면, `package.json` 파일에 대해서 아셔야 할 내용이 사실 얼마되지 않아요. `scripts`, `dependencies`, `devDependencies` 필드 정도만 아시면 충분할 것입니다.

하지만 개발하시는 자바스크립트 프로젝트를 npm 패키지 저장소에 올려서 다른 사람들도 쓸 수 있도록 공개하시고 싶다면, `package.json` 파일에 대해서 잘 알고 계셔야 하는데요. 그래서 이번 글에서는 자바스크립트 개발자로서 알아두면 좋은 `package.json` 파일에 대해서 자주 사용되는 필드 위주로 정리해보겠습니다.

📝 포스팅: https://www.daleseo.com/js-package-json/

Daleseo

기존에는 Node.js와 익스프레스를 사용해 웹 서버를 구축하고 서비스를 만들었습니다. 익스프레스를 사용해서 서버를 구축할 때, 먼저 고민했던 부분이 무엇이었나요? 바로 디렉터리 구조입니다. 별거 아닌 것 같지만 구조에 따라서 아키텍처가 변경되므로 간단한 문제는 아닙니다. NestJS는 이러한 문제를 해결한 웹 서버 프레임워크입니다. NestJS는 서버 개발 시의 아키텍처를 누구든 비슷하게 설계하도록 아키텍처 문제를 해결하는 데 중점을 두고 있습니다.

Node.js의 새로운 파트너 NestJS는 왜 탄생했을까? | 요즘IT

💭
Java Spring 이나 다른 언어의 백엔드 프레임워크를 다뤄보신 분들은 처음 Node.js 로 백엔드 개발을 접했을 때 당혹스러울 수 있습니다. 저는 그 이유가 지금까지는 Node.js 백엔드 생태계에 압도적인 퍼포먼스를 보여주는 프레임워크 없이 express.js 나 fastify 와 같은 경량형 라이브러리를 통해 많은 기능들을 직접 구현하거나 npmjs 를 통해 필요한 것들을 직접 추가하여 구현에 포함시키는 방식이 통상적으로 사용되었기 때문이라고 봅니다.

개인적으로는 express.js 류는 프레임워크라고 하기 보다는 서버 구성을 편리하게 하는 라이브러리 집합이라고 보는 것이 옳을 것 같고 Next.js 의 경우는 정확하게는 React.js 를 랩핑한 프론트엔드 프레임워크에 가깝습니다. 따라서 예전에 Node.js 백엔드 개발자로 오랜 기간 살아갈 떄도 "제발 누가 Node.js + TypeScript 백엔드 프레임워크 만들어줘~~~" 노래를 불렀던 기억이 있네요.

Nest.js는 알게된지 한 4년 정도 되었는데, 그동안 관련 소식들을 꾸준히 Follow-up 하고 있었고 국내에서도 사용하는 기업들이 늘어나고 있어서 언젠가는 국내에서도 괜찮은 생태계가 조성될 것 같다는 근거 없는 믿음이 좀 있습니다. Nets.js의 백엔드 동작 방식은 다른 언어나 프레임워크의 동작 방식과 조금 다른 생소한 개념들이 일부 있지만 (Module 이라던지.. Provider 라던지...) 그 외 나머지 것들은 시장을 지배하고 있는 프레임워크에서 아이디어를 가져온 것들이 많아 생각보다 금방 적응 할 수 있습니다. (특히 Spring Boot 개발자들이라고 생각함 ㅇㅇ..)

아무튼 Node.js 로 조금 더 단단한 백엔드 아키텍쳐와 효율적인 생산성을 고민하고 있다면 Nest.js 한번 알아보시는 것도...? ㅎㅎ

Wishket

🔥 Nest.js 붐은 반드시 온다.

Bun 1.0

Node보다 5배 빠른 Bun이 드디어 1.0 정식 릴리즈가 되었습니다.
https://bun.sh/blog/bun-v1.0

---
Bun 1.0 is finally here.

Bun is a fast, all-in-one toolkit for running, building, testing, and debugging JavaScript and TypeScript, from a single file to a full-stack application. Today, Bun is stable and production-ready.
---

Bun은 Node의 역할을 대체하면서 동시에 Node와 달리 Typescript와 JSX 컴파일러를 기본으로 탑재를 하고 있습니다.

Bun의 가장 큰 특징은 단언컨데 성능이구요. 최소 4배에서 6배까지 더 나은 성능을 낸다고 하네요.

그리고 Hot Reloading을 지원해서 코드 수정시 즉각 코드에 반영되는 기능도 기본 기능으로 탑재하고 있습니다.

앞으로 Node을 얼마나 대체할 수 있을지 Deno와는 다른 행보를 어떻게 이어갈지 궁금해지네요.

ps.
개인적으로 최근에는 Node쪽 개발을 안하다보니 Bun으로 개발 찍먹보다는,
Vite를 Bun으로 한번 돌려보는 것은 해보려고 합니다.
https://bun.sh/guides/ecosystem/vite

Next.js도 Bun으로 돌릴 수 있어요. Bun의 성능체감은 느껴볼 수 있지 않을까 생각봅니다.
https://bun.sh/guides/ecosystem/nextjs

Bun 1.0 is finally here

모던 바닐라 자바스크립트로 본 반응성을 구현하는 패턴 | bohyeon.dev

오늘 소개해드릴 글은 메디스트림의 서보현님이 번역해주신 글입니다. 현재 프런트엔트 생태계에는 다양한 프레임워크와 그에 따른 반응형 시스템이 있습니다. 유저의 상호작용과 서버와의 통신, UI 업데이트 등 일련의 작업을 처리함에 있어 핵심은 반응성을 구현하는 방식에 있다고 할 수 있습니다. 이번 글은 반응형 시스템을 구현하는 데 활용할 수 있는 패턴과, 구현을 위한 자바스크립트의 다양한 내장 기능을 소개하고 있습니다. 바닐라 자바스크립트를 사용해 직접 반응형 시스템을 구축해보는데 더해 최신의 방법을 활용해 효과적으로 반응성을 구현해보고자 한다면 읽어보기 좋은 글입니다.

> 글 링크: https://bit.ly/pretvty

Ktseo41

모던 바닐라 자바스크립트로 본 반응성을 구현하는 패턴

제리가 만나러 갑니다! 오늘도 당근에서 개발자로 재직하고 계신 ✨초특급 파워블로거✨ 하조은님을 만났습니다! 조은님이 생각하는 개발 로드맵은 어떤건지, 커리어 패스는 어떻게 쌓아가면 좋을지 함께 이야기 나누었습니다🙌🏻 오늘도 재밌게 보셨다면 좋댓구알 부탁드려요🥕 #당근마켓 #개발자 #인터뷰 #하조은 #제만갑 #IT 🥕조은님 1편 보러가기 https://youtu.be/yV4i3-uuxxw 🧑🏻‍💻하조은님 블로그 https://hajoeun.b

당근샐러드 개발자가 제안하는 개발 로드맵 | 제만갑 | 하조은 | 당근마켓 | 네카라쿠배당토 | IT | 프로그래밍 | 엔지니어 | 블로그 | ENTJ | 연봉 | 뱅크샐러드

2편은 '당근샐러드 개발자가 제안하는 개발 로드맵'이라는 제목으로 정리해주셨네요. 유튜브 특성에 맞춰 유머와 과장이 포함된 제목인 점 이해해주세요. 

실제론 개발 로드맵에 대해선 정답이 없는 것 같다는 내용을 담고 있습니다. 그 외에도 개발자의 커리어, 도메인, 역량 등에 대해 이야기 나눴습니다. 제가 이해하고 있는 것만 이야기하려고 노력했습니다! 재밌게 봐주세요.

https://youtu.be/gYPOhwi87AU?si=g2t2nIRS8FwAET1n

YouTube

📺 개발 로드맵, 정답이 있다고 믿고 싶은 게 아닐까요?

개발자라면 공부는 해야 한다. 언제까지 구닥다리 방식으로 개발 운영할 건데? 오늘 짠 내 코드 내일이면 리거시다.

그래도 팀내 개발자가 맨날 컨퍼런스 간다하고 세미나만 하면 속 터지긴 한다. 일은 해야지?

그래서 내가 만든 룰은 그라운드 리서치도 지라로 만들어서 배정하고 아래 같은 분위기를 조성한다. 

- 내가 참석한 컨퍼런스 기술 이벤트의 전파교육은 필수, 문서화 정리도 필수, 실무적용도 필수다. 적어도 말미에 실무에 적용할 것들을 뽑아보라고 한다. 
- 스터디는 주제를 정해 팀스터디로 진행한다. 그래도 장애가 났는데, 주요 프로젝트 배포를 해야 하는데 세미나? 말도 안된다. 끊거나 중단하고 문제해결부터 하고 재개한다. 
- 되도록 회사의 기술 챌린지를 공유하고 이걸 해결하는 방향으로 스터디 주제를 권유한다. JPA 도입, 쿠버네티스 전환 등등 
- 내가 시간이 안되면 주변 CTO 나 기술리더 품앗이로 구루 세미나를 한다. 
- 관심분야를 물어보고 되도록 그 분야 일을 맡겨서 일로 배우게 유도한다. 

물론 모두 당사자가 공부하고 내 걸로 만들길 좋아하는 경우다. 억지로 공부 시켜봤자 욕만 먹는다. 그리고 주어진 일은 잘 하는데 공부하는 거 싫어하는 분들 있다. 뭐 나름 장점 있지만 그럼 리더감은 아니다. 

그럼 스스로는 어떻게 공부하냐고? 일단 난 호기심이 많다. 그리고 내가 관심 있는 분야인데 저 사람이 아는데 내가 모르는게 너무 싫다. 

내 공부 방식은 일단 개념잡기와 abstract 읽기, 상세 읽기 후에 how to start 시도. 일단 짜보고 시작하는 경우들도 많은데 난 좀 반대다. 컨셉 이해하고 상세를 봐야 감이 오는 스타일? 

아무튼 이 놈의 직업은 평생 공부는 해야 하는 직업! 그래도 아직 놓고 싶지는 않으니 은퇴까지는 열공!!

개발자 자기계발 & 일의 밸런싱

WEF, 韓스타트업 찜했다...기술선도기업 선정

WEF, 韓스타트업 찜했다…마키나락스, 두브레인, 스탠다드에너지 기술선도기업(테크파이오니어) 선정 

매년 다보스포럼을 개최하는 세계경제포럼이 매년 뽑는 '기술선도기업 2021’ 100개기업에 한국스타트업 3곳이 선정. 3곳이나 뽑힌 것은 이번이 처음. 축하드립니다!

Naver

프로덕트 매니저/서비스 기획

한주현

KD Kim

뉴스레터 [썸원의 SUMMARY & EDIT] 운영자

프로젝트 썸원 Content Owner

Somewon Yoon

‘프로젝트 썸원’이라는 개인 회사를 운영하고 있으며, 양질의 콘텐츠가 꾸준히 만들어지고, 좋은 콘텐츠가 더 잘 경험되는데 기여하고자 여러 프로젝트를 진행하고 있습니다. 

썸원 레터 구독 : https://page.stibee.com/subscriptions/50103

공동대표

기자

본부장

센터장

경영학과

경영대학원

임정욱

호기심 많은 관찰자입니다. 매일 아침 조간 신문 뉴스와 IT뉴스를 챙겨보고 흥미로운 내용을 SNS에 메모해 두는 습관을 10년 넘게 유지하고 있습니다. 독서보다 넷플릭스와 유튜브를 너무 많이 보는 것 같아서 걱정입니다. 막 벤처투자자로 커리어를 바꾸는 참입니다.

댓글 0