네이버 지도

네이버지도를 이렇게 잘 활용하는 분이 계시다니...ㅠㅠ
이런 공유 너무 감사하네요ㅠㅠ 저도 더 널리 공유해봅니다...!

https://map.naver.com/p/favorite/myPlace/folder/3fb30df4b4734a27ab4f0f5e758b971f?c=6.00,0,0,0,dh

네이버지도를 이렇게 잘 활용하는 분이 계시다니...ㅠㅠ이런 공유 너무 감사하네요ㅠㅠ 저도 더 널리 공유해봅니다...! https://map.naver.com/p/favorite/myPlace/folder/3fb30df4b4734a27ab4f0f5e758b971f?c=6.00,0,0,0,dh

map.naver.com

일하기 좋은 카페/장소 리스트 🗺️

안녕하세요. 공유해주셔서 고맙습니다. 제가 이 리스트를 유지 관리하고 있고, 페이스북 그룹 "모각코" 운영진 활동의 일환으로 관리하고 있습니다. :-D

커피한잔에서 만나서 결혼한 커플들의 이야기를 소개합니다.


명예의 전당

조건문에 ! 하나를 빼먹어서 생긴 버그.
이 버그를 2년 동안이나 모르고 있다가 얼마 전에 발견했습니다.

제가 만들고 있는 소개팅 서비스인 커피한잔에서는 채팅방이 오랫동안 지속될 경우 사용자들에게 알림 메일이 발송됩니다.
만약 커플이 되었다면 저에게 알려달라는 메일.

이 메일이 버그로 인해 무려 2년 가까이 발송이 되지 않고 있었던 것.

참나, 이걸 모르고 있었다니.
테스트를 안 짜둔 걸 반성하는 한 편, 서비스 감각이 이렇게 무뎌졌나 싶어서 스스로에게 화가 나기도 했습니다.

코드를 정리하고, 그동안 안 보내진 메일을 발송했더니…
사용자들에게 답장이 속속 오기 시작합니다.
무려 15 커플이 이미 결혼했다고. 감사하다고.

헉! 메일을 받을 때마다 놀랍고 기뻤습니다.
이 소중한 메일들을 잘 정리하고 싶다는 생각이 들어서 아예 웹페이지로 만들어버렸습니다.

8년 가까이 서비스하면서 생긴 추억이자 자랑거리가 됐습니다.

https://withcoffee.app/couples

조건문에 ! 하나를 빼먹어서 생긴 버그. 이 버그를 2년 동안이나 모르고 있다가 얼마 전에 발견했습니다. 제가 만들고 있는 소개팅 서비스인 커피한잔에서는 채팅방이 오랫동안 지속될 경우 사용자들에게 알림 메일이 발송됩니다. 만약 커플이 되었다면 저에게 알려달라는 메일. 이 메일이 버그로 인해 무려 2년 가까이 발송이 되지 않고 있었던 것. 참나, 이걸 모르고 있었다니. 테스트를 안 짜둔 걸 반성하는 한 편, 서비스 감각이 이렇게 무뎌졌나 싶어서 스스로에게 화가 나기도 했습니다. 코드를 정리하고, 그동안 안 보내진 메일을 발송했더니… 사용자들에게 답장이 속속 오기 시작합니다. 무려 15 커플이 이미 결혼했다고. 감사하다고. 헉! 메일을 받을 때마다 놀랍고 기뻤습니다. 이 소중한 메일들을 잘 정리하고 싶다는 생각이 들어서 아예 웹페이지로 만들어버렸습니다. 8년 가까이 서비스하면서 생긴 추억이자 자랑거리가 됐습니다. https://withcoffee.app/couples

커피한잔

커피한잔 명예의 전당

SQL로 데이터를 다룰 때마다 Window 함수는
매우 다양한 영역에서 활용되고 있어요.

먼저 Window 함수는 한 번에 여러 행을 묶어서 처리 할수 있는 함수로,
GROUP BY 구문과 매우 비슷하지만, 원형의 데이터를 변형시키지 않고도, 다양한 함수를 여러 행에 동시에 사용할 수 있습니다.

Window 함수는 먼저 아래의 형태로 이루어져 있어요.

[집계 함수(칼럼) OVER([PARTITION BY 컬럼] [ORDER BY 컬럼])]

Window 함수가 가장 많이 사용되는 몇 가지 예시는 다음과 같습니다:

✅ 순위 매기기 [RANK, DENSE_RANK, ROW_NUMBER, LAG, LEAD]

데이터를 특정 기준에 따라 순위를 매기는 데 유용합니다. 예를 들어, 판매 부서에서 매출액이 높은 상위 3명의 직원을 찾을 때 순위 함수를 사용할 수 있습니다.

✅ 이동 계산 [AVG]

시계열 데이터에서 이동 평균을 계산하여 데이터의 추세를 파악하는 데 사용됩니다. 이동 평균은 데이터의 불규칙한 요소를 보다 부드럽게 표현하는 데 도움이 됩니다.

✅ 누적 합계 또는 누적 평균 [SUM, AVG]

일정 기간 동안의 누적 합계나 평균을 계산하는 데 사용됩니다. 예를 들어, 매일 증가하는 재고 수량을 누적 합산하여 전체 재고의 추이를 파악할 수 있습니다.

✅ 그룹별 집계 [SUM, MAX, MIN]

특정 그룹에 대한 집계를 계산할 때 윈도우 함수가 유용합니다. 예를 들어, 지역별로 매출액의 합계를 구하거나 부서별로 최고 월급을 찾는 등의 작업에 활용됩니다.

✅ 백분위수 계산 [PERCENT_RANK, NTILE]

데이터의 분포를 이해하고 이상치를 탐지하기 위해 백분위수를 계산할 때 윈도우 함수가 사용됩니다. 특정 백분위수보다 큰 값이나 작은 값들을 확인하여 데이터의 특성을 분석할 수 있습니다.

#데이터리차드 #윈도우함수 #사용사례 #SQL

SQL로 데이터를 다룰 때마다 Window 함수는 매우 다양한 영역에서 활용되고 있어요. 먼저 Window 함수는 한 번에 여러 행을 묶어서 처리 할수 있는 함수로, GROUP BY 구문과 매우 비슷하지만, 원형의 데이터를 변형시키지 않고도, 다양한 함수를 여러 행에 동시에 사용할 수 있습니다. Window 함수는 먼저 아래의 형태로 이루어져 있어요. <code >[집계 함수(칼럼) OVER([PARTITION BY 컬럼] [ORDER BY 컬럼])]</code> Window 함수가 가장 많이 사용되는 몇 가지 예시는 다음과 같습니다: ✅ 순위 매기기 [RANK, DENSE_RANK, ROW_NUMBER, LAG, LEAD] 데이터를 특정 기준에 따라 순위를 매기는 데 유용합니다. 예를 들어, 판매 부서에서 매출액이 높은 상위 3명의 직원을 찾을 때 순위 함수를 사용할 수 있습니다. ✅ 이동 계산 [AVG] 시계열 데이터에서 이동 평균을 계산하여 데이터의 추세를 파악하는 데 사용됩니다. 이동 평균은 데이터의 불규칙한 요소를 보다 부드럽게 표현하는 데 도움이 됩니다. ✅ 누적 합계 또는 누적 평균 [SUM, AVG] 일정 기간 동안의 누적 합계나 평균을 계산하는 데 사용됩니다. 예를 들어, 매일 증가하는 재고 수량을 누적 합산하여 전체 재고의 추이를 파악할 수 있습니다. ✅ 그룹별 집계 [SUM, MAX, MIN] 특정 그룹에 대한 집계를 계산할 때 윈도우 함수가 유용합니다. 예를 들어, 지역별로 매출액의 합계를 구하거나 부서별로 최고 월급을 찾는 등의 작업에 활용됩니다. ✅ 백분위수 계산 [PERCENT_RANK, NTILE] 데이터의 분포를 이해하고 이상치를 탐지하기 위해 백분위수를 계산할 때 윈도우 함수가 사용됩니다. 특정 백분위수보다 큰 값이나 작은 값들을 확인하여 데이터의 특성을 분석할 수 있습니다. #데이터리차드 #윈도우함수 #사용사례 #SQL

SQL - Window 함수 사용 사례

2012년 일년 놀기로 하고 10월이 되면서 뭘할까 고민하다가 야후 때 옛 동료로부터 연락이 왔다. 본인이 조인한 Polyvore라는 회사로 한번 놀러와 보라는 거였다. Polyvore는 여성패션만 집중하는 Pinterest라고 이해하면 된다. 사실 Polyvore가 2007년에 만들어졌고 Pinterest가 2년 후인 2009년에 창업되었는데 Pinterest가 Polyvore 아이디어를 카피해서 여성패션 카테고리라는 제약을 없앴다고 보는 것이 맞다. 암튼 야후와 구글 출신 창업자들과 그 지인들로 구성이 된 역량이 뛰어난 팀이었고 오피스의 위치나 분위기도 너무 좋아서 2012년 12월에 조인했다.

원래 내 전문 분야는 검색 엔진이었기에 검색 엔진 개발과 이어서 추천 엔진 개발을 목표로 조인했지만 검색어 로그 등 검색엔진 랭킹을 최적화하기 위한 데이터가 쌓여있지 않았다. 그래서 본의 아니게 먼저 검색어 로그를 S3에 수집해두는 일을 했고 AWS 환경을 사용하는 회사였기에 찾아보니 그때 Redshift가 베타 버전으로 나와 있기에 거기에 다양한 정제된 데이터들을 테이블 형태로 쌓기 시작했고 이때부터 사실 SQL을 처음 제대로 사용해보기 시작했다 :) S3에 적재된 검색어 로그를 처리하는데 Hive를 사용했다. 이 때 처음으로 Python도 배워서 데이터 처리 코드를 작성해서 크론잡으로 실행했는데 그전까지 나는 C++와 자바만 사용해봤고 처음으로 스크립트 언어를 배웠다. 나중에 보니 Redshift가 데이터 웨어하우스였고 데이터 처리하는 코드가 데이터 파이프라인이었고 내가 앞단에 했던 일이 데이터 엔지니어링이었다. 여기에 다른 엔지니어들과 분석가들을 채용해서 데이터 팀을 만들었고 이 과정에서 많은 시행착오가 있었다. 다음으로 조인했던 유데미에서는 이 시행착오 덕분에 데이터 팀 빌딩을 훨씬더 효율적으로 할 수 있었다.

그렇게 시작된 데이터팀 경력을 통해 깨달은 점은 데이터 팀이 기본적으로 지원조직이란 점이다. 그 이유는 직접 뭔가 매출을 내거나 사용자와 직접 마주치는 팀이 아닌 다른 팀들이 각자 맡은 역할을 잘 할 수 있게 도와주는 팀이기 때문이다. 물론 데이터로 돈을 버는 회사라면 다른 이야기다. 하지만 대부분의 회사는 본업이 있고 그 본업을 잘 하기 위해서 데이터를 활용하는 형태가 된다. 즉 데이터가 새로운 석유라고 하지만 실제 회사에서 일을 할 때는 데이터 팀에 스포트라이트가 가는 일은 많지 않다. 지원조직이기 때문이다.

그러면 데이터 팀의 미션은 무엇일까? Airbnb 데이터 팀의 미션으로부터 훔친 내 정의는 다음과 같다: "신뢰할 수 있는 데이터로 부가 가치를 만들어낸다"

부가 가치라고 했는데 데이터로 돈을 버는 곳이라면 "매출"이라고 대신해도 되겠지만 그게 아니라면 간접적으로 매출내는 걸 도와주게 된다는 거다. 그러면 어떤 부가 가치가 있을까? 다음 2가지가 있다.

 1. 데이터를 바탕으로 과학적인 의사결정을 할 수 있게 도와준다 (Decision Science). 보통 데이터 분석가가 이 일을 수행한다. 여기에는 Data Driven Decision과 Data Informed Decision 두 가지가 존재한다.
 2. 데이터를 바탕으로 사용자의 서비스 사용 경험을 개선한다 (Product Science). 보통 데이터 과학자가 이 일을 머신 러닝이란 형태로 수행한다.

1과 2가 가능하려면 데이터 엔지니어가 인프라를 만들어주어야 한다. 이게 바로 데이터 웨어하우스와 데이터 파이프라인인데 가장 간단한 형태의 데이터 인프라라고 볼 수 있다. 다음 포스팅에서는 데이터 인프라가 무엇인지 조금더 자세히 설명해보고 이어서 데이터 기반 의사결정과 데이터 기반 서비스 개선에 대해 차례로 알아볼 예정이다.

2012년 일년 놀기로 하고 10월이 되면서 뭘할까 고민하다가 야후 때 옛 동료로부터 연락이 왔다. 본인이 조인한 Polyvore라는 회사로 한번 놀러와 보라는 거였다. Polyvore는 여성패션만 집중하는 Pinterest라고 이해하면 된다. 사실 Polyvore가 2007년에 만들어졌고 Pinterest가 2년 후인 2009년에 창업되었는데 Pinterest가 Polyvore 아이디어를 카피해서 여성패션 카테고리라는 제약을 없앴다고 보는 것이 맞다. 암튼 야후와 구글 출신 창업자들과 그 지인들로 구성이 된 역량이 뛰어난 팀이었고 오피스의 위치나 분위기도 너무 좋아서 2012년 12월에 조인했다. 원래 내 전문 분야는 검색 엔진이었기에 검색 엔진 개발과 이어서 추천 엔진 개발을 목표로 조인했지만 검색어 로그 등 검색엔진 랭킹을 최적화하기 위한 데이터가 쌓여있지 않았다. 그래서 본의 아니게 먼저 검색어 로그를 S3에 수집해두는 일을 했고 AWS 환경을 사용하는 회사였기에 찾아보니 그때 Redshift가 베타 버전으로 나와 있기에 거기에 다양한 정제된 데이터들을 테이블 형태로 쌓기 시작했고 이때부터 사실 SQL을 처음 제대로 사용해보기 시작했다 :) S3에 적재된 검색어 로그를 처리하는데 Hive를 사용했다. 이 때 처음으로 Python도 배워서 데이터 처리 코드를 작성해서 크론잡으로 실행했는데 그전까지 나는 C++와 자바만 사용해봤고 처음으로 스크립트 언어를 배웠다. 나중에 보니 Redshift가 데이터 웨어하우스였고 데이터 처리하는 코드가 데이터 파이프라인이었고 내가 앞단에 했던 일이 데이터 엔지니어링이었다. 여기에 다른 엔지니어들과 분석가들을 채용해서 데이터 팀을 만들었고 이 과정에서 많은 시행착오가 있었다. 다음으로 조인했던 유데미에서는 이 시행착오 덕분에 데이터 팀 빌딩을 훨씬더 효율적으로 할 수 있었다. 그렇게 시작된 데이터팀 경력을 통해 깨달은 점은 데이터 팀이 기본적으로 지원조직이란 점이다. 그 이유는 직접 뭔가 매출을 내거나 사용자와 직접 마주치는 팀이 아닌 다른 팀들이 각자 맡은 역할을 잘 할 수 있게 도와주는 팀이기 때문이다. 물론 데이터로 돈을 버는 회사라면 다른 이야기다. 하지만 대부분의 회사는 본업이 있고 그 본업을 잘 하기 위해서 데이터를 활용하는 형태가 된다. 즉 데이터가 새로운 석유라고 하지만 실제 회사에서 일을 할 때는 데이터 팀에 스포트라이트가 가는 일은 많지 않다. 지원조직이기 때문이다. 그러면 데이터 팀의 미션은 무엇일까? Airbnb 데이터 팀의 미션으로부터 훔친 내 정의는 다음과 같다: "신뢰할 수 있는 데이터로 부가 가치를 만들어낸다" 부가 가치라고 했는데 데이터로 돈을 버는 곳이라면 "매출"이라고 대신해도 되겠지만 그게 아니라면 간접적으로 매출내는 걸 도와주게 된다는 거다. 그러면 어떤 부가 가치가 있을까? 다음 2가지가 있다. <ol ><li>데이터를 바탕으로 과학적인 의사결정을 할 수 있게 도와준다 (Decision Science). 보통 데이터 분석가가 이 일을 수행한다. 여기에는 Data Driven Decision과 Data Informed Decision 두 가지가 존재한다. </li><li>데이터를 바탕으로 사용자의 서비스 사용 경험을 개선한다 (Product Science). 보통 데이터 과학자가 이 일을 머신 러닝이란 형태로 수행한다. </li></ol> 1과 2가 가능하려면 데이터 엔지니어가 인프라를 만들어주어야 한다. 이게 바로 데이터 웨어하우스와 데이터 파이프라인인데 가장 간단한 형태의 데이터 인프라라고 볼 수 있다. 다음 포스팅에서는 데이터 인프라가 무엇인지 조금더 자세히 설명해보고 이어서 데이터 기반 의사결정과 데이터 기반 서비스 개선에 대해 차례로 알아볼 예정이다.

데이터 이야기 #1: 데이터팀의 미션은 무엇이고 어떻게 조직에 기여하는가

데이터 직무 별로 어떤 포트폴리오를 만들어야 하는지 궁금하신가요?
아래의 마인드 맵을 통해 데이터 직무별 포트폴리오용 주제들을 살펴보세요 :)

데이터 과학자
↳ 탐색적 데이터 분석 (EDA)
↳ A/B 실험 (A/B testing)
↳ 머신러닝 (Machine Learning)
↳ 인과 추론 (Causal Inference)

머신러닝 엔지니어
↳ 머신러닝 프로젝트 (ML project)
↳ 데이터 전처리 프로젝트 (Preprocessing)
↳ 모델 평가 및 튜닝 (Modeling evaluation & fine-tuning)
↳ 빅데이터 처리 기술 (Spark & Hadoop)

데이터 엔지니어
↳ ETL 개발
↳ 데이터베이스 관리 (DBA)
↳ 데이터 파이프라인 자동화 (Data Pipeline)
↳ 클라우드 데이터 플랫폼 (Cloud Data Platform)

데이터 분석가
↳ SQL
↳ 고급 엑셀 (Advanced Excel)
↳ 데이터 시각화 (Data Visualization)
↳ 지표 정의 및 보고 (KPI metrics)

#데이터리차드 #데이터직무 #포트폴리오 #프로젝트

데이터 직무 별로 어떤 포트폴리오를 만들어야 하는지 궁금하신가요?아래의 마인드 맵을 통해 데이터 직무별 포트폴리오용 주제들을 살펴보세요 :) 데이터 과학자↳ 탐색적 데이터 분석 (EDA)↳ A/B 실험 (A/B testing)↳ 머신러닝 (Machine Learning)↳ 인과 추론 (Causal Inference) 머신러닝 엔지니어↳ 머신러닝 프로젝트 (ML project)↳ 데이터 전처리 프로젝트 (Preprocessing)↳ 모델 평가 및 튜닝 (Modeling evaluation &amp; fine-tuning)↳ 빅데이터 처리 기술 (Spark &amp; Hadoop) 데이터 엔지니어↳ ETL 개발↳ 데이터베이스 관리 (DBA)↳ 데이터 파이프라인 자동화 (Data Pipeline)↳ 클라우드 데이터 플랫폼 (Cloud Data Platform) 데이터 분석가↳ SQL↳ 고급 엑셀 (Advanced Excel)↳ 데이터 시각화 (Data Visualization)↳ 지표 정의 및 보고 (KPI metrics) #데이터리차드 #데이터직무 #포트폴리오 #프로젝트

데이터 직무별 포트폴리오용 프로젝트 주제들

피그마 등 UXUI 툴 및 디자인 스킬은 물론 쉽게 배울 수 없는 MVP 설계, 고객 여정 지도 제작에 이르는 실무 풀 프로세스, 거기에 효율 극대화 AI 활용법까지 한번에 배워보세요.

우디의 UXUI 실무 파이프라인 올인원 클래스

안녕하세요, 프로덕트 디자이너 우디입니다.

콜로소와 함께 준비한 온라인 평생시청 클래스,
<프로덕트 디자인 실전 가이드, MVP 기능 정의부터 디자인, PMF 검증까지> 클래스 전체 회차가 공개되었습니다!

제 클래스를 기다려주신 많은 분들께 진심으로 감사드리며, 자세한 커리큘럼 내용은 전달드린 링크를 통해 확인해 주시길 바랍니다!

감사합니다🙏

안녕하세요, 프로덕트 디자이너 우디입니다. 콜로소와 함께 준비한 온라인 평생시청 클래스,&lt;프로덕트 디자인 실전 가이드, MVP 기능 정의부터 디자인, PMF 검증까지&gt; 클래스 전체 회차가 공개되었습니다! 제 클래스를 기다려주신 많은 분들께 진심으로 감사드리며, 자세한 커리큘럼 내용은 전달드린 링크를 통해 확인해 주시길 바랍니다! 감사합니다🙏

coloso.co.kr

🚀 프로덕트 디자인 A to Z! MVP부터 PMF까지, 콜로소 오픈!

SQL을 처음부터 제대로 공부하고 싶지만, 어떻게 공부해야 할지 망설이고 있나요?

아래의 SQL 마인드맵으로 초보 단계부터 고급 단계까지 차근차근 공부해봐요.

 1. 초보 단계 (Basic)
    * SELECT
    * FROM
    * WHERE
    * ORDER BY
    * AGGREGATE
    * GROUP BY
    * LIMIT
 2. 중급 단계 (Intermediate)
    * LEFT JOIN
    * INNER JOIN
    * LIKE
    * IN
    * CASE WHEN
    * HAVING
    * UNION ALL
 3. 고급 단계 (Advanced)
    * SUBQUERY
    * CTE (WITH)
    * STORED PRECEDURE
    * TRIGGER
    * WINDOW FUNCTION
 4. 연습 단계 (Practice)
    * BASIC SQL PROJECT (SQL 기초 프로젝트)
    * INTERMEDIATE SQL PROJECT(SQL 중급 프로젝트)
    * ADVANCED SQL PROJECT(SQL 고급 프로젝트)

#데이터리차드 #SQL #로드맵

SQL을 처음부터 제대로 공부하고 싶지만, 어떻게 공부해야 할지 망설이고 있나요? 아래의 SQL 마인드맵으로 초보 단계부터 고급 단계까지 차근차근 공부해봐요. <ol ><li>초보 단계 (Basic)<ul ><li>SELECT</li><li>FROM</li><li>WHERE</li><li>ORDER BY</li><li>AGGREGATE</li><li>GROUP BY</li><li>LIMIT</li></ul></li><li>중급 단계 (Intermediate)<ul ><li>LEFT JOIN</li><li>INNER JOIN</li><li>LIKE</li><li>IN</li><li>CASE WHEN</li><li>HAVING</li><li>UNION ALL</li></ul></li><li>고급 단계 (Advanced)<ul ><li>SUBQUERY</li><li>CTE (WITH)</li><li>STORED PRECEDURE</li><li>TRIGGER</li><li>WINDOW FUNCTION</li></ul></li><li>연습 단계 (Practice)<ul ><li>BASIC SQL PROJECT (SQL 기초 프로젝트)</li><li>INTERMEDIATE SQL PROJECT(SQL 중급 프로젝트)</li><li>ADVANCED SQL PROJECT(SQL 고급 프로젝트)</li></ul></li></ol> #데이터리차드 #SQL #로드맵

SQL 학습 로드맵

제가 데이터 파이프라인을 설명할 때 자주 사용하는 비유로 물이 흐르는 상수도를 떠올리는 것입니다. 물이 수도관을 통해 각 가정에 공급되는 과정과 데이터가 파이프라인을 통해 필요한 곳으로 이동하는 과정을 비교해보면 이해가 더 쉬워질 것입니다.

 1. 수원지: 원천 데이터 (데이터 레이크)
 * 데이터 파이프라인의 첫 출발점은 '수원지'에 해당하는 원천 데이터입니다. 수원지는 다양한 데이터 소스를 의미합니다. 원천 데이터는 아직 정제되지 않았고, 다양한 형태와 크기로 존재할 수 있습니다. 이 데이터는 개발 단계에서 생성되거나 여러 외부 시스템에서 수집됩니다.

 2. 상수도: 데이터 웨어하우스
 * 데이터 웨어하우스는 정제된 다양한 형태의 데이터를 보관하는 저장소로, 물이 상수도에서 정수와 여과 과정을 거치는 것처럼 원천 데이터는 정제를 거쳐 '데이터 웨어하우스'로 모입니다.
 * 따라서 수원지에 데이터가 어느정도 오염(중복되어 있거나 잘못 입력 된 데이터, 혹은 누락)이 있더라도 미리 정의한 비즈니스 스키마에 따라 필터가 되기 때문에 이 과정에서 상당수 사용 가능한 데이터로 변환 됩니다.

 3. 수도관: 데이터 파이프라인
 * 수도관은 데이터를 필요한 곳으로 보내는 경로입니다. 이 과정에서 데이터를 정제하고 변환하여 가정집으로 안전하게 보내기 위한 여러 단계가 이루어집니다. 즉, 데이터 파이프라인은 데이터를 정제하고, 여과하며, 필요한 형식으로 변환하는 일련의 과정을 담당합니다. 이 단계에서 데이터는 다양한 필터링, 집계, 변환 등의 작업을 거쳐 최종 사용자에게 적합한 형태로 바뀝니다.

 4. 가정집: 데이터 사용처 (데이터 마트)
 * 물이 수도관을 통해 가정집에 도달하듯이, 최종 사용자는 필요한 데이터를 활용하게 됩니다. 이때의 데이터는 이미 정제되고 가공된 상태로, 사용자는 이 데이터를 분석하거나 보고서에 활용하는 등의 작업을 수행합니다.

전체 흐름
 * 수원지에서 물을 모아 상수도를 통해 정수한 후 각 가정집으로 물을 보내는 과정은, 데이터가 원천에서 수집되어 데이터 웨어하우스로 모이고, 데이터 파이프라인을 통해 정제되고 변환되어 최종 사용처로 전달되는 과정과 매우 흡사합니다. 이 비유를 통해 데이터 파이프라인의 복잡한 과정을 물의 흐름처럼 쉽게 이해할 수 있습니다.

데이터는 마치 물처럼, 필요한 곳으로 안전하고 깨끗하게 전달되어야 합니다.

제가 데이터 파이프라인을 설명할 때 자주 사용하는 비유로 물이 흐르는 상수도를 떠올리는 것입니다. 물이 수도관을 통해 각 가정에 공급되는 과정과 데이터가 파이프라인을 통해 필요한 곳으로 이동하는 과정을 비교해보면 이해가 더 쉬워질 것입니다. <ol ><li>수원지: 원천 데이터 (데이터 레이크)</li></ol><ul ><li>데이터 파이프라인의 첫 출발점은 '수원지'에 해당하는 원천 데이터입니다. 수원지는 다양한 데이터 소스를 의미합니다. 원천 데이터는 아직 정제되지 않았고, 다양한 형태와 크기로 존재할 수 있습니다. 이 데이터는 개발 단계에서 생성되거나 여러 외부 시스템에서 수집됩니다.</li></ul> <ol start="2"><li>상수도: 데이터 웨어하우스</li></ol><ul ><li>데이터 웨어하우스는 정제된 다양한 형태의 데이터를 보관하는 저장소로, 물이 상수도에서 정수와 여과 과정을 거치는 것처럼 원천 데이터는 정제를 거쳐 '데이터 웨어하우스'로 모입니다. </li><li>따라서 수원지에 데이터가 어느정도 오염(중복되어 있거나 잘못 입력 된 데이터, 혹은 누락)이 있더라도 미리 정의한 비즈니스 스키마에 따라 필터가 되기 때문에 이 과정에서 상당수 사용 가능한 데이터로 변환 됩니다.</li></ul> <ol start="3"><li>수도관: 데이터 파이프라인</li></ol><ul ><li>수도관은 데이터를 필요한 곳으로 보내는 경로입니다. 이 과정에서 데이터를 정제하고 변환하여 가정집으로 안전하게 보내기 위한 여러 단계가 이루어집니다. 즉, 데이터 파이프라인은 데이터를 정제하고, 여과하며, 필요한 형식으로 변환하는 일련의 과정을 담당합니다. 이 단계에서 데이터는 다양한 필터링, 집계, 변환 등의 작업을 거쳐 최종 사용자에게 적합한 형태로 바뀝니다.</li></ul> <ol start="4"><li>가정집: 데이터 사용처 (데이터 마트)</li></ol><ul ><li>물이 수도관을 통해 가정집에 도달하듯이, 최종 사용자는 필요한 데이터를 활용하게 됩니다. 이때의 데이터는 이미 정제되고 가공된 상태로, 사용자는 이 데이터를 분석하거나 보고서에 활용하는 등의 작업을 수행합니다.</li></ul> 전체 흐름<ul ><li>수원지에서 물을 모아 상수도를 통해 정수한 후 각 가정집으로 물을 보내는 과정은, 데이터가 원천에서 수집되어 데이터 웨어하우스로 모이고, 데이터 파이프라인을 통해 정제되고 변환되어 최종 사용처로 전달되는 과정과 매우 흡사합니다. 이 비유를 통해 데이터 파이프라인의 복잡한 과정을 물의 흐름처럼 쉽게 이해할 수 있습니다.</li></ul> 데이터는 마치 물처럼, 필요한 곳으로 안전하고 깨끗하게 전달되어야 합니다.

물의 흐름으로 누구나 쉽게 이해하는 데이터 파이프라인

안녕하세요. 데이터 흐름에 대해 쉽게 설명해 주셔서 감사합니다 :) 
중간에 언급하신 데이터웨어하우스와 데이터레이크의 개념은 큰 차이가 없다라고 생각되어지는데, 맞을까요?

커리어리 친구들, 오픈AI가 재배한 딸기(strawberry, o1)를 잘 따서 먹고(사용하고) 있습니꽈? ㅎㅎ 현재 온통 제 페북 탐라에 딸기 얘기 밖에 없네요!! 일반 분들은 가을에 왠 딸기?? 라고 하겠지만 … 공개된 블로그를 읽고 제가 느낀 점에 대해 몇 가지 적어 보고자 합니다.

이번 ‘딸기’ 버전에서 크게 향상 된 것은 추론 시간을 단축시키고 동시에 많은 사용자가 사용할 수 있도록 추론을 확장시켜 추론 패러다임을 대중화시켰다고 봅니다. 물론 ‘딸기’ 이전에 그록(Groq, 일론 아저씨 Grok2 아님) 에서 엄청나게 빠른 추론 경험을 해 보신 분들이 있을 것 입니다.

강화 학습(Reinforcement Learning)의 선구자들 중 한 명인 리차드 서튼(Richard S. Sutton) 은, 컴퓨팅 자원이 증가함에 따라 무한히 확장될 수 있는 두 가지 핵심 기술이 '학습'(learning)과 '탐색'(search) 라고 보았습니다. 이 내용은 2019년에 작성한 에세이인 “쓴 교훈(The Bitter Lesson)"에서 비롯되었는 데, 특정한 인간의 지식이나 전문성을 모델에 주입하는 것보다, 계산 능력의 증가와 함께 일반적인 학습 알고리즘을 사용하는 것이 더 효과적이라는 점을 강조했습니다.

딸기는 이러한 후자인 검색에 초점을 맞추지 않았나 생각합니다.

1. 사실 추론을 수행하기 위해 거대한 모델은 필요하지 않습니다. 수 많은 파라미터가 Trivia QA와 같은 벤치마크에서 좋은 성능을 내기 위해 사실을 암기하는 데 사용됩니다. 또한, 지식에서 추론을 분리하는 것이 가능합니다.

즉, 웹브라우저나 코드 검증기와 같은 도구를 호출하는 방법을 아는 작은 "추론 코어"를 사용하는 것입니다. 그렇게 하면, 사전 훈련에 필요한 계산량이 줄어들 수 있습니다.

2. 막대한 양의 계산이 사전/후 훈련 대신 추론 서비스 제공으로 이동합니다. LLM은 텍스트 기반 시뮬레이터와도 유사한 데, 시뮬레이터에서 다양한 전략과 시나리오를 전개함으로써, 모델은 결국 좋은 솔루션으로 수렴하게 됩니다. 이 과정은 AlphaGo의 몬테카를로 트리 탐색(MCTS)과 같은 연구에서도 잘 보여 줍니다.

3. 수 억명이 사용하고 있는 OpenAI는 오래전에 추론 스케일링 법칙을 알아냈을 것이며, 이는 학계가 최근에야 발견하지 않았을까 추측해 봅니다. 주요 논문 근거는 다음과 같습니다.

- Large Language Monkeys: Scaling Inference Compute with Repeated Sampling : DeepSeek-Coder가 SWE-Bench에서 샘플 하나로 15.9%에서 250개의 샘플로 56%로 증가하여 Sonnet-3.5를 능가한다는 것을 발견했습니다.

- Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters: 이 논문은 PaLM 2-S가 테스트 시간 검색을 통해 MATH에서 14배 더 큰 모델을 능가한다는 것을 보여주었습니다.

4. 딸기의 실제 프로덕션에 적용하는 것은 학술적 벤치마크를 달성하는 것보다 훨씬 어려울 것 같습니다. 현재 ‘딸기’ 버전은 대부분 잘 생각(COT)해서 좋은 결과를 보여 주지만, 몇몇은 기대한 만큼 ‘reasoning’이 동작하지 않은 것이 여기 저기 탐라에 올라 온 글들을 보았습니다. (아직 베타 이전의 프리뷰 버전임을 감안)

또한, 실제 환경에서의 추론 문제에 대해, 언제 탐색을 중지해야 할까요? 보상 함수는 무엇일까요? 성공 기준은 무엇인가요? 언제 코드 인터프리터와 같은 도구를 루프에 호출해야 할까요? 이러한 CPU 프로세스의 계산 비용을 어떻게 고려할까요? 이에 대해 오픈AI에서 자세히 공개하지 않았습니다.

5. 딸기 버전은 쉽게 데이터 플라이휠이 될 수 있습니다. 만약 답변이 정확하다면, 전체 탐색 추적이 긍정적이고 부정적인 보상을 모두 포함하는 작은 학습 예제 데이터셋이 될 것 입니다.

그러니깐 여러분들은 많이 쓰면 쓸수록 일종의 강화 학습과 차세대 GPT를 위한 추론 코어를 향상 시켜 줄 것 입니다 🙂 (전 세계 사용자들을 이용해 베타 테스트중 ㅡ.ㅡ)

커리어리 친구들, 오픈AI가 재배한 딸기(strawberry, o1)를 잘 따서 먹고(사용하고) 있습니꽈? ㅎㅎ 현재 온통 제 페북 탐라에 딸기 얘기 밖에 없네요!! 일반 분들은 가을에 왠 딸기?? 라고 하겠지만 … 공개된 블로그를 읽고 제가 느낀 점에 대해 몇 가지 적어 보고자 합니다. 이번 ‘딸기’ 버전에서 크게 향상 된 것은 추론 시간을 단축시키고 동시에 많은 사용자가 사용할 수 있도록 추론을 확장시켜 추론 패러다임을 대중화시켰다고 봅니다. 물론 ‘딸기’ 이전에 그록(Groq, 일론 아저씨 Grok2 아님) 에서 엄청나게 빠른 추론 경험을 해 보신 분들이 있을 것 입니다. 강화 학습(Reinforcement Learning)의 선구자들 중 한 명인 리차드 서튼(Richard S. Sutton) 은, 컴퓨팅 자원이 증가함에 따라 무한히 확장될 수 있는 두 가지 핵심 기술이 '학습'(learning)과 '탐색'(search) 라고 보았습니다. 이 내용은 2019년에 작성한 에세이인 “쓴 교훈(The Bitter Lesson)"에서 비롯되었는 데, 특정한 인간의 지식이나 전문성을 모델에 주입하는 것보다, 계산 능력의 증가와 함께 일반적인 학습 알고리즘을 사용하는 것이 더 효과적이라는 점을 강조했습니다. 딸기는 이러한 후자인 검색에 초점을 맞추지 않았나 생각합니다. 1. 사실 추론을 수행하기 위해 거대한 모델은 필요하지 않습니다. 수 많은 파라미터가 Trivia QA와 같은 벤치마크에서 좋은 성능을 내기 위해 사실을 암기하는 데 사용됩니다. 또한, 지식에서 추론을 분리하는 것이 가능합니다. 즉, 웹브라우저나 코드 검증기와 같은 도구를 호출하는 방법을 아는 작은 "추론 코어"를 사용하는 것입니다. 그렇게 하면, 사전 훈련에 필요한 계산량이 줄어들 수 있습니다. 2. 막대한 양의 계산이 사전/후 훈련 대신 추론 서비스 제공으로 이동합니다. LLM은 텍스트 기반 시뮬레이터와도 유사한 데, 시뮬레이터에서 다양한 전략과 시나리오를 전개함으로써, 모델은 결국 좋은 솔루션으로 수렴하게 됩니다. 이 과정은 AlphaGo의 몬테카를로 트리 탐색(MCTS)과 같은 연구에서도 잘 보여 줍니다. 3. 수 억명이 사용하고 있는 OpenAI는 오래전에 추론 스케일링 법칙을 알아냈을 것이며, 이는 학계가 최근에야 발견하지 않았을까 추측해 봅니다. 주요 논문 근거는 다음과 같습니다. - Large Language Monkeys: Scaling Inference Compute with Repeated Sampling : DeepSeek-Coder가 SWE-Bench에서 샘플 하나로 15.9%에서 250개의 샘플로 56%로 증가하여 Sonnet-3.5를 능가한다는 것을 발견했습니다. - Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters: 이 논문은 PaLM 2-S가 테스트 시간 검색을 통해 MATH에서 14배 더 큰 모델을 능가한다는 것을 보여주었습니다. 4. 딸기의 실제 프로덕션에 적용하는 것은 학술적 벤치마크를 달성하는 것보다 훨씬 어려울 것 같습니다. 현재 ‘딸기’ 버전은 대부분 잘 생각(COT)해서 좋은 결과를 보여 주지만, 몇몇은 기대한 만큼 ‘reasoning’이 동작하지 않은 것이 여기 저기 탐라에 올라 온 글들을 보았습니다. (아직 베타 이전의 프리뷰 버전임을 감안) 또한, 실제 환경에서의 추론 문제에 대해, 언제 탐색을 중지해야 할까요? 보상 함수는 무엇일까요? 성공 기준은 무엇인가요? 언제 코드 인터프리터와 같은 도구를 루프에 호출해야 할까요? 이러한 CPU 프로세스의 계산 비용을 어떻게 고려할까요? 이에 대해 오픈AI에서 자세히 공개하지 않았습니다. 5. 딸기 버전은 쉽게 데이터 플라이휠이 될 수 있습니다. 만약 답변이 정확하다면, 전체 탐색 추적이 긍정적이고 부정적인 보상을 모두 포함하는 작은 학습 예제 데이터셋이 될 것 입니다. 그러니깐 여러분들은 많이 쓰면 쓸수록 일종의 강화 학습과 차세대 GPT를 위한 추론 코어를 향상 시켜 줄 것 입니다 🙂 (전 세계 사용자들을 이용해 베타 테스트중 ㅡ.ㅡ)

<오픈AI의 딸기(o1) 서비스에 대한 저의 견해>

2023년 5월쯤 OpenAI에서 일리아 수츠케버가 참여한 “Let's Verify Step by Step”이라는 논문이 나왔었는데요.

이 논문의 내용은 최종 결과를 감독하는 것 보다 프로세스, 즉 추론 단계를 감독하는 것이 훨씬 좋은 결과를 낸다는 내용입니다. 특히 도전적인 수학 문제를 해결하는 데 있어서는 성능이 크게 증가하고요.

아마도 이 때 o1이 시작되고 있었던 것 같습니다.

더불어 대규모 모델이 소규모 모델에 대한 인간 감독을 근사할 수 있다는 OpenAI의 연구도 있었는데요. 발표자료의 몇 가지 결과를 보면 이 방식도 들어가 있지 않을까하는 추측도 한 번 해 봅니다.

2023년 5월쯤 OpenAI에서 일리아 수츠케버가 참여한 “Let's Verify Step by Step”이라는 논문이 나왔었는데요. 이 논문의 내용은 최종 결과를 감독하는 것 보다 프로세스, 즉 추론 단계를 감독하는 것이 훨씬 좋은 결과를 낸다는 내용입니다. 특히 도전적인 수학 문제를 해결하는 데 있어서는 성능이 크게 증가하고요. 아마도 이 때 o1이 시작되고 있었던 것 같습니다. 더불어 대규모 모델이 소규모 모델에 대한 인간 감독을 근사할 수 있다는 OpenAI의 연구도 있었는데요. 발표자료의 몇 가지 결과를 보면 이 방식도 들어가 있지 않을까하는 추측도 한 번 해 봅니다.

A collection of (mostly) technical things every software developer should know about - mtdvio/every-programmer-should-know

GitHub - mtdvio/every-programmer-should-know: A collection of (mostly) technical things every software developer should know about

개발자라면 찜 해놔야하는 GitHub 저장소들

모든 프로그래머가 알아야하는 지식 모음
https://github.com/mtdvio/every-programmer-should-know
JS 프로젝트 50일동안 50개만들기
https://github.com/bradtraversy/50projects50days

모오던 웹개발
https://github.com/dexteryy/spellbook-of-modern-webdev

30초면 배울 수 있는 코드 스니핏들
https://github.com/Chalarangelo/30-seconds-of-code

개발 면접 핸드북
https://github.com/yangshun/tech-interview-handbook

개발자라면 찜 해놔야하는 GitHub 저장소들 모든 프로그래머가 알아야하는 지식 모음https://github.com/mtdvio/every-programmer-should-knowJS 프로젝트 50일동안 50개만들기https://github.com/bradtraversy/50projects50days 모오던 웹개발https://github.com/dexteryy/spellbook-of-modern-webdev 30초면 배울 수 있는 코드 스니핏들https://github.com/Chalarangelo/30-seconds-of-code 개발 면접 핸드북https://github.com/yangshun/tech-interview-handbook

GitHub

개발자라면 찜 해놔야하는 GitHub 저장소들

모든 프로그래머가

YouTube에서 마음에 드는 동영상과 음악을 감상하고, 직접 만든 콘텐츠를 업로드하여 친구, 가족뿐 아니라 전 세계 사람들과 콘텐츠를 공유할 수 있습니다.

 - YouTube

AutoParams 덕분에 3년 이상을 Spring Boot 앱 개발에 TDD를 덜 힘들게 적용했습니다. 누군가에게 조금이라도 더 도움이 되길 바라며 올해 스프링 캠프에서 AutoParams의 목적과 아키텍처, 사용법을 설명하는 자리를 가졌습니다.

AutoParams 덕분에 3년 이상을 Spring Boot 앱 개발에 TDD를 덜 힘들게 적용했습니다. 누군가에게 조금이라도 더 도움이 되길 바라며 올해 스프링 캠프에서 AutoParams의 목적과 아키텍처, 사용법을 설명하는 자리를 가졌습니다.

youtu.be

AutoParams를 사용한 Spring Boot 응용프로그램 테

1. 찰스 다윈은 하루에 90분씩 3번 일했고, 나머지 시간에는 긴 산책을 하거나 낮잠을 자거나 상념에 잠겼다. (그러면서도 그는 <종의 기원>을 포함해 19권의 책을 집필했다)

2. 엄청난 다작가이자 사상가로 알려진 앙리 푸앵카레는 오전 10시부터 정오까지 첫 번째 작업을 한 뒤, 오후 5시부터 7시까지 두 번째 작업을 했다. (그는 하루 4시간만 일했다)

3. 마찬가지로, 수학자 고드프리 해럴드 하디는 ‘의식적 작업은 하루 4시간이 최대치’이며, 나머지 시간을 너무 많은 바쁜 일로 채우면 오히려 비생산적이라고 믿었다.

4. 다윈, 푸앵카레, 하디는 모든 같은 이야기를 하고 있다. 제대로 초점을 맞추고, 진짜 집중력을 (제대로) 발휘하면, 그리고 양질의 휴식으로 집중하는 시간을 잘 뒷받침하면, 위대한 성취를 이루는 데 필요한 시간은 하루 4시간이면 충분하다고. 이는 바쁨을 추구하는 우리의 문화와 정면으로 충돌하는 발상이다.

5. 위대함을 낳는 ‘1만 시간의 법칙’은 앤더스 에릭슨과 동료들의 공동 연구로 탄생한 이래로, 말콤 글래드웰이 책 <아웃라이어>에 소개하며 대중의 큰 주목을 받았다. 말콤 글래드웰은 1만 시간의 법칙을 소개하며 ‘어떤 분야에서든 전문가 수준에 도달하려면 1만 시간의 의도적 연습이 필요하다’고 주장했다.

6. 그리고 이는 바쁨과 스트레스와 과로를 미덕으로 여기는 세상에서 큰 환영을 받았고, 아직도 많은 사람들이 이 법칙을 마치 교리처럼 신봉한다.

7. 그런데 에릭슨의 실제 연구에는 ‘매일 의도적 연습이 효과적인 수준을 넘지 않도록 제한해야 한다’는 내용도 담겨 있으며, 연구에서는 ‘하루에 투입해야 할 이상적인 시간은 4시간’이라고도 제안한다.

8. 이 연구에서 더 흥미로운 부분은 ‘정상급 연주자와 평균적 연주자는 쉬는 방식부터 다르다’는 점이다. 정상급 연주자는 평균적 연주자들에 비해 더 체계적이고 계획적으로 여가 시간을 보냈다.

9. 정상급 연주자들은 연습만 의도적으로 하는 게 아니라, 휴식도 의도적으로 취했다. 그들은 평균적 연주자보다 1시간 가량 더 잠을 찾다. (탁월한 퍼포먼스 = 의식적 연습+의식적 휴식)

10. 흔히 휴식을 일의 반대라고 생각하지만, 일과 휴식의 엄격한 분리는 현대의 그릇된 통념이다. 오랫동안 사람들은 쉴 때 뇌의 활동력이 떨어진다고 생각했다. 하지만 날로 발전하는 뇌 영상 기술에 힘입어 뇌과학자들은 ‘쉬는 동안에도 뇌의 전반적인 활동량이 감소하지 않는다’는 것을 발견했다.

11. 활동성은 단지 뇌의 다른 영역으로 옮겨갔다. 그리고 연구자들은 쉬는 동안 활성화되는 뇌의 영역을 ‘디폴트 모드 네트워크(DMN)’라고 칭하게 되었다.

12. 그리고 추가 연구를 통해, 디폴트 모드 네트워크는 고도로 활동적일 뿐 아니라, 정신 건강과 정서에 있어 굉장히 중요하다는 점이 발견됐다.

13. 특히 창의적이고 혁신적인 유형의 일을 할 땐 일하는 시간만큼, 휴식과 긴장 풀기가 필요하다. 디폴트 모드 네트워크가 활성화되면, 우리의 직관이 주도권을 가지고, 창의성은 멀리 있는 요소와 연관점을 찾기 시작한다.

14. 산책을 하거나 샤워 도중에 강력한 생각이나 통찰이 떠올렸다면, 디폴트 모드 네트워크에 감사해야 한다.

15. 그러나 당신이 휴식 때 텔레비전 앞에서 멍하게 있거나 유튜브에서 고양이 동영상을 본다면 디폴트 모드 네트워크가 활성화되는 데는 차질이 생긴다. (TV를 보거나 동영상을 보는 건 좋은 휴식 방법은 아니라는 얘기다)

16. (게다가) 창의적인 사람의 뇌는 디폴트 모드 네트워크가 더 강력하게 개발되어 휴식 시간에도 더 효과적으로 일을 한다는 연구 결과도 있다.

17. (고로 올바른 방식으로) 더 많은 시간을 휴식에 쓰면, 창의력과 행복감이 증진될 뿐 아니라, 일하는 시간의 능률마저 올라간다.

18. (그러니 숏폼 중독 등 주의력을 탕진해 일에 부정적인 영향을 미치는 휴식이 아니라, 자신에게 맞는 올바른 휴식법을 찾아라. 그러면 일의 능률을 올라갈 수밖에 없다)

- 존 피치 외, <이토록 멋진 휴식> 중

1. 찰스 다윈은 하루에 90분씩 3번 일했고, 나머지 시간에는 긴 산책을 하거나 낮잠을 자거나 상념에 잠겼다. (그러면서도 그는 &lt;종의 기원&gt;을 포함해 19권의 책을 집필했다) 2. 엄청난 다작가이자 사상가로 알려진 앙리 푸앵카레는 오전 10시부터 정오까지 첫 번째 작업을 한 뒤, 오후 5시부터 7시까지 두 번째 작업을 했다. (그는 하루 4시간만 일했다) 3. 마찬가지로, 수학자 고드프리 해럴드 하디는 ‘의식적 작업은 하루 4시간이 최대치’이며, 나머지 시간을 너무 많은 바쁜 일로 채우면 오히려 비생산적이라고 믿었다. 4. 다윈, 푸앵카레, 하디는 모든 같은 이야기를 하고 있다. 제대로 초점을 맞추고, 진짜 집중력을 (제대로) 발휘하면, 그리고 양질의 휴식으로 집중하는 시간을 잘 뒷받침하면, 위대한 성취를 이루는 데 필요한 시간은 하루 4시간이면 충분하다고. 이는 바쁨을 추구하는 우리의 문화와 정면으로 충돌하는 발상이다. 5. 위대함을 낳는 ‘1만 시간의 법칙’은 앤더스 에릭슨과 동료들의 공동 연구로 탄생한 이래로, 말콤 글래드웰이 책 &lt;아웃라이어&gt;에 소개하며 대중의 큰 주목을 받았다. 말콤 글래드웰은 1만 시간의 법칙을 소개하며 ‘어떤 분야에서든 전문가 수준에 도달하려면 1만 시간의 의도적 연습이 필요하다’고 주장했다. 6. 그리고 이는 바쁨과 스트레스와 과로를 미덕으로 여기는 세상에서 큰 환영을 받았고, 아직도 많은 사람들이 이 법칙을 마치 교리처럼 신봉한다. 7. 그런데 에릭슨의 실제 연구에는 ‘매일 의도적 연습이 효과적인 수준을 넘지 않도록 제한해야 한다’는 내용도 담겨 있으며, 연구에서는 ‘하루에 투입해야 할 이상적인 시간은 4시간’이라고도 제안한다. 8. 이 연구에서 더 흥미로운 부분은 ‘정상급 연주자와 평균적 연주자는 쉬는 방식부터 다르다’는 점이다. 정상급 연주자는 평균적 연주자들에 비해 더 체계적이고 계획적으로 여가 시간을 보냈다. 9. 정상급 연주자들은 연습만 의도적으로 하는 게 아니라, 휴식도 의도적으로 취했다. 그들은 평균적 연주자보다 1시간 가량 더 잠을 찾다. (탁월한 퍼포먼스 = 의식적 연습+의식적 휴식) 10. 흔히 휴식을 일의 반대라고 생각하지만, 일과 휴식의 엄격한 분리는 현대의 그릇된 통념이다. 오랫동안 사람들은 쉴 때 뇌의 활동력이 떨어진다고 생각했다. 하지만 날로 발전하는 뇌 영상 기술에 힘입어 뇌과학자들은 ‘쉬는 동안에도 뇌의 전반적인 활동량이 감소하지 않는다’는 것을 발견했다. 11. 활동성은 단지 뇌의 다른 영역으로 옮겨갔다. 그리고 연구자들은 쉬는 동안 활성화되는 뇌의 영역을 ‘디폴트 모드 네트워크(DMN)’라고 칭하게 되었다. 12. 그리고 추가 연구를 통해, 디폴트 모드 네트워크는 고도로 활동적일 뿐 아니라, 정신 건강과 정서에 있어 굉장히 중요하다는 점이 발견됐다. 13. 특히 창의적이고 혁신적인 유형의 일을 할 땐 일하는 시간만큼, 휴식과 긴장 풀기가 필요하다. 디폴트 모드 네트워크가 활성화되면, 우리의 직관이 주도권을 가지고, 창의성은 멀리 있는 요소와 연관점을 찾기 시작한다. 14. 산책을 하거나 샤워 도중에 강력한 생각이나 통찰이 떠올렸다면, 디폴트 모드 네트워크에 감사해야 한다. 15. 그러나 당신이 휴식 때 텔레비전 앞에서 멍하게 있거나 유튜브에서 고양이 동영상을 본다면 디폴트 모드 네트워크가 활성화되는 데는 차질이 생긴다. (TV를 보거나 동영상을 보는 건 좋은 휴식 방법은 아니라는 얘기다) 16. (게다가) 창의적인 사람의 뇌는 디폴트 모드 네트워크가 더 강력하게 개발되어 휴식 시간에도 더 효과적으로 일을 한다는 연구 결과도 있다. 17. (고로 올바른 방식으로) 더 많은 시간을 휴식에 쓰면, 창의력과 행복감이 증진될 뿐 아니라, 일하는 시간의 능률마저 올라간다. 18. (그러니 숏폼 중독 등 주의력을 탕진해 일에 부정적인 영향을 미치는 휴식이 아니라, 자신에게 맞는 올바른 휴식법을 찾아라. 그러면 일의 능률을 올라갈 수밖에 없다) - 존 피치 외, &lt;이토록 멋진 휴식&gt; 중

일을 못하는 사람들은 대부분 잘 쉬지도 못해요ㅠ

회사의 대표 옆에서 일해볼 수 있다는 점인 것 같아요.

가까이 있으면 그 사람의 사고방식을 배울 수 있어요. 회사를 세울 정도의 사람이라면 분명 배울 점이 있어요.

제가 만난 분들은 관점이 남달랐어요. 시장을 보는 관점, 제품을 대하는 관점에서 정말 많이 배울 수 있었죠. 개발자로서 조금 더 큰 그림을 볼 수 있는 기회가 되었어요.

누군가는 불편한 일이라고 할지도 몰라요. 하지만 조금 불편한 그 순간에 우리는 성장할 수 있다고 믿어요.

회사의 대표 옆에서 일해볼 수 있다는 점인 것 같아요. 가까이 있으면 그 사람의 사고방식을 배울 수 있어요. 회사를 세울 정도의 사람이라면 분명 배울 점이 있어요. 제가 만난 분들은 관점이 남달랐어요. 시장을 보는 관점, 제품을 대하는 관점에서 정말 많이 배울 수 있었죠. 개발자로서 조금 더 큰 그림을 볼 수 있는 기회가 되었어요. 누군가는 불편한 일이라고 할지도 몰라요. 하지만 조금 불편한 그 순간에 우리는 성장할 수 있다고 믿어요.

작은 회사에 일하면 좋은 점

Elastic announces the return of open source licensing for Elasticsearch and Kibana, adding AGPL as an option alongside existing licenses. This change reinforces our long-standing commitment to open so...

Elasticsearch is Open Source, Again

https://www.elastic.co/kr/blog/elasticsearch-is-open-source-again

AWS와의 갈등으로 3년전 Apache 라이센스를 버리고 SSPL 라이센스를 도입하면서 오픈소스가 아니게 되었다가 이번에 다시 AGPL 라이센스를 도입해서 오픈소스가 되었습니다.

오픈소스는 오픈소스 이니셔티브에서 사용 권한을 가지고 있어서 오픈소스 이니셔티브에서 인정한 라이센스가 아니라면 오픈소스라는 말을 사용할 수 없습니다. 오픈소스 이기는 하지만 엘라스틱 같은 회사는 클라우드 사업을 하기 때문에 AWS같은 클라우드 업체에서 elasticsearch를 서비스로 내놓으면서 갈등이 생기고 결국 오픈소스 라이센스를 버리고 클라우드 업체가 elasticsearch를 사용할 수 없게하는 SSPL을 도입해서 이를 막았습니다.

그동안의 과정이 고통스럽긴 했지만 3년이 지난 지금 AWS와의 파트너쉽이 견고해졌고 AWS도 OpenSearch에 충분한 투자를 했기 때문에 다시 오픈소스로 돌아와도 되겠다고 생각하고 AGPL을 도입하기로 했다고 합니다.

엘리스틱은 이렇게 얘기하고 사람들의 의견은 다양하게 있는거 같습니다. 엘라스틱의 의도를 그대로 믿을 수도 있고 오픈소스를 버린게 결과적으로 안좋았다고 판단했기에 번복했다는 얘기도 있습니다.

오픈소스였다가 아니었다가 혼란스럽고 앞으로 그러면 OpenSearch는 어떻게 되는건지 궁금하기도 하지만 앞으로 시장이 어떻게 흘러갈지 봐야될 것 같습니다.

https://www.elastic.co/kr/blog/elasticsearch-is-open-source-again AWS와의 갈등으로 3년전 Apache 라이센스를 버리고 SSPL 라이센스를 도입하면서 오픈소스가 아니게 되었다가 이번에 다시 AGPL 라이센스를 도입해서 오픈소스가 되었습니다. 오픈소스는 오픈소스 이니셔티브에서 사용 권한을 가지고 있어서 오픈소스 이니셔티브에서 인정한 라이센스가 아니라면 오픈소스라는 말을 사용할 수 없습니다. 오픈소스 이기는 하지만 엘라스틱 같은 회사는 클라우드 사업을 하기 때문에 AWS같은 클라우드 업체에서 elasticsearch를 서비스로 내놓으면서 갈등이 생기고 결국 오픈소스 라이센스를 버리고 클라우드 업체가 elasticsearch를 사용할 수 없게하는 SSPL을 도입해서 이를 막았습니다. 그동안의 과정이 고통스럽긴 했지만 3년이 지난 지금 AWS와의 파트너쉽이 견고해졌고 AWS도 OpenSearch에 충분한 투자를 했기 때문에 다시 오픈소스로 돌아와도 되겠다고 생각하고 AGPL을 도입하기로 했다고 합니다. 엘리스틱은 이렇게 얘기하고 사람들의 의견은 다양하게 있는거 같습니다. 엘라스틱의 의도를 그대로 믿을 수도 있고 오픈소스를 버린게 결과적으로 안좋았다고 판단했기에 번복했다는 얘기도 있습니다. 오픈소스였다가 아니었다가 혼란스럽고 앞으로 그러면 OpenSearch는 어떻게 되는건지 궁금하기도 하지만 앞으로 시장이 어떻게 흘러갈지 봐야될 것 같습니다.

Elastic Blog

https://www.elastic.co/kr/blog/elast

국내 개발자로서 자부심을 불어넣는 오픈소스 생태계가 있습니다. 바로 토스(Toss)가 주도하는 오픈소스 생태계 인데요.

es-hangul
이라고 하는 한글을 다루기 위한 라이브러리는 이미 1,000개가 넘는 GitHub 스타를 획득했습니다. 또한
lodash
보다 2배 더 빠른 유틸리티 라이브러리인
es-toolkit
은 이미 6,100개의 스타를 받고 국내를 넘어 세계적으로 많은 개발자들의 관심을 받고 있는데요. 이번 토스 모닥불 EP.4 영상에서는 토스에서 오픈소스 생태계를 운영하는 개발자들의 이야기를 만나볼 수 있습니다.

특히나 주목할 만한 점은, 패널로 참여한 토스의 오픈소스
suspensive
를 운영하고 계시는 분인데요. 이 개발자분은 요즘은 필수로 사용되고 있는
TanstackQuery
의 최상위 기여자입니다.
Jotai
외에도 토스 오픈소스에도 적극적으로 기여를하고 결국에는 토스에 합류하신게 참 대단하게 느껴지네요.

또한 오픈소스 생태계 구축을 통해 기술 커뮤니티에 긍정적인 영향을 미치고자 하는 토스의 노력도 대단한것 같습니다. 한국 개발 생태계의 경쟁력을 높이고, 개발자들에게 새로운 도전과 성장의 기회를 제공하는데 있어서, 토스의 이러한 행보를 응원합니다.

https://www.youtube.com/watch?v=SdBL-p597Dw

국내 개발자로서 자부심을 불어넣는 오픈소스 생태계가 있습니다. 바로 토스(Toss)가 주도하는 오픈소스 생태계 인데요. <code >es-hangul</code>이라고 하는 한글을 다루기 위한 라이브러리는 이미 1,000개가 넘는 GitHub 스타를 획득했습니다. 또한 <code >lodash</code>보다 2배 더 빠른 유틸리티 라이브러리인 <code >es-toolkit</code>은 이미 6,100개의 스타를 받고 국내를 넘어 세계적으로 많은 개발자들의 관심을 받고 있는데요. 이번 토스 모닥불 EP.4 영상에서는 토스에서 오픈소스 생태계를 운영하는 개발자들의 이야기를 만나볼 수 있습니다. 특히나 주목할 만한 점은, 패널로 참여한 토스의 오픈소스 <code >suspensive</code> 를 운영하고 계시는 분인데요. 이 개발자분은 요즘은 필수로 사용되고 있는 <code >TanstackQuery</code> 의 최상위 기여자입니다. <code >Jotai</code> 외에도 토스 오픈소스에도 적극적으로 기여를하고 결국에는 토스에 합류하신게 참 대단하게 느껴지네요. 또한 오픈소스 생태계 구축을 통해 기술 커뮤니티에 긍정적인 영향을 미치고자 하는 토스의 노력도 대단한것 같습니다. 한국 개발 생태계의 경쟁력을 높이고, 개발자들에게 새로운 도전과 성장의 기회를 제공하는데 있어서, 토스의 이러한 행보를 응원합니다. https://www.youtube.com/watch?v=SdBL-p597Dw

www.youtube.com

토스의 오픈소스 생태계: 한국을 넘어 글로벌로

최고의 자동완성 플러그인 타입스크립트를 사용하여 개발자를 속이고 코드를 최적화한 경험을 공유합니다.

타입스크립트스럽게 성능과 생산성 두 마리 토끼 모두 잡기

이름만 보고 프론트엔드인줄 알았는데요. 살펴보니 백엔드였습니다!

2021년 1월에 출시한 쿠키런:킹덤에 운영 도구는 어마어마하군요!

https://tech.devsisters.com/posts/typescript-ish-way-to-improve-performance/

이름만 보고 프론트엔드인줄 알았는데요. 살펴보니 백엔드였습니다! 2021년 1월에 출시한 쿠키런:킹덤에 운영 도구는 어마어마하군요! https://tech.devsisters.com/posts/typescript-ish-way-to-improve-performance/

DevTech - 데브시스터즈 기술블로그

TypeScript하면 프론트만?!

Vite는 기존 자바스크립트 번들러의 만성적인 성능 문제를 해결하고 개발자 경험을 향상시키기 위해서 등장한 차세대 번들러입니다. 브라우저에서 지원하는 ESM(ES Modules)를 적극적으로 활용하고, 자바스크립트 대신에 컴파일 언어인 Go로 작성된 현대적인 자바스크립트 개발 도구이죠.

Vite은 예전부터 널리 사용되던 번들러인 Webpack보다 설정이 훨씬 쉽고 간단하며, 설정이 필요 없기로 유명하던 번들러인 Parcel보다도 훨씬 빠릅니다. 이로 인해서 기존 번들러보다 뛰어난 개발자 경험을 제공하여 많은 개발자로부터 사랑을 받고 있는 번들러입니다.

2023년 Sate of JavaScript 설문 결과를 보시면 빌드 도구 부분에서 Vite(73%)가 Parcel(30%)을 아득히 넘고 Webpack(90%)에 이어서 사용률 2위를 기록하고 있습니다. 2021년에 20% 사용률로 처음 그래프에 등장했는데 무서운 성장세가 아닐 수 없습니다.

더욱 고무적인 부분은 바로 Vite를 써본 응답자들의 만족도입니다. 88%로 압도적인 1위를 차지하고 있으며, Webpack의 만족도는 45%까지 곤두박질 친 것을 볼 수 있습니다.

참고로 많은 분들이 영문 철자만 보시고 Vite를 “바이트”라고 발음해야 하는 걸로 오해하시는데요. 사실 Vite라는 이름은 “빠름”을 의미하는 프랑스어에서 유래되었고 그래서 정확한 발음은 “비트”라고 합니다. 한국 개발자들 사이에서는 우스갯 소리로 빛처럼 빠르다고 “빛”이라고도 많이 부르는 것 같습니다. 😄

이번 포스팅에서는 Vite를 처음 사용하시는 분들의 위해서 Vite를 시작하는 방법을 안내해드리겠습니다.

📝 포스팅: https://www.daleseo.com/vite/

Vite는 기존 자바스크립트 번들러의 만성적인 성능 문제를 해결하고 개발자 경험을 향상시키기 위해서 등장한 차세대 번들러입니다. 브라우저에서 지원하는 ESM(ES Modules)를 적극적으로 활용하고, 자바스크립트 대신에 컴파일 언어인 Go로 작성된 현대적인 자바스크립트 개발 도구이죠. Vite은 예전부터 널리 사용되던 번들러인 Webpack보다 설정이 훨씬 쉽고 간단하며, 설정이 필요 없기로 유명하던 번들러인 Parcel보다도 훨씬 빠릅니다. 이로 인해서 기존 번들러보다 뛰어난 개발자 경험을 제공하여 많은 개발자로부터 사랑을 받고 있는 번들러입니다. 2023년 Sate of JavaScript 설문 결과를 보시면 빌드 도구 부분에서 Vite(73%)가 Parcel(30%)을 아득히 넘고 Webpack(90%)에 이어서 사용률 2위를 기록하고 있습니다. 2021년에 20% 사용률로 처음 그래프에 등장했는데 무서운 성장세가 아닐 수 없습니다. 더욱 고무적인 부분은 바로 Vite를 써본 응답자들의 만족도입니다. 88%로 압도적인 1위를 차지하고 있으며, Webpack의 만족도는 45%까지 곤두박질 친 것을 볼 수 있습니다. 참고로 많은 분들이 영문 철자만 보시고 Vite를 “바이트”라고 발음해야 하는 걸로 오해하시는데요. 사실 Vite라는 이름은 “빠름”을 의미하는 프랑스어에서 유래되었고 그래서 정확한 발음은 “비트”라고 합니다. 한국 개발자들 사이에서는 우스갯 소리로 빛처럼 빠르다고 “빛”이라고도 많이 부르는 것 같습니다. 😄 이번 포스팅에서는 Vite를 처음 사용하시는 분들의 위해서 Vite를 시작하는 방법을 안내해드리겠습니다. 📝 포스팅: https://www.daleseo.com/vite/

Vite 처음 시작하기

원문 : Good Refactoring vs Bad Refactoring thumbnail…

(번역) 좋은 리팩터링 vs 나쁜 리팩터링

오늘 소개해드릴 글은 42dot의 유경상님이 번역해주신 글입니다.

많은 개발자들이 리팩터링의 중요성을 알고 리팩터링을 하지만, 적절하지 않은 리팩터링으로 오히려 코드 베이스에 악영향을 준다는 것을 간과하는 경우가 많습니다. 이 글에서는 저자가 지금까지 겪어온 경험을 기반으로 어떤 리팩터링이 잘못된 리팩터링이고, 어떤 식으로 리팩터링하는 것이 바람직한지에 대해 구체적인 코드 예시와 함께 설명합니다. 이에 더해서 올바른 리팩터링 방법과 더 나은 리팩터링을 위한 도구도 함께 소개하고 있습니다. 이 글을 통해 현재 적절한 리팩터링을 하고 있는지 점검해 보시는 기회가 되시면 좋을 것 같습니다 :)

> 글 링크 : https://ykss.netlify.app/translation/good_refactoring_vs_bad_refactoring/

오늘 소개해드릴 글은 42dot의 유경상님이 번역해주신 글입니다. 많은 개발자들이 리팩터링의 중요성을 알고 리팩터링을 하지만, 적절하지 않은 리팩터링으로 오히려 코드 베이스에 악영향을 준다는 것을 간과하는 경우가 많습니다. 이 글에서는 저자가 지금까지 겪어온 경험을 기반으로 어떤 리팩터링이 잘못된 리팩터링이고, 어떤 식으로 리팩터링하는 것이 바람직한지에 대해 구체적인 코드 예시와 함께 설명합니다. 이에 더해서 올바른 리팩터링 방법과 더 나은 리팩터링을 위한 도구도 함께 소개하고 있습니다. 이 글을 통해 현재 적절한 리팩터링을 하고 있는지 점검해 보시는 기회가 되시면 좋을 것 같습니다 :) &gt; 글 링크 : https://ykss.netlify.app/translation/good_refactoring_vs_bad_refactoring/

ykss.netlify.app

좋은 리팩터링 vs 나쁜 리팩터링

훌륭한 에이닷이 되려면 어떤 상황에서든 대화할 준비가 되어 있어야 한다. 다들 정신 안차릴거야!? 라면의 의미도 몰라서 에이닷이 될 수 있겠어? ▶ 에이닷에게 라면의 의미를 가르쳐 주세요! https://my-adot.onelink.me/MAbS/kg4o2hhf #SKT #에이닷 #인공지능학교 #입짧은햇님 #김상욱 #김계란 #카더가든 #이동진 #잇섭 #주호민 #SK텔레콤 #A.

[에이닷 인공지능 학교] 마음을 읽는 기술

저는 ‘최초’의 시도를 추구합니다.
유튜버들을 기업 광고에 활용하지 않던 시절,
‘유튜버 어벤져스’라는 기획을 하게 되었습니다.
분야별 유튜버들이 총출동하는 기획은 당시로선 새로운 시도였습니다.

돌고래유괴단과 함께힌 <에이닷 인공지능학교> 광고는
잇섭, 입짧은햇님, 김계란, 카더가든, 주호민, 김상욱 교수, 이동진 영화평론가 등이 출연했습니다.

특히 잇섭, 입짧은햇님. 김계란 등 유튜버로 시작한 분들의 광고 출연은 해당 영상 이후 본격화됩니다.

마케터로서 특히 유튜브 시장에서는 남들과 다른 ‘최초’의 시도가 중요합니다.
앞으로도 최초의 시도로 시장을 놀라게 하고 싶습니다.

https://youtu.be/Su7xYdsZRRc?si=Lz-9CeE_DsVJNBCC

저는 ‘최초’의 시도를 추구합니다.유튜버들을 기업 광고에 활용하지 않던 시절,‘유튜버 어벤져스’라는 기획을 하게 되었습니다.분야별 유튜버들이 총출동하는 기획은 당시로선 새로운 시도였습니다. 돌고래유괴단과 함께힌 &lt;에이닷 인공지능학교&gt; 광고는잇섭, 입짧은햇님, 김계란, 카더가든, 주호민, 김상욱 교수, 이동진 영화평론가 등이 출연했습니다. 특히 잇섭, 입짧은햇님. 김계란 등 유튜버로 시작한 분들의 광고 출연은 해당 영상 이후 본격화됩니다. 마케터로서 특히 유튜브 시장에서는 남들과 다른 ‘최초’의 시도가 중요합니다.앞으로도 최초의 시도로 시장을 놀라게 하고 싶습니다. https://youtu.be/Su7xYdsZRRc?si=Lz-9CeE_DsVJNBCC

유크랩 대표 / 디지털 마케터 

선우의성

콘텐츠(유튜브, 숏폼, SNS)로 마케팅하는 선우의성입니다. 국내 NO.1 디지털 콘텐츠 (유튜브, 숏폼, SNS) 기반 마케팅 전문가로 활동하고 있습니다.

최초의 유튜버 어벤져스 <에이닷 인공지능학교>

댓글 0

비슷한 게시물

주간 인기 TOP 10

추천 프로필