0. 갑자기 궁금해서 찾아본 것
[ Optimistic Concurrency Control & Pessimistic Concurrency Control ]
- Optimistic Concurrency Control
  사용자들이 같은 데이터를 동시에 수정하지 않을 것을 가정한다.
  읽는 시점에 Lock을 걸지 않는 대신 수정 시점에 값이 변경되었는지 검사한다.

- Pessimistic Concurrency Control
  사용자들이 같은 데이터를 동시에 수정할 것을 가정한다.
  데이터를 읽는 시점에 Lock을 걸고 transaction 완료시점까지 유지한다.

1. BST
- 정렬된 인메모리 자료구조이다.
- 키-값 쌍 검색에 사용한다.
- 키와 두개의 자식포인터가 저장된 여러 노드로 구성되며, 트리에는 단 한개의 루트노드만 있을 수 있다.
- 탐색공간을 왼쪽 서브트리와 오른쪽 서브트리로 분할한다.
- 루트에서부터 왼쪽 포인터를 따라 leaf 레벨까지 내려가면 트리에서 가장 작은 키, 반대로 오른쪽은 가장 큰 키이다.
- 탐색은 루트에서 시작하고 대상 키를 찾으면 리프 레벨에 도달하기 전에 탐색이 끝날 수 있다.

2. 트리 밸런싱
- 노드 삽입 작업에는 특정 패턴이 없고, 삽입하는 값에 따라서 트리가 불균형 해 질 수 있다.
- 최악의 상황에는 로그복잡도 트리가 아니라 선형 복잡도의 링크드리스트 형태가 될 수 있다. (skewed binary search tree(편향 이진 탐색 트리))    
- 즉, 트리의 균형이 중요하다. 한 쪽으로 치우친 경우는 매우 비효율 적이기 때문이다.

3. 디스크 기반 스트리지용 트리
- BST 를 디스크에서 제어하면 발생하는 몇 가지 문제
    1. 지역성 : 새로운 노드와 부모 노드가 가까운 위치에 저장되지 않을 수 있음.
    2. 트리의 높이 :  자식포인터를 따라가는 비용과 밀접한 관계가 있음
        1. 노드가 가질 수 있는 최대 자식 노드 개수 → fanout

** 결론은, 지역성을 고려하지 않는 자료구조는 비교횟수만큼 디스크 탐색이 필요할 수 있으니 지역성이 결여된 자료 구조는 피하자.
- 인접한 키의 지역성을 높이기 위한 높은 fanout
- 트리 순회 중 디스크 탐색 횟수를 줄이기 위한 낮은 트리높이

4. HDD
- 디스크에서는 seek 작업이 랜덤 읽기 비용의 많은 부분을 차지한다.
    - 디스크를 회전하고 읽기/쓰기용 헤드를 원하는 위치까지 물리적으로 옮겨야 하기 때문이다.
- 디스크의 최소 전송 단위는 sector 이다.
    - 모든 작업은 최소 한개의 sector를 읽거나 쓴다.
- 물리적 헤드 이동은 HDD 작업 중 가장 비용이 높은 작업이다.

5. SSD
- 물리적으로 움직이는 부품이 없다.
    - 회전하는 디스크도, 이동시킬 헤드도 없다.
- cell로 구성된다.
- cell → string → page → block
- cell은 한개 또는 여러 개의 bit를 저장한다.
- page가 읽고 쓸 수 있는 가장 작은 단위, 또한 비어있는 cell에만 쓸 수 있다.
- 삭제할 수 있는 단위는 block → erase block
- block 내 page는 순차적으로 쓴다.
- 효율적인 디스크 기반 자료구조 설계가 어려운 이유는
    - 디스크 접근비용
    - block 단위로 삭제가 가능

6. 유비쿼터스 B-트리
- 도서관의 카탈로그 룸에서 원하는 도서를 찾는것과 유사하다.
- 검색항목을 빠르게 찾을 수 있는 계층형 자료구조이다.
- fanout이 높고 높이가 낮은 BST 기반의 트리이다.
- B-트리는 키의 순서가 보장이 되고, 노드 키를 기준으로 정렬해서 저장하기 때문에 이진 탐색같은 알고리즘을 사용해 특정 키를 찾을 수 있다.

 7. B-트리 계층
- 각 노드는 최대 N개의 키와 N+1개의 자식 노드 포인터를 저장한다.
- 루트노드 : 트리의 최상위 노드로 부모 노드가 없음
- 내부노드 : 루트와 리프 노드를 연결하는 모든 노드
- 리프노드 : 자식노드가 없는 트리의 최하위 계층 노드
- B-트리는 page 기반 자료구조라서, 노드와 페이지가 같은 의미로 쓰이기도 한다.
- B-트리는 리프노드에만 데이터가 있고, 나머지 노드는 데이터를 찾아가는 포인터를 가지고 있다.

8. B-트리 쓰기
- 쓰기는 여러 Disk write가 필요할 때가 있다.
- 중간에 crash 하는 경우 데이터가  corrupted 될 수 있다.
- 때문에 Write-ahead log(WAL) 이라는 파일에 어떤 write 를 할 지 미리 쓰고나서 작업을 이어간다. (LSM tree 에서의 log file과 유사)

  
1. B-트리 개요
-  B-트리는 가장 많이 사용되는 자료구조 중 하나다.
   근데, 이게 최신 알고리즘은 아니라고 한다.
-

색인(index)의 두 가지 형태 : LSM 트리 & B 트리 -2

커리어리 친구들, 한국IDC에서 ‘국내 외장형 엔터프라이즈 스토리지 시스템 시장 전망(2023-2027)' 발표했습니다. 국내 외장형 엔터프라이즈 스토리지 시스템 시장 2027년 1조 298억원 규모 전망 했는데요, 2026년 외장형 스토리지 시스템의 볼륨은 2023년의 두 배로 증가할 것이라는 보고서를 내 놓았습니다!

주요10개국, 글로벌 외장형 ESS 시장 규모의 80%를 차지하는 규모로 챗GPT와 같은 거대 언어 모델(LLM)을 기업 자체 내에서 구축할 것으로 내다보고 이와 같은 전망을 한다고 합니다. 

과연 그렇게 될까요? 여러분 생각은 어떠세요?? 

https://www.gttkorea.com/news/articleView.html?idxno=5424

<생성AI가 국내 외장형 엔터프라이즈 스토리지 시장 견인할 것>

당신의 성공엔 4차원이 필요하다 [4D학습법]

안녕하세요. 데이터 리차드입니다.

아래에 있는 영상 제목 그대로 가져왔습니다.
더 이상 더하지도 빼지도 않았습니다.

우리가 성공하기 위한 학습법으로
영상에서는 4D 학습법, 즉 4차원 학습법을 제시합니다.

여기서 4D란

Data - 필요한 정보들이 있다는 사실 인지하는 단계
Discover - 여러가지 정보들을 발견하고 수집하는 단계
Develop - 정보들을 비교하고 연구하고 개발하는 단계
Define - 자신에게 딱 맞는 스타일로 정의하는 단계

를 뜻하는데요.
사실 어디서 많이 본 [프레임워크]가 아닌가라는 생각이 들었습니다.

Data - 목적을 위한 데이터를 인지하는 단계
Discover - 관련된 여러가지 "데이터" 을 발견하고 수집하는 단계.
Develop - 데이터를 기반으로 자신만의 "프로덕트"를 개발하는 단계.
Define - "프로덕트"로 자신의 시장을 재정의하는 단계

“제프, 다음 10년 동안에 어떤 것이 변할까요?”
하지만 그보다 더 중요한 이 질문은 거의 받아본 적이 없습니다.
“다음 10년 동안 변하지 않는 것은 무엇일까요?” 대단히 중요한 질문입니다.
그것들을 중심으로 계획을 세울 수 있으니까요.

- 제프 베조스 -

제프 베조스 의 말처럼 우리는
"변하지 않은 원칙"을 찾아 계속 헤메고 있는 것일지도 모르겠네요.

#데이터리차드 #데이터교육 #데이터학습

YouTube

당신의 성공에는 4D 학습법이 필요하다

In Building Systems With The ChatGPT API, you will learn how to automate complex workflows using chain calls to a large language model. Unlock new development capabilities and improve your efficiency in this brand new short course. You'll build: Chains of

Building Systems with the ChatGPT API

커리어리 친구들, 그동안 챗GPT API를 체계적으로 사용하여 애플리케이션 시스템을 어떻게 만드는 지 궁금하신 분들이 많으셨죠? 

앤드류 응 교수가 프롬프트 엔지니어링 강좌 이후에 새로운 강의를 개강했네요! 배우실 내용은 이렇습니다! 

ChatGPT API로 시스템 구축에서는 대규모 언어 모델에 대한 체인 호출을 사용하여 복잡한 워크플로우를 자동화하는 방법을 배우게 됩니다. 

🌸 이전 프롬프트의 완료와 상호 작용하는 프롬프트의 체인

🌸 파이썬 코드가 완료와 새로운 프롬프트와 상호 작용하는 시스템

🌸 이 과정의 모든 기술을 사용하는 고객 서비스 챗봇

또한 사용자 프롬프트 쿼리를 채팅 에이전트의 응답으로 분류하고, 안전을 위해 사용자 쿼리를 평가하고, 사고 사슬(chain of thought), 다단계 추론을 위한 작업을 처리하는 것을 포함하여 이러한 기술을 실제 시나리오에 적용하는 방법을 배우게 될 것입니다.

이사 풀포드(OpenAI)와 Andrew Ng(DeepLearning.AI)가 가르치는 이 1시간 과정은 개발자를 위한 인기 있는 ChatGPT 프롬프트 엔지니어링에서 가르치는 수업을 기반으로 실습 사례는 각 개념을 이해하기 쉽게 만들 수 있습니다. 내장된 주피터 노트북을 사용하면 코스에 제시된 코드와 프롬프트를 원활하게 실험할 수 있습니다. 관심 있는 분들은 아래의 링크를 참조하세요!!

Deeplearning

<무료 강의 오픈 - 챗GPT API로 시스템 개발하기>

좋아요 ㅎㅎㅎ 파이팅 🍀 🔥 💚

Ep 10. 데이터 분석가 포트폴리오 주제 추천

안녕하세요 :) 
데이터 분석가, 데이터 과학자 포트폴리오를 만들기 위해 어떤 주제로 프로젝트를 진행해야 할까 고민하고 계신 분 계신가요?

관련해서 요즘 트렌드 + 제 생각을 반영한 내용을 담았습니다.
실제로 어떤 프로젝트가 왜 좋은지에 대한 내용도 담았으니 참고해보시면 좋을 것 같아요-!

https://youtu.be/p4DuJ77p6Ko

Ep 10. 데이터 분석가 포트폴리오 주제

Snowflake를 Python에서 사용하는 방법에 대해 작성한 글입니다 Snowsight에서 Python Worksheet를 실행하는 방법이 아닌 Jupyter Notebook에서 사용할 때의 방법을 정리했습니다 Snowflake를 사용하는 방법은 (1) Python Connector를 사용하는 방법 (2) Snowpark를 사용하는 방법 그 외 Snowsight의 Python Worksheet는 사용하기 불편한 부분이 있어 제외했으나, 추후 인터랙티

Snowflake Python에서 사용하는 법(Python Connector, Snowpark)

전에 공유한 Snowflake 글을 이어서 공유드립니다!

DW를 사용할 때, Python을 경유해서 사용해야 하는 경우가 있습니다. 쿼리만으로 해결되지 않는 경우가 이에 해당됩니다. 
이런 경우 어떻게 연결해서 사용해야 할까요?

자료가 많지 않아 직접 여러 문서를 통합해서 코드로 만들었습니다 :)
꼭 Snowflake를 사용하지 않더라도 참고할 수 있으니 보셔도 좋을 것 같아요! 

https://zzsza.github.io/data-engineering/2023/05/29/python-with-snowflake/

Zzsza

Snowflake Python에서 사용하는 법

Satya Nadella Full Keynote at Microsoft Build 2023. Subscribe to Microsoft on YouTube here: https://aka.ms/SubscribeToYouTube Follow us on social: LinkedIn: https://www.linkedin.com/company/microsoft/ Twitter: https://twitter.com/Microsoft Facebook: https

Full Keynote | Satya Nadella at Microsoft Build 2023

https://www.youtube.com/watch?v=FaV0tIaWWEg

마이크로소프트는 2023 MSbuild 행사에서 윈도우11에 탑재된 코파일럿을 선보였습니다. 탑재된 코파일럿은 GPT-4 기반으로 되어 있습니다.

Full Key Note 영상을 보면 말그대로 “Windows helps you get more done” 그 자체인데요! 

주요 기능은 이런게 있었습니다

- 윈도우11에서 작업표시줄 중앙에 버튼만 누르면 바로 코파일럿과의 대화창이 생성됨
- 윈도우의 모든 기능을 코파일럿이 실행 가능함
- 자연어 명령으로 시스템 설정을 바꾸거나 화면 캡쳐, 컨텐츠 요약 등이 가능함
- 플러그인으로 다른 어플리케이션에도 연결 가능(!) 마치 비서처럼

이제는 사용자가 컴퓨터를 ‘사용’하는 수준이 아니라 정말로 컴퓨터와 ‘협업’하는 수준이 될 것 같아서 정말 대단하네요…!! 개인적으로는 컴퓨터에서 환경설정 하는 내용들을 검색하거나 직접 찾을 필요가 없다는 것이 굉장히 편해보입니다. 

6월에는 프리뷰, 가을에는 정식 출시라고 하니 실제로 출시되는 형태의 모습이 기대되네요! 🙂

🤖 2023 MSbuild에서 공개한 윈도우11 내의 Copilot

사용자가 원할 때 이자를 받는 '지금 이자 받기' 서비스. 토스뱅크의 대표 서비스로, 출시된 지 1년이 넘었다. 이 서비스는 매달 은행이 정한 날짜에 이자를 지급하던 관행에서 벗어나, 이자 지급을 사용자(고객)의 관점으로 바라봤다는 점에서 전통 이자 지급 방식을 깼다. 지금 이자 받기 서비스는 이후 여러 인터넷전문은행과 시중은행으로 확대됐다.

토스뱅크의 히트 상품, '지금 이자 받기' 탄생 스토리 - Byline Network

토스가 24일부터 열린 디자인 컨퍼런스 ‘심플리시티’에서 토스뱅크의 ‘지금 이자 받기 서비스’의 기획부터 출시 과정 내용의 이야기를 공유하였습니다. 

토스뱅크가 어떤 질문을 던졌고, 어떻게 해결해나갔는지를 보는 것이 재밌어서 공유드립니다! 그리고 일련의 과정을 데이터 분석가의 용어로 요약해보았습니다 🙂

[ 💰 토스뱅크의 ‘지금 이자 받기’ 탄생 스토리 ]

1️⃣ 문제정의 및 핵심질문
- 우리 고객들이 느끼는 와우 모먼트(like 아하 모먼트)는 무엇일까?
- 이자를 꼭 한 달에 한 번 정해진 날짜에만 받아야 할까?

2️⃣ 데이터 탐색 (EDA)
- 이자 받는 날의 사용자수(DAU)가 동월 다른 일자 대비 20% 높았다.
- 이게 유저들이 느끼는 와우 모먼트 아닐까? 이자를 한 달에 한 번 이상 받게 해주면 좋지 않을까?

3️⃣ 실험 설계 및 결과 데이터 분석
- 이자금액으로 아낀 돈을 유저에게 시각화 하여 보여주고 유저 경험을 분석해보자
- 분석 결과, 해당 시각화를 경험하고 내용을 공유한 유저가 이전 달의 이자 받은 유저 대비 8배 늘었다!

4️⃣ 결론 도출 및 다음 실험 진행
- 유저들은 이자 받는 날을 기다린다! 즉, 정해진 날이 아니라 한 달에 여러번 받게 해주면 유저 경험이 향상될 것이다.
- 새로운 질문, “그렇다면 이자를 매일 받는게 좋을까, 아니면 원하는 때에만 받으면 좋을까?”
- 논문, 컬럼에 대한 스터디를 통해 “사용자의 개입할 여지가 있어야 한다”는 부분을 적용하여 원하는 때에 받기로 하자
- 다음 실험을 진행하였고, 화면조회 대비 이자받기 전환율은 25%로 생각보다 저조하였다. 왜지?
- 아 복리에 대한 이해도가 더 높아져야 하구나! → 복리에 대한 캠페인 페이지 진행 → …

토스뱅크는 이러한 과정을 통해 출시 후 기존보다 2배 많은 유저들이 토스뱅크 통장을 만들었다고 합니다. 대단하네요!

위의 과정은 기사를 보고 고객이 원하는 제품을 만들기 위한 실험을 주도하는 데이터 분석가 입장에서 생각해본 플로우입니다! 
이렇게 꼬리에 꼬리를 무는 질문을 해가며 빠른 이터레이션으로 실험을 진행하고, 고객을 이해하고, 제품을 성장시켜 실제 성과를 냈다는 생각을 하니 토스뱅크 정말 멋지네요! 🙂

https://byline.network/2023/05/24-248/

Byline Network

💰 토스뱅크 ‘지금 이자 받기’ 탄생 스토리

Python은 배우기 쉽고, ML 관련 라이브러리를 포함한 오픈소스 생태계가 상당히 발전해있는 좋은 언어입니다. 편의성이 좋다 보니 여러 회사들이 데이터 분석과 ML 모델 학습뿐만 아니라, 백엔드 서버에서도 Python을 자주 사용합니다. (대표적으로 Instagram도 백엔드 서버로 Python을 사용합니다 [0-1]). 하이퍼커넥트의 많은 ML 백엔드 서버들도 Python으로 작성되고 있는데요, 하지만 Python은 실행 속도가 느리다는 치명적인 단

고성능 ML 백엔드를 위한 10가지 Python 성능 최적화 팁

하이퍼커넥트에서 고성능 ML 백엔드를 위한 10가지 Python 성능 최적화 팁이라는 내용으로 글을 작성해주셨네요!

MLOps 관점, 백엔드 개발 관점에서 알아두면 좋은 내용이 많으니 꼭 읽어보시면 좋을 것 같아요 :)

목차
- 상황에 따라 gc가 병목일 수 있다. 이런 경우 gc 발동 조건을 튜닝할 수 있다.
- Built-in list는 충분히 빠르지 않다. 필요시 array나 numpy를 사용하자.
- multiprocess는 커뮤니케이션 오버헤드가 높기에, low-latency 시나리오에서 조심히 사용해야한다.
- Pytorch를 multiprocess 환경에서 쓴다면 num_threads를 조정하자.
- Pydantic은 아주 느리다. 불필요한 곳에서 가급적 사용하지 말자.
- Pandas DataFrame은 생성에 많은 시간이 걸리므로, 유의해서 사용해야 한다.
- 바닐라 json 패키지는 느리다. orjson이나 ujson을 사용하자.
- Class는 충분히 빠르지 않을 수 있다. 너무 문제가 되면 dict를 사용하자.
- Python 3.11은 덜 느리다.
- (보너스) line profiler 사용법

https://hyperconnect.github.io/2023/05/30/Python-Performance-Tips.html

Hyperconnect Tech Blog

Large language models are trained in two stages: (1) unsupervised pretraining from raw text, to learn general-purpose representations, and (2) large scale instruction tuning and reinforcement learning, to better align to end tasks and user preferences.

LIMA: Less Is More for Alignment

커리어리 친구들, 요즘 하루가 멀다하고 인공지능 분야에 새로운 논문과 서비스가 나오고 있습니다. 오늘은 메타의 새로운 논문이자 모델인 LIMA에 대해 짧게 요약하고자 합니다. 

🌸 강화학습 이나 선호도 모델링 없이 잘 큐레이트된 1000개의 프롬프트만으로 파인튜닝한 LLaMA 모델

🌸 43% 사례에서 GPT-4와 동등하거나 더 선호, Bard와 비교했을 때 58%, 휴먼 피드백으로 훈련한 DaVinci003에 비해 65% 높음

🌸 논문의 가설은 LLM의 거의 모든 지식은 Pretraining중에 학습되는 것이며, Alignment는 사용자와 상호작용하는 포맷/스타일을 학습하는 간단한 프로세스 라는 것

🌸 650억개 파라미터를 가진 LLaMA 모델과 천 개의 프로폼트로 GPT-4 성능에 근접함

arXiv.org

<새 메타의 논문, LIMA에 대하여>

While there are many resources to help programmers write better code-such as books and static analyzers-there are few for writing better comments. While it's easy to measure the quantity of comments in a program, it's hard to measure the quality, and the 

Best practices for writing code comments

1. 코드 내용을 그대로 반복하는 (추가 정보가 없는) 주석은 적지 말라.
2. 좋은 주석은 불명확한 코드를 변명하지 않는다.
    - 주석으로 코드를 설명하지 말고 코드를 다시 써라.
3. 명확한 주석을 적을 수 없다면 코드에 문제가 있을 수 있다.
    - 코드가 어렵다고 주석으로 경고하지 말고 코드를 다시 써라.
4. 주석은 혼란을 야기하는 것이 아니라 해소해야 한다.
    - 주석을 보고 더 헷갈린다면 그 주석은 지워라.
5. 관용적이지 않은(unidiomatic) 코드는 주석으로 설명하라.
    - 불필요하거나 중복된다고 생각할 수 있는 코드, 이로 인해 다른 누군가가 "단순화"할 수도 있다고 생각되는 코드에는 주석을 달아 설명하는 것이 좋다.
6. 복사한 코드라면 원본 출처 링크를 주석에 포함하라.
    - 향후 코드를 읽을 동료가 전체 컨텍스트(어떤 문제, 해당 솔루션이 권장되는 이유 등)를 파악하는 데 도움이 될 수 있음.
7. 도움이 될만한 외부 참조 링크를 포함하라.
8. 코드를 수정할 때, 특히 버그를 수정할 때 주석을 추가하라.
9. 주석을 사용해 불완전한 구현을 표시하라.
    - 기술 부채를 측정하고 해결하는 데 도움이 됨.

https://stackoverflow.blog/2021/12/23/best-practices-for-writing-code-comments/

Stack Overflow Blog

좋은 주석을 적는 방법

프로그래밍은 음악이나 미술과 같기 때문이다. 속성을 말하는 것이 아니라 범위를 말하는 것이다.

음악을 배운다고 해 보자. 음악을 하려면 무엇을 어떻게 배워야 할까? 음악 그 자체를 먼저 배우려는 사람은 없을 것이다. 피아노를 배우든, 기타를 배우든 혹은 노래를 하든 악기를 하나 선택하고, 기본 음계와 악보 보는 법, 그리고 소리내는 법을 배운 뒤 짧은 곡을 연습하는 것이 일반적일 것이다.

프로그래밍도 마찬가지다. 프로그래밍 언어를 하나 선택하고, 기본 문법과 실행 방법을 배운 뒤 작은 프로그램을 선택하여 따라 만들어보는 것이 가장 일반적인 방법이다.

또한, 음악과 악기의 종류가 셀 수 없이 많은 것 처럼, 프로그래밍도 마찬가지로 셀 수 없이 많은 프로그래밍 언어와 종류가 있다.

음악을 하려면 기간이 얼마나 걸릴까? 알 수 없다. 악기를 배우려면 얼마나 걸릴까? 악기마다 다르겠지만 보통 기초를 배우는 데 3개월, 기초적인 곡을 들을만하게 연주하는데 6개월~1년, 취미 공연을 할 수 있을 정도라면 2~3년 이상, 전공자가 되기 위해선 최소한 4~5년 가량을 매일 연습했을 것이다.

그것도 음악의 모든 범주가 아니라 하나의 악기를 다루는데만.

프로그래밍도 비슷하다. 프로그래밍을 잘 하려면 얼마나 걸릴까? 알 수 없다. 프로그래밍 언어를 배우는 데 있어서는, 언어 하나의 기초를 배우는데 3개월, 기초적인 프로그램을 제대로 만드는데에는 6개월~1년, 취미로 원하는 것를 뭐든 만들 수 있을 정도는 2~3년, 그리고 전문적인 프로그래머로 인정 받으려면 4~5년 이상 매일 프로그래밍을 해야한다.

그리고 악기 하나를 능숙하게 다룰 수 있게 되면 다른 악기를 배우는 것이 수월해진다. 프로그래밍도 마찬가지다.

즉, 악기를 연주하는 것에 대해서는 오래 걸린다는 것을 이해하고, 의심 없이 악보를 보고 따라하며 연습을 하고, 난이도를 높여가며 다양한 곡들을 연습하고 연주하며 실력을 늘려가지만, 프로그래밍을 배우는 것은 그렇게 생각하지 않으니 어렵게 느껴지는 것이다.

물론 이유는 있다. 악기 연주와는 달리 프로그래밍은 그 과정이 거의 눈에 보이지 않고, 결과 또한 드러나는 것이 전부가 아니기 때문에 기대와 과정의 괴리가 있어서 더 어렵게 느끼는 것 같다.

음악이나 프로그래밍 뿐이 아니라 세상 누구의 일도 어렵지 않은 것이 없다. 그리고 프로그래밍이 특별히 어려운 것도 아니다. 그냥 단기간에 배우려니 어려운 것이다.

프로그래밍은 왜 어려울까?

정리하게 된 배경 TMI~ API를 사용하게 되면 많이 다루게 되는 데이터 형식 중 하나가 바로 json이다. 개발중인 서비스에서도 연계된 타 서비스의 데이터를 API로 받아오게 되는데, 대용량일 시 json 문자열을 Entity 객체로 파싱하며 성능 이슈가 있는 듯하여 현재 사용중인 라이브러리와 그 외에 대중적으로 사용되는 라이브러리의 성능 차이를 검토하게 되었다.

[Java] Json을 Java 객체로 변환하는 방법(Gson, Jackson, JSON-SIMPLE)

웹 서비스를 개발할 때, 대다수의 개발자가 마주치게 되는 것이 JSON 입니다. API의 개념이 도입되면서 클라이언트와 서버는 JSON 포멧으로 데이터를 주고받는게 일반적이며, 시스템 간 서버끼리 데이터를 주고 받을 때도 API 형식으로 데이터를 넘겨주는 경우가 있습니다.

이때, 백엔드에서는 Java Entity를 JSON 문자열로 변환하거나 JSON 문자열을 Java Entity로 편하게 변환하기 위해 라이브러리를 사용하는데, 대표적으로 Jackson, GSON, JSON-SIMPLE이 있습니다. 세 개의 라이브러리 중 어떤 라이브러리를 사용해야 할까요?

단순히 코드 짜기 편한 라이브러리를 선택한다면, 성능 상 이슈가 발생할 수 있습니다. 본인이 서비스하는 시스템의 특성에 따라 라이브러리를 선택할 것을 권장합니다. 간략하게 장단점을 정리해봤습니다. 보시고 시스템 환경에 맞는 라이브러리를 선택하시길 바랍니다.

▪️ Jacskon
  - 대용량 데이터일수록 성능 향상
  - Spring Framework 내장 (어노테이션 지원)
  - Serialize/Deserialize 커스텀 용이 (상속 지원)
  - 소스코드 작성 간단함

▪️ GSON
  - 저용량 데이터에서 성능 무난
  - 대용량 데이터일수록 성능 하락
  - Serialize/Deserialize 커스텀 용이 (상속 지원)
  - 소스코드 작성 간단함

▪️ JSON-SIMPE
  - 데이터 용량에 따른 성능 차이 미세함 (저용량/대용량 모두 다루는 환경에 적합)
  - Deserialize 커스텀 불편
  - 소스코드 작성 불편함

실제 저희 서비스 환경 조건에서 각 라이브러리 별 JSON Parser를 구현해 성능 비교를 해본 결과, Jackson이 성능이 월등하게 우세하여 기존 GSON으로 되어 있는 코드를 Jackson을 사용하도록 수정했습니다. 실제 구현 방법과 성능 비교 결과는 제 블로그에 정리해뒀으니 관심이 있으시면 참고하시길 바랍니다.

Velog

Jackson vs GSON vs JSON-SIMPLE

code-review #코드리뷰 | 안녕하세요. 이번에 테크리드로 승진(?)하게 된 5년차 개발자입니다. 작은 스타트업에 있다보니 생각보다 빠르게 테크리드 역할을 맡게 되었습니다. 이제 제가 코드리...

코드 리뷰를 받는 입장에서 해야 하는 입장이 되었는데 다른 분들은 리뷰를 어떤 식으로 하는지 궁금합니다.

요약
1. 로직을 이해하기 쉽도록 구현했는지를 위주로 코드리뷰합니다.
2. 코드 작성자는 확신이 없는 부분에 대해서 사전에 설명하는 코멘트를 남겨두면 좋습니다.
3. 코드 리뷰어는 자신의 코멘트가 필수적으로 반영되어야 하는지, 선택적으로 반영하면 좋은 것인지 명시하면 좋습니다.
4. 구글 등 다른 코드리뷰 문화도 참고하시면 좋습니다.

경험상 사람마다 코드리뷰에서 주로 보는 부분이 다르겠지만, 저는 로직을 주로 봅니다. 구현하고자 하는 것에 비해서 복잡하게 되어있지는 않은지, 맥락을 알아야지만 이해할 수 있도록 구현되어 있지는 않은지 점검하는 편이에요. 그래서 사실 코드를 읽다가 이해하기 어렵다 싶으면 그때부터 로직에 개선점이 있는지 주의 깊게 봅니다. 코드 스타일 등 린터나 포매터로 자동화할 수 있는 부분은 크게 신경 쓰지 않는 편이에요(대부분 CI에서 잡히고, 새로운 린터 규칙이 필요하면 추가하면 됩니다).

한편, 코드리뷰를 하다 보면, 리뷰가 올라오기까지의 시간과, 리뷰를 반영했을 때 그걸 확인하고 승인하는데 까지 걸리는 시간이 오래 걸리기 마련입니다. 일종의 핑퐁이지요. 이 핑퐁을 줄이기 위한 방법으로 저는 선제적 코멘트를 사용했습니다. 로직을 최대한 이해하기 쉽게 짜려고 노력했지만, 더 이상 개선할 수 없었을 때, 그렇다고 주석을 남기기도 애매할 때는 github, bitbucket의 코드 인라인 코멘트로 왜 이렇게 짰는지, 무엇을 고민하고 있는지에 대해 적어둡니다. 그러면 리뷰어가 왜 이렇게 짜셨나요? 라고 묻고, 그에 대해 답하면서 생기는 핑퐁이 줄어듭니다. 

마지막으로, 코드 작성자의 입장에서는 리뷰어의 코멘트가 필수적으로 반영되어야 하는지, 아니면 반영되면 좋은 것인지 구분이 애매할 수 있습니다. 그래서 리뷰어가 필수/선택 여부를 명확하게 표시해주는 게 좋다고 생각합니다. 

https://google.github.io/eng-practices/review/ 구글의 코드리뷰 가이드 문서와 거 문서에 링크된 다른 글을 읽어보셔도 도움이 될 거 같습니다.

커리어리

코드리뷰는 어떤 식으로 해야 할까?

지금 돌이켜 생각하면 부끄러운 일이지만, 처음 테스트 코드를 마주했을 때 든 생각은 '왜 귀찮은 테스트 코드를 만들어야 하는 걸까?'였습니다. 물론 지금은 테스트 코드의 중요성을 깨달아 열렬한 팬이 되었고, 이를 제 사회 생존을 위한 필수 장치로 여기며 함께하고자 노력하고 있습니다. 요즘은 대부분의 개발 과정에서 테스트 코드 작성을 실천하며 더 나은 결과물을 만들고 있습니다.

테스트 코드는 왜 만들까? | 요즘IT

요즘 최대의 관심사는 단언컨대 "테스트 코드"입니다. 혹자는 테스트 코드를 작성하면 시간이 부족해진다는 이유로 기피하곤 합니다. 저 역시 그랬으니 그 마음을 전혀 이해 못하는 건 아닙니다. 하지만 프로그램을 만들수록 테스트의 중요성은 점점 증가했던 것 같고 특히 "테스트 코드"는 코드 품질의 향상이나 리팩토링(혹은 코드를 수정하는 행위)를 할 때 보다 안전하고 자신 있게 할 수 있게 되어 유지 보수 차원에서 꼭 필요한 존재라고 생각합니다. 조금 과장하여 개발 프로세스 중에 필수라고 생각이 들기도 합니다. 
물론, 테스트 코드가 군대에서 다치면 의무대에서 줬던 빨간약 같은 만병통치약이라는 소리는 아닙니다. 테스트 코드가 모든 버그를 방지할 수 있는 것도 아니죠. 하지만 테스트 코드가 가져다주는 장점은 분명하기 때문에 고려를 해봐도 좋다고 생각합니다. 
그렇다면 우리는 왜 테스트 코드를 작성하게 될까요? 이번 글을 통해 테스트 코드 작성에 대한 각자의 생각을 정립하는 기회가 되었으면 좋겠습니다.
https://yozm.wishket.com/magazine/detail/1964/

Wishket

테스트 코드는 왜 만들까?

Are you a Java programmer with 1-3 years of experience? Congratulations, you have passed the beginner level and now it's time to showcase your skills in interviews. To help you prepare for your next...

Medium

🕊️ 주니어 자바 개발자를 위한 100가지 질문 (2)

I care a lot about the tools I use. Especially when they aren't free. Some tools are too good to keep to myself. I have to share them! Here's what I've spent my money on in 2022-23 that has genuinely improved my life as a software engineer.

The 5 paid subscriptions I actually use in 2023 as a software engineer

넘쳐나는 구독 서비스 중 개발자가 자주 사용하게 되는 서비스는 무엇일까요?

1️⃣ 깃허브 코파일럿

코드를 작성하면 코파일럿이 다음에 작성할 코드를 예상하고 추천해준다. 코파일럿 사용후 생산성이 약 30% 증가했다. 

2️⃣ Kagi: 구글보다 나은 서치 엔진

Kagi에서 검색하면 구글기나 빙보다 더 정확한 검색
결과가 뜬다. 지속적으로 정확한 검색 결과는 자신이 제어하는 검색 개인화에 의해 더욱 강화된다. Kagi에게 스택 오버플로 또는 미디엄 사이트의 결과에 더 높은 가중치를 부여할 수 있고 결과를 보고 싶지 않은 사이트도 차단하도록 설정할 수 있다. 

https://kagi.com

3️⃣ 미드저니: AI 이미지 생성

백엔드 엔지니어가 포토샵으로 이미지 생성할 일도 없고 잘하지 못할 수 있다. 기술 아티클글 작성할 때 도움되는 이미지를 미드저니를 사용해서 생성한다. 

https://www.midjourney.com/

4️⃣ Scribd

인기 있는 전자책이 모여있는 온라인 라이브러리다. 출퇴근할 때나 여행 다닐 때 오디오북을 들으면 좋다. 

5️⃣ 미디엄

같은 직종에 종사하는 사람들로부터 배울 수 있는 블로깅 플렛폼. 

👉 보너스: Excalidraw

화이트보드 대신 온리인으로 도형을 그리며 설계할 때 도음되는 도구다.

https://excalidraw.com

개발자가 자주 사용하게 되는 구독 서비스 5가지

최근 한 기업의 소프트웨어 개발팀이 서버리스 아키텍처 프로젝트를 버리고 모놀리스를 도입해서 클라우드 인프라 비용을 90% 절감했다는 내용의 블로그 글을 올리며 뜨거운 논란을 불러일으켰다. 더구나 이 글은 다른 누구도 아닌 아마존 프라임 비디오의 선임 소프트웨어 개발 엔지니어 마신 콜니가 쓴 글이었다. 아마존은 클라우드 서비스 시장의 리더임은 말할 것도 없고 서버리스 컴퓨팅을 앞장서서 지지하는 대표적인 기업이다.

아마존 프라임 비디오의 '서버리스 vs. 모놀리스' 논란에서 얻는 6가지 교훈

아마존 프라임 비디오는 서버리스 아키텍처를 버리고 모놀리스를 선택했다. 그리고 클라우드 인프라 비용을 90% 절감했다.

언젠가부터 MSA, 서버리스 안하면 쿨하지 못한게 되었다. 이 흐름탓인지 부트캠프에서 몇 주간 진행하는 프로젝트에도 MSA로 서버를 구성한다. 정말 말리고 싶었지만 아무리 말해도 자기가 고생해봐야 이게 아닌걸 알지 않나.

각 팀과 회사가 가진 자원은 모두 다르다! 그러니 너무 부끄러워 마시라!

ITWorld Korea

모놀리스는 부끄러운 아키텍처인가?

Create FAST, Connect ALL - 급변하는 비즈니스 환경, 디지털 콘텐츠 관리를 위한 가장 파워풀한 도구 마케터, 기획자, 개발자, 디자이너를 위한 새로운 솔루션! Memex

미믹스 - Memex

안녕하세요. 현직 프론트엔드 개발자라서 관리자 페이지 만들때마다 귀찮아서 Strapi같은 외국CMS 써보다가 TF팀을 꾸려서 한국판 CMS 만들어보았습니다.

https://memexdata.io/

어쩌다가 만들었는지 자세한 내용은 "우리가 미믹스를 만든 이유" (https://memexdata.io/blog/d7c48d9122db4441800e21a3b106005a) 글을 봐주시면 감사하겠습니다.

백엔드와 서버 없이 관리자 만들고 API연동할 수 있는 기능이 있어서 저같은 프론트 / 앱개발자에게 도움이 될것 같습니다.

무료로 쓰실 수 있고 기존에 파이어베이스나 워드프레스 말고 가볍게 개발해보실분은 써보시면 좋을것 같습니다. 무료이니 만큼 개발자분들, 특히 서버하기 귀찮거나 버거운 프론트엔드 개발자분들에게 조금이나마 도움이 되면 좋겠습니다.

아래 스펙갖고 개발했습니다.
- React (18) + Redux
- Spring Boot + MariaDB + MongoDB + Redis
- UI: AntDesign / Tailwindcss
- 인프라: AWS + Vercel

궁금하신점은 댓글이나 채널톡에 문의 남겨주세요.

관리자 페이지 만들지 마세요. 프론트만 개발해보세요.

10% 비용으로 10배의 효과를 만드는 방법에 대해 알고 계신 분들은 안보셔도 괜찮아요.

🚀 오길비 부회장. 10% 비용으로 10배의 효과를 만드는 방법

✅ 3,000,000회 이상의 조회수를 기록한 TED의 인기 영상

- 오길비 그룹의 부회장이자 마케팅 전문가인 로리 서덜랜드(Rory Sutherland)는 18분이라는 짧은 시간 안에 제가 가지고 있던 일에 대한 관점을 완전히 바꿔버렸어요. 개인적으로 너무 감명 깊어서 군대에서 20번 넘게 돌려봤던 기억이 있네요. 업로드된 지 10년이 넘은 TED 영상이지만 구독자분들께 꼭 소개해 드리고 싶어서 이번 콘텐츠로 선정하게 되었어요. 시간이 되시는 분들은 원본 영상도 함께 보시는 걸 추천드립니다!

✅ 원본 글 정리 (프로덕트랩의 주관적인 해석 포함)

[멋진 철학자. A Fucking Philosopher.]

- 여기 있는 것은 전자 담배입니다. 1~2년 전에 발명된 이래로 저에게 말할 수 없는 행복을 안겨주었죠. 그 이유는 다음과 같습니다. 영국에서 공공장소에서의 흡연이 금지된 이후로 저는 더 이상 파티를 즐길 수 없었습니다. 파티에서 와인 잔을 들고 사람들과 이야기를 나누다 보면 때로는 혼자 조용히 서서 생각에 잠기고 싶을 때가 있습니다. 하지만 담배도 없이 혼자 창밖을 바라보고 있으면 반사회적이고 친구도 없는 멍청이처럼 보이기 마련입니다. 담배와 함께라면 당신은 멋진 철학자처럼 보일 수 있습니다.

[그리스에 대출을 해준 멍청한 은행들에 대한 구제 금융]

- 사물을 재정의하는 것의 중요성은 아무리 강조해도 지나치지 않습니다. 똑같은 일이라고 해도 그 일을 어떻게 바라보는가에 따라 기분이 좋아질 수도 나빠질 수도 있습니다. 고전적인 경제학의 문제 중 하나는 지나치게 현실에 집착한다는 점입니다. 하지만 실제로는 현실만큼 그 현실을 어떻게 바라보는지가 중요합니다. 같은 일을 두고 '그리스에 대한 구제 금융'이라고 말할 수도 있고, '그리스에 대출을 해준 멍청한 은행들에 대한 구제 금융'이라고 할 수도 있습니다. 사실 이 둘은 실제로는 같은 이야기입니다. 

[심리적인 접근보다 공학적인 접근이 우선시 되었던 이유]

- 인식은 우리의 생각과 행동에 엄청난 영향을 미친다고 생각합니다. 하지만 2002년 노벨 경제학상을 수상한 심리학자, 대니얼 카너먼(Daniel Kahneman) 이전에는 이를 설명할 수 있는 훌륭한 방법이 없었습니다. 하지만 기술 공학 분야는 그렇지 않았습니다. 자신들의 논리를 설명할 수 있는 훌륭한 방법들이 다수 존재했습니다. 이로 인해 우리는 심리적인 해결책보다는 공학적인 해결책에 집중하게 되었습니다.

[심리적인 접근의 효용성]

- 심리적인 해결책이 얼마나 효과적인지 말씀드리겠습니다. 혹시 파리와 런던 간의 이동 시간을 약 40분 단축하기 위해 무려 600만 파운드를 투자한 유로스타를 아시나요? 투자한 돈의 0.01%를 열차에 Wi-Fi를 설치하기 위해 사용했다면 기차에 탑승한 승객들의 즐거움을 훨씬 더 향상시킬 수 있었을 것입니다. 만약 투자한 돈의 10%를 세계 최고의 남녀 슈퍼모델들을 고용해 탑승한 모든 승객들에게 고급 와인을 무료로 나눠줬다면 어땠을까요? 여전히 500만 파운드가 넘는 돈이 남아있었을 것이고, 사람들은 오히려 이동 시간을 늘려달라고 요청했을 것입니다.

[창의적이고 감성적인 아이디어 VS 이성적이고 수치화된 아이디어]

- 저는 창의적이고 감성적인 아이디어를 대하는 방식과 이성적이고 수치화된 아이디어를 대하는 방식 간에 불균형과 비대칭이 존재한다고 생각합니다. 창의적인 아이디어는 이성적인 사람들의 검토를 거쳐 승인됩니다. 그것이 틀리다고 생각하지는 않습니다. 하지만 그 반대의 경우, 이성적이고 수치화된 아이디어는 그 자체로 승인됩니다. "숫자는 모두 맞는 것 같지만, 이 아이디어를 발표하기 전에 크리에이티브 한 사람들에게 보여줘서 더 나은 것을 생각해낼 수 있는지 알아볼게요."라고 말하지 않습니다.

[의사 결정을 할 때 고려해야 하는 3가지 요소]

- 저는 의사 결정을 할 때, 기술 / 경제 / 심리적인 요소가 모두 고려되어야 한다고 생각합니다. 어느 한 가지를 우선시하는 것이 아니라 이 세 가지를 모두 동등하게 고려하여, 가능한 그 중간 지점에 있는 해결책을 찾아야 합니다. 

[심리적 통찰력을 기반으로 검색창에 집중한 구글]

- 실제로 훌륭한 비즈니스를 보면 거의 항상 3가지 요소를 모두 고려한 것을 볼 수 있습니다. 구글은 기술적으로도 훌륭하지만, 한 가지 일만 잘하는 기업이 그 일과 다른 일을 동시에 하는 기업보다 그 일을 더 잘한다고 믿는다는 훌륭한 심리적 통찰력을 기반으로 만들어졌습니다. 이는 "목표 희석"이라는 심리적 현상입니다. 구글은 다른 포털 사이트들과 다르게 검색창에만 집중하는 방식으로 사람들의 이러한 심리를 훌륭하게 이용했습니다.

[음식을 요리하는 것과 바닥을 청소하는 것]

- 오스트리아의 경제학자인 폰 미제스는 경제학은 심리학의 하위 집합에 불과하다고 이야기했습니다. 그는 경제학을 "희소성이 있다는 조건 안에서 인간의 심리를 연구하는 학문"이라고 표현했습니다. 폰 미제스는 인간의 심리에 따른 인지의 가치를 다른 종류의 가치와 절대적으로 동등한 것으로 취급해야 한다는 사실을 가장 잘 설명한 경제학자였습니다. 폰 미제스는 식당에서 음식을 요리함으로써 창출하는 가치와 바닥을 청소 함으로써 창출하는 가치가 동일한 가치라고 말합니다. 결국 두 가치 가치 모두 우리가 음식을 즐길 수 있도록 만드는 것이기 때문입니다.

[인식이 모든 것이다]

유명 브랜드의 진통제는 유명하지 않은 브랜드의 진통제보다 더 효과적입니다. 성분이 같더라도 실제로 더 많은 통증을 감소시킵니다. 인식은 그 자체만으로도 정말 실질적인 효과가 있습니다. 

✅ 팀원들과 이런 이야기를 나눴어요.

- 제품 팀에게 데이터의 중요성을 말하는 글들은 너무 쉽게 찾아볼 수 있어요. 하지만 인간의 심리를 활용한 크리에이티브 한 아이디어의 중요성에 대해 말하는 글들은 찾아보기가 어렵죠. 팀원분들과 함께 잠시 데이터는 내려놓고 기존에 고민하고 있던 문제들에 대해 완전히 새로운 방식으로 접근해 보는 시간을 가졌어요. 창의적인 접근 방법이 필요하다면 회의 전에 팀원 분들과 이렇게 한번 말해보세요. '인식이 모든 것이다'

==

💛 카카오톡 오픈 채팅방이 만들어졌어요

- PRODUCT LAB의 새 글이 올라올 때마다 알려드려요.
- 프로덕트를 만드는 사람들이라면 읽어볼 만한 콘텐츠들을 보내드려요.
- 오픈 채팅방 비밀번호 ➡️ productt
- 오픈 채팅방 참여하기 ➡️ https://open.kakao.com/o/gwg3tB7e

===

🙏 PRODUCT LAB은 사실.

동료들은 다 아는 정보, 나만 모르지 않게 만들어주는 일일일이라는 서비스를 만들고 있어요.
아래 초대 링크를 통해 회원가입하시면 추첨을 통해 스타벅스 쿠폰을 보내드리는 이벤트를 진행하고 있으니 많은 참여 부탁드립니다!

- 초대 링크 ➡️ https://oneoneone.kr/gift?refferal_code=57fb5e04
- 일일일 바로가기 링크 ➡️ https://oneoneone.kr/

==

원본 글 : https://maily.so/productlab/posts/3a7d4267

PRODUCT LAB. 프로덕트랩

10% 비용으로 10배의 효과를 만드는 방법

Inside Notion's global expansion plan

이번주 초 노션의 한국시장 진출 이후 여러 흥미로운 일이 벌어지고 있습니다. 
많은 사람들이 "노션이 왜 영어권 외 시장 중 첫번째 진출국으로 한국을 선택했는가?"를 궁금해하고 있었는데요, 이런 내용이 있네요.

왜 한국인가?
1. 노션 팬 층이 매우 두텁기 때문에.
2. 미국과 몇 가지 공통점이 있기 때문에.
- 매우 빠른 성장, 얼리어답터 마인드셋 
- 결제 시스템이 유사

마지막 부분 '결제 시스템 유사'가 핵심이라고 합니다. 한국 시장은 모바일 결제도 많이 보급되어 있고, 비자/마스터/페이팔 결제 시스템을 그대로 사용할 수 있기 때문이라고 하네요.

Protocol

학생

성병호

유망주 중 최고는 브랜딩유망주

서동환

와이즈플래닛컴퍼니 경영지원실 인사총무 담당

이혁

마케터로 초기 커리어를 쌓았고, 현재는 제 길을 찾아 인사총무 분야에서 일하고 있습니다. HR 영역으로 열심히 뾰족해지는 중입니다.

저자

심리학

첫 이메일 계정을 생성한 것이 1994년. 첫 비즈니스 이메일을 보낸 것이 14세에 웹진 편집장을 맡았던 1997년. 그 후 20년 간 영리, 비영리, 공공 영역에서 직/간접적으로 일하며 수많은 이메일을 보내고 받았습니다. 이메일마케팅 서비스 ‘Stibee'를 기획하며 쌓은 노하우를 바탕으로 다양한 강연과 기고를 했습니다. 현재 크리에이티브솔루션 기업 슬로워크에서 CPO로 일하고 있습니다.

댓글 0