지난 8월에 시작한 스터디 2기가 성공적으로 마무리되었습니다. 스터디에 참여해주신 분들께서 생생한 후기를 많이 남겨주셨습니다. 아, 그리고 정말 기쁘게도 1기 참여자 중에서 원하는 기업에 합격하신 분이 또 배출되었어요! 🎊 저도 함께 매주 알고리즘 문제를 풀다보니 얼떨결에 최근에 이직을 하게 되었네요 😅

이제 스터디가 꽤 알려졌는지 아직 3기 모집을 시작하지도 않았는데 벌써 50분 가까이 대기자로 등록을 해주셨어요. 그래서 모집 공고를 올리지 않으려다가 다음 차수를 기다리시던 분들이 분명 계실 것 같아서 정원을 100명으로 두 배 늘리기로 결정하였습니다.

스터디 규모가 커지면서 전 세계에 흩어져있는 모든 멤버가 참석할 수 있는 모임 일정을 잡는 것이 너무 어려워지고, 깃허브에서 멘션이 가능한 최대 인원을 초과하고 디스코드에서 음성 채팅의 최대 인원을 초과하는 등 여러가지 제약 사항에 부딪히게 되었습니다. 그래서 3기 부터는 부득이하게 정기 모임을 중단하고 100% 온라인 비대면으로 진행하오니 양해 부탁드립니다.

스터디는 12월 8일부터 시작하고 신청은 12월 2일에 마감하도록 하겠습니다.

👉 달레 스터디 3기 신청: https://github.com/DaleStudy/leetcode-study/discussions/620
👉 달레 스터디 웹사이트: https://www.dalestudy.com/

지난 8월에 시작한 스터디 2기가 성공적으로 마무리되었습니다. 스터디에 참여해주신 분들께서 생생한 후기를 많이 남겨주셨습니다. 아, 그리고 정말 기쁘게도 1기 참여자 중에서 원하는 기업에 합격하신 분이 또 배출되었어요! 🎊 저도 함께 매주 알고리즘 문제를 풀다보니 얼떨결에 최근에 이직을 하게 되었네요 😅 이제 스터디가 꽤 알려졌는지 아직 3기 모집을 시작하지도 않았는데 벌써 50분 가까이 대기자로 등록을 해주셨어요. 그래서 모집 공고를 올리지 않으려다가 다음 차수를 기다리시던 분들이 분명 계실 것 같아서 정원을 100명으로 두 배 늘리기로 결정하였습니다. 스터디 규모가 커지면서 전 세계에 흩어져있는 모든 멤버가 참석할 수 있는 모임 일정을 잡는 것이 너무 어려워지고, 깃허브에서 멘션이 가능한 최대 인원을 초과하고 디스코드에서 음성 채팅의 최대 인원을 초과하는 등 여러가지 제약 사항에 부딪히게 되었습니다. 그래서 3기 부터는 부득이하게 정기 모임을 중단하고 100% 온라인 비대면으로 진행하오니 양해 부탁드립니다. 스터디는 12월 8일부터 시작하고 신청은 12월 2일에 마감하도록 하겠습니다. 👉 달레 스터디 3기 신청: https://github.com/DaleStudy/leetcode-study/discussions/620👉 달레 스터디 웹사이트: https://www.dalestudy.com/

📣 달레 스터디 3기를 모집합니다

GCS에서 파일 복사는 gcloud storage 쓰는게 10배 더 빠르다

10배 더 빠른 gcloud storage cp

GCS에서 파일을 복사할때 보통 gsutil cp 를 사용합니다.
그런데 gcloud storage cp 를 사용하면 네트워크 대역폭을 100% 사용한다고 합니다.
저도 앞으로는 이걸 써볼려고합니다.

https://junbuml.ee/no-gsutil-yes-gcloud-storage

GCS에서 파일을 복사할때 보통 gsutil cp 를 사용합니다. 그런데 gcloud storage cp 를 사용하면 네트워크 대역폭을 100% 사용한다고 합니다. 저도 앞으로는 이걸 써볼려고합니다. https://junbuml.ee/no-gsutil-yes-gcloud-storage

Junbum Lee

gsutil cp보다 10배 빠른 gcloud storage cp

전 보통 기술에 대한 예측은 꺼리는 편입니다만 이건 꽤 확신을 갖고 얘기할 수 있을 것 같습니다. ‘글을 쓸 수 있는’ 사람들은 수십년 내로 굉장히 드문 존재가 될 것입니다. …

글쓰기와 글쓰기맹(write-nots) (번역)

폴 그레이엄의 글을 번역한 글인데 재미있게 읽었습니다.

AI가 앞으로는 글을 대신 써줄 것이므로 앞으로 세상은 글을 쓰는 사람과 글을 쓰지 못하는 글쓰기맹 양극단으로 나뉘고 중간이 사라질 것으로 예상되는데 글쓰기는 곧 사고과정이므로 이렇게 양극단으로 나뉘어지는 것은 위험하다는 의견의 글입니다.

지난 과거에서도 그렇듯이 기술의 발전은 대체로 중간을 없애고 양극단으로 나뉘게 하는 편이라고 생각하는데 AI는 그 강력함 만큼 글쓰기에 대한 폴 그레이엄의 의견에 저도 동의하는 편입니다. 글쓰기는 단순이 글을 완성하냐 마냐의 문제가 아니고 사고과정을 발전시키기 때문에 단기간으로 보면 쉽게 글을 쓸 수 있는 것으로 보일 수 있지만 결국은 그 사고 과정으로 인한 차이가 나타날 것이라고 생각합니다.

https://ebadak.news/2024/11/06/writes/

폴 그레이엄의 글을 번역한 글인데 재미있게 읽었습니다. AI가 앞으로는 글을 대신 써줄 것이므로 앞으로 세상은 글을 쓰는 사람과 글을 쓰지 못하는 글쓰기맹 양극단으로 나뉘고 중간이 사라질 것으로 예상되는데 글쓰기는 곧 사고과정이므로 이렇게 양극단으로 나뉘어지는 것은 위험하다는 의견의 글입니다. 지난 과거에서도 그렇듯이 기술의 발전은 대체로 중간을 없애고 양극단으로 나뉘게 하는 편이라고 생각하는데 AI는 그 강력함 만큼 글쓰기에 대한 폴 그레이엄의 의견에 저도 동의하는 편입니다. 글쓰기는 단순이 글을 완성하냐 마냐의 문제가 아니고 사고과정을 발전시키기 때문에 단기간으로 보면 쉽게 글을 쓸 수 있는 것으로 보일 수 있지만 결국은 그 사고 과정으로 인한 차이가 나타날 것이라고 생각합니다. https://ebadak.news/2024/11/06/writes/

이바닥늬우스

みなさん、こんにちは！私は株式会社ulusageで技術ブログを担当しているエンジニアです。最新の情報や、日々の開発で役立つTipsを皆さんと共有していきたいと思います。どうぞよろしくお願いします。（…

Pythonでのデバッグ、print()からic()に置き換えよう！ - Qiita

파이썬에서 print대신 ic써보라는 글인데, 저도 한번 써볼려고합니다.
컨텍스트 찍히는 기능이 아주 좋네요. (일본어)
https://qiita.com/ryosuke_ohori/items/11b2ad43f1ae50f25cf5

파이썬에서 print대신 ic써보라는 글인데, 저도 한번 써볼려고합니다. 컨텍스트 찍히는 기능이 아주 좋네요. (일본어)https://qiita.com/ryosuke_ohori/items/11b2ad43f1ae50f25cf5

Qiita

디버깅할 때는 print대신 ic써보세요

좋은 내용 공유에 감사드립니다~

뇌의 능력을 끌어올리는 가설적 추론의 힘

사기꾼과 사업가는 '가추'를 잘합니다

사기꾼이랑 사업가가 비슷한 점이 있다구요?
바로 '가추(Abduction)'! 🧠 주어진 사실로 그럴듯한 스토리를 만드는 능력이죠.

예를 들면, 스페이스X처럼 로켓 재사용 아이디어를 현실로 만든다든가,
사기꾼처럼 말이 안 되는 얘기를 진짜처럼 꾸미는 거예요.

결론은?
"이건 말이 안 돼!" 할 때, "어떻게 하면 말이 되게 만들까?"라고 고민해보세요!
사고력이 팍팍 늘어날지도 모르죠? 😎

자세한 내용은 본문을 참고하세요!

https://maily.so/life.interest/posts/xyowdk80z28

사기꾼이랑 사업가가 비슷한 점이 있다구요? 바로 '가추(Abduction)'! 🧠 주어진 사실로 그럴듯한 스토리를 만드는 능력이죠. 예를 들면, 스페이스X처럼 로켓 재사용 아이디어를 현실로 만든다든가, 사기꾼처럼 말이 안 되는 얘기를 진짜처럼 꾸미는 거예요. 결론은? "이건 말이 안 돼!" 할 때, "어떻게 하면 말이 되게 만들까?"라고 고민해보세요! 사고력이 팍팍 늘어날지도 모르죠? 😎 자세한 내용은 본문을 참고하세요! https://maily.so/life.interest/posts/xyowdk80z28

레드버스백맨

사기꾼과 사업가의 공통점은?

개발자라면 누구나 함께하고 싶은 순간이 있다.

현업에 있는 프론트엔드 개발자들과 프론트엔드를 꿈꾸는 사람들간의 네트워킹을 바탕으로 나에게 영감을 주었던 경험과 문제해결 과정에서 알게된 테크와 인사이트를 발표하는 자리를 누구나에게 제공하고 그 경험을 함께 공감하며 자신의 이야기들을 함께 하는 시간들을 가지기 위해 기획되었습니다.

직군의 특성상 가장 많은 접점을 가지고 있으면서도, 정작 다른 프론트엔드 개발자들과 만나서 이야기하기란 쉽지가 않네요. 이 자리를 통해서 많은 사람들이 연결되는 순간을 경험했기를 바랍니다.

4개월간 지금까지 스스로 지원해서 도와준 모든 스태프들에게 감사드리며,
3개월간 발표준비 시작해서 함께 만들어간 스피커 분들
분위기를 멋지게 띄워준 우리 MC루키
그리고 무엇보다 함께해서 진심으로 즐겁게 참여하고 함께 해주신 참여자분들에게 감사드립니다.

최대한 많은 분들을 함께 하고 싶었는데,
토,일 이틀간에 걸쳐서 다양한 사람들과 함께 할 수 있도록
소중한 공간과 굿즈를 마련해 준 멋진 스폰서인 <항해플러스>에게도 감사의 인사를 전합니다.

신청을 해주셨지만 미처 다 만나지 못한 많은 사람들과도
또 다른 방식으로 함께 할 수 있도록 만들어보겠습니다.

고맙습니다. 😆

ps. 그동안 TEOConf 핑계(?)로 진행하지 못했던 곧 스프린트를 재개할 계획입니다.
갑작스럽겠지만 다음주 아니면 다다음주 중에 시작을 할까 합니다. 일정은 아직 미정이며
최대한 빠르게 공지를 할게요! 고맙습니다.

개발자라면 누구나 함께하고 싶은 순간이 있다. 현업에 있는 프론트엔드 개발자들과 프론트엔드를 꿈꾸는 사람들간의 네트워킹을 바탕으로 나에게 영감을 주었던 경험과 문제해결 과정에서 알게된 테크와 인사이트를 발표하는 자리를 누구나에게 제공하고 그 경험을 함께 공감하며 자신의 이야기들을 함께 하는 시간들을 가지기 위해 기획되었습니다. 직군의 특성상 가장 많은 접점을 가지고 있으면서도, 정작 다른 프론트엔드 개발자들과 만나서 이야기하기란 쉽지가 않네요. 이 자리를 통해서 많은 사람들이 연결되는 순간을 경험했기를 바랍니다. 4개월간 지금까지 스스로 지원해서 도와준 모든 스태프들에게 감사드리며, 3개월간 발표준비 시작해서 함께 만들어간 스피커 분들 분위기를 멋지게 띄워준 우리 MC루키 그리고 무엇보다 함께해서 진심으로 즐겁게 참여하고 함께 해주신 참여자분들에게 감사드립니다. 최대한 많은 분들을 함께 하고 싶었는데, 토,일 이틀간에 걸쳐서 다양한 사람들과 함께 할 수 있도록 소중한 공간과 굿즈를 마련해 준 멋진 스폰서인 &lt;항해플러스&gt;에게도 감사의 인사를 전합니다. 신청을 해주셨지만 미처 다 만나지 못한 많은 사람들과도 또 다른 방식으로 함께 할 수 있도록 만들어보겠습니다. 고맙습니다. 😆 ps. 그동안 TEOConf 핑계(?)로 진행하지 못했던 곧 스프린트를 재개할 계획입니다. 갑작스럽겠지만 다음주 아니면 다다음주 중에 시작을 할까 합니다. 일정은 아직 미정이며 최대한 빠르게 공지를 할게요! 고맙습니다.

<TEOConf 2024 마무리>

혹시 엄지척 아이콘(👍)를 보면 어떤 의미가 떠오르시나요? 보통 누군가를 칭찬하거나 좋다는 의견을 표시할 때 많이 사용하실 텐데요, 하지만 모든 곳에서 이 의미가 통용되는 것은 아닙니다. 

(번역) 아이콘 현지화를 잊지 마세요

오늘은 라인플러스의 황세현님이 번역해주신 글입니다.

혹시 엄지척 아이콘(👍)를 보면 어떤 의미가 떠오르시나요? 보통 누군가를 칭찬하거나 좋다는 의견을 표시할 때 많이 사용하실 텐데요, 하지만 모든 곳에서 이 의미가 통용되는 것은 아닙니다. 호주에서는 거절 또는 무례함을 의미하고, 태국에서는 상대방에 대한 조롱과 비난, 이란에서는 공격의 의미로 사용됩니다.

저자는 이처럼 우리가 일상적으로 사용하는 아이콘을 더 넓은 관점에서 바라보았을 땐, 오해를 불러일으킬 소지가 있음을 지적하며 아이콘 현지화의 중요성에 대해 자세히 설명하고 있습니다. 이 글에서의 다양한 예시를 통해 아이콘 현지화의 중요성을 더 깊이 들여다보시길 추천해 드립니다.

글 링크 : https://velog.io/@sehyunny/dont-forget-to-localize-icons

오늘은 라인플러스의 황세현님이 번역해주신 글입니다. 혹시 엄지척 아이콘(👍)를 보면 어떤 의미가 떠오르시나요? 보통 누군가를 칭찬하거나 좋다는 의견을 표시할 때 많이 사용하실 텐데요, 하지만 모든 곳에서 이 의미가 통용되는 것은 아닙니다. 호주에서는 거절 또는 무례함을 의미하고, 태국에서는 상대방에 대한 조롱과 비난, 이란에서는 공격의 의미로 사용됩니다. 저자는 이처럼 우리가 일상적으로 사용하는 아이콘을 더 넓은 관점에서 바라보았을 땐, 오해를 불러일으킬 소지가 있음을 지적하며 아이콘 현지화의 중요성에 대해 자세히 설명하고 있습니다. 이 글에서의 다양한 예시를 통해 아이콘 현지화의 중요성을 더 깊이 들여다보시길 추천해 드립니다. 글 링크 : https://velog.io/@sehyunny/dont-forget-to-localize-icons

velog.io

아이콘 현지화를 잊지 마세요

계란후라이 1132

인턴 경험을 할 때, 꼭 기억하세요! 시리즈 (4)
본인 경험을 기준으로 의견을 주장하지 말고, 객관적인 근거를 마련하세요.

개인적으로 가장 토론이 재미없는 상대는 자기주장이 강한데, 주장의 근거가 본인 경험인 사람입니다. 주장의 근거가 본인 경험일 때, 잘 납득이 되지 않는 이유는 해당 경험을 우리는 같이 해본 적이 없기 때문입니다.

과거에 어쩌고저쩌고 대단한 경험이 있었다고 해도, 그 경험은 지극히 개인적인 내용일 뿐입니다. 과거에 내가 그거 해봤는데 잘 안되더라는 의견은 그냥 똥 쌀 때 혼자 생각하는 내용입니다. 그것이 자기주장을 뒷받침하는 객관적인 근거가 될 수 없습니다.

나도 알고 너도 아는 사건이거나 다수의 사람들이 개입한 사건이라면 납득이 될 수도 있겠습니다. 과거에 이런 경험을 해봤는데, 그때 함께한 사람들이 0명이었고, 그 결과로 어떤 깨달음이 있었다는 정도의 설명은 최소한 되어야 한 번 생각해 볼만한 의견이라고 받아들일 수 있습니다.

아직 경험이 부족한 인턴이나 신입, 주니어 연차의 사람들이 많이 하는 실수입니다. 자신이 옳다고 주장하고 싶은 의견이 있다면 객관적인 근거를 마련해 보세요. 라떼는 말이야 이야기하는 부장님을 조롱할 것이 아니라 요즘 세대는 그렇게 생각하지 않는다고 밑도 끝도 없이 주장하는 것도 만만치 않게 이상한 논리입니다.

데이터 분석, 데이터 리터러시, 데이터 드리븐 싱킹이 중요한 이유가 여기에 있습니다. 데이터를 분석할 줄 아는 것 자체로는 아무런 의미가 없습니다. 본인에게 주어진 데이터를 읽고 해석할 줄 알아야 합니다. 그리고 문제를 해결하거나 논리를 주장할 때 근거로 사용하는 것입니다. 데이터 문해력과 데이터적 사고는 학원에서 배운다고 얻어지는 능력이 아닙니다. 평소에 모든 문제와 자신의 생각을 이야기하는 방식을 데이터에 근거한 논리로 연습해야 합니다.

데이터가 무조건 정답을 이야기하진 않습니다. 머릿속에 저장된 데이터를 근거로 이야기하는 직관이 더 정확하게 맞는 경우도 있습니다. 그러나 상대방과 대화할 때 직관을 떠올려 설명하는 경우에도 자신이 생각하는 머릿속 데이터를 논리적으로 설명할 수 있다면 좋겠습니다. 토론에서 승리하는 방식은 굽히지 않는 강한 주장과 목소리 크기가 아니라 논리력이라는 것을 기억하면 좋겠습니다.

오늘도 데이터에 근거한 사고를 연습하여 체화하는 우리가 되길 진심으로 응원합니다.

계란후라이 1132 인턴 경험을 할 때, 꼭 기억하세요! 시리즈 (4)본인 경험을 기준으로 의견을 주장하지 말고, 객관적인 근거를 마련하세요.​개인적으로 가장 토론이 재미없는 상대는 자기주장이 강한데, 주장의 근거가 본인 경험인 사람입니다. 주장의 근거가 본인 경험일 때, 잘 납득이 되지 않는 이유는 해당 경험을 우리는 같이 해본 적이 없기 때문입니다.​과거에 어쩌고저쩌고 대단한 경험이 있었다고 해도, 그 경험은 지극히 개인적인 내용일 뿐입니다. 과거에 내가 그거 해봤는데 잘 안되더라는 의견은 그냥 똥 쌀 때 혼자 생각하는 내용입니다. 그것이 자기주장을 뒷받침하는 객관적인 근거가 될 수 없습니다.​나도 알고 너도 아는 사건이거나 다수의 사람들이 개입한 사건이라면 납득이 될 수도 있겠습니다. 과거에 이런 경험을 해봤는데, 그때 함께한 사람들이 0명이었고, 그 결과로 어떤 깨달음이 있었다는 정도의 설명은 최소한 되어야 한 번 생각해 볼만한 의견이라고 받아들일 수 있습니다.​아직 경험이 부족한 인턴이나 신입, 주니어 연차의 사람들이 많이 하는 실수입니다. 자신이 옳다고 주장하고 싶은 의견이 있다면 객관적인 근거를 마련해 보세요. 라떼는 말이야 이야기하는 부장님을 조롱할 것이 아니라 요즘 세대는 그렇게 생각하지 않는다고 밑도 끝도 없이 주장하는 것도 만만치 않게 이상한 논리입니다.​데이터 분석, 데이터 리터러시, 데이터 드리븐 싱킹이 중요한 이유가 여기에 있습니다. 데이터를 분석할 줄 아는 것 자체로는 아무런 의미가 없습니다. 본인에게 주어진 데이터를 읽고 해석할 줄 알아야 합니다. 그리고 문제를 해결하거나 논리를 주장할 때 근거로 사용하는 것입니다. 데이터 문해력과 데이터적 사고는 학원에서 배운다고 얻어지는 능력이 아닙니다. 평소에 모든 문제와 자신의 생각을 이야기하는 방식을 데이터에 근거한 논리로 연습해야 합니다.​데이터가 무조건 정답을 이야기하진 않습니다. 머릿속에 저장된 데이터를 근거로 이야기하는 직관이 더 정확하게 맞는 경우도 있습니다. 그러나 상대방과 대화할 때 직관을 떠올려 설명하는 경우에도 자신이 생각하는 머릿속 데이터를 논리적으로 설명할 수 있다면 좋겠습니다. 토론에서 승리하는 방식은 굽히지 않는 강한 주장과 목소리 크기가 아니라 논리력이라는 것을 기억하면 좋겠습니다.​오늘도 데이터에 근거한 사고를 연습하여 체화하는 우리가 되길 진심으로 응원합니다.

꿈을 찾는 사람에게 보내는 320 번째 편지

Kubernetes has become the cornerstone of modern cloud-native infrastructure, transforming how...

Managing Kubernetes in Production: A DevOps Engineer’s Essential Guide

쿠버네티스는 현대 클라우드 네이티브 인프라의 핵심으로, 조직이 애플리케이션을 배포하고 관리하는 방식을 혁신하고 있습니다. 그러나 개발 환경에서 운영 환경으로 전환하는 것은 단순한 기술적 도전이 아니라 전략적 과정입니다. 쿠버네티스를 관리하거나 조금이라도 이해해야한다면 이 글은 당신에게 조금은 도움이 될 거 같습니다. Let's

🍎 쿠버네티스 환경: 단순한 컨테이너 그 이상
 * https://kubernetes.io/
 * 쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래한 것으로, K8s라는 표기는 "K"와 "s"와 그 사이에 있는 8글자를 나타내는 약식 표기로 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화함
 * 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원
 * 조직의 애플리케이션을 배포, 관리, 확장하는 방식을 혁신하는 쿠버네티스
 
 
🍎 프로덕션 준비된 쿠버네티스의 핵심 요소

1. 코드로서의 인프라(IaC): 디지털 청사진
 * 코드로서의 인프라(IaC)는 디지털 인프라를 수동으로 설정하는 대신, 명확하고 재현 가능한 지침을 작성하여 버전 관리, 테스트, 일관된 배포를 가능케
 * 실제 효과:
 * 수동 구성 오류 제거
 * 일관된 환경 설정 보장
 * 빠르고 신뢰할 수 있는 인프라 배포 지원
 * 팀 간 협업 용이
 * 향상 방안: Terraform 또는 Ansible 같은 도구를 사용해 쿠버네티스 클러스터를 정의하고 배포하는 실질적인 예시 포함
 
 
2. 모니터링: 시스템의 조기 경보 시스템
 * 현재 상태를 보여주는 대시보드뿐만 아니라 잠재적 문제를 예측할 수 있는 종합적인 디지털 인프라 대시보드
 * 필수 구성 요소:
 * Prometheus: 실시간 메트릭 수집
 * Grafana: 직관적인 시각화
 * 중앙화된 로깅 솔루션
 * 자동화된 경고 메커니즘
 * 향상 방안: Prometheus 및 Grafana를 쿠버네티스 클러스터에 설정하는 방법 예시
 
 
3. 보안: 디지털 요새 구축
 * 스마트하고 적응 가능한 방어 메커니즘을 구축
 * 주요 전략:
 * 엄격한 역할 기반 액세스 제어(RBAC) 구현
 * 네트워크 정책을 사용해 트래픽 제어
 * 강력한 인증 메커니즘 통합
 * 컨테이너 이미지를 정기적으로 스캔하고 업데이트
 * 비밀 정보 안전하게 관리
 * 향상 방안: RBAC 정책 구현 예제를 제공하여 보안을 강화하는 방법

4. 배포 전략: 리스크 최소화
 * 블루-그린 배포 또는 카나리아 릴리스 같은 배포 기술
 
 
5. GitOps: 인프라를 위한 버전 관리
 * 인프라 구성을 소프트웨어 코드처럼 관리하는 GitOps
 * 모든 변경 사항은 추적 가능하고, 복구 가능하며, 버전 관리 시스템을 통해 관리
 * 향상 방안
 * Argo CD 또는 Flux 같은 도구를 사용해 쿠버네티스 배포를 자동화하는 방법

참고: https://kubernetes.io/ko/docs/home/
< 쿠버네티스 컴포넌트 기본 개념 >
 * 쿠버네티스 클러스터: 컴퓨터 집합인 컨트롤 플레인 컴포넌트와 노드 컴포넌트로 구성
 * 컨트롤프레인 컴포넌트: 클러스터에 관한 전반적인 결정(예를 들어, 스케줄링)을 수행하고 클러스터 이벤트를 감지하고 반응하는 관리 노드
 * kube-apiserver: 쿠버네티스 API를 노출하는 쿠버네티스 컨트롤 플레인 컴포넌트로 쿠버네티스 컨트롤 플레인의 프론트 엔드
 * etcd: 모든 클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 일관성·고가용성 키-값 저장소. 백업 계획
 * kube-scheduler: 노드가 배정되지 않은 새로 생성된 파드 를 감지하고, 실행할 노드를 선택하는 컨트롤 플레인 컴포넌트
 * kube-controller-manager: 노드 컨트롤러, 잡 컨트롤러, 엔드포인트슬라이스 컨트롤러, 서비스어카운트 컨트롤러
 * cloud-controller-manager: 클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트로 노드 컨트롤러, 라우트 컨트롤러, 서비스 컨트롤러
 * 노드컴포넌트:동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작
 * kubelet: 클러스터의 각 노드에서 실행되는 에이전트
 * kube-proxy: 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부. 노드의 네트워크 규칙을 유지 관리
 * 컨테이너 런타임: 컨테이너 실행을 담당하는 소프트웨어로 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI 지원
 * 애드온: 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현
 * DNS: 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버
 * 웹 UI (대시보드): 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI
 * 컨테이너 리소스 모니터링: 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공
 * 클러스터-레벨 로깅:메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장

 * 출처: https://dev.to/rubixkube/managing-kubernetes-in-production-a-devops-engineers-essential-guide-41n

쿠버네티스는 현대 클라우드 네이티브 인프라의 핵심으로, 조직이 애플리케이션을 배포하고 관리하는 방식을 혁신하고 있습니다. 그러나 개발 환경에서 운영 환경으로 전환하는 것은 단순한 기술적 도전이 아니라 전략적 과정입니다. 쿠버네티스를 관리하거나 조금이라도 이해해야한다면 이 글은 당신에게 조금은 도움이 될 거 같습니다. Let's 🍎 쿠버네티스 환경: 단순한 컨테이너 그 이상<ul ><li>https://kubernetes.io/</li><li>쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래한 것으로, K8s라는 표기는 "K"와 "s"와 그 사이에 있는 8글자를 나타내는 약식 표기로 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화함</li><li>컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원</li><li>조직의 애플리케이션을 배포, 관리, 확장하는 방식을 혁신하는 쿠버네티스 </li></ul>🍎 프로덕션 준비된 쿠버네티스의 핵심 요소 1. 코드로서의 인프라(IaC): 디지털 청사진<ul ><li>코드로서의 인프라(IaC)는 디지털 인프라를 수동으로 설정하는 대신, 명확하고 재현 가능한 지침을 작성하여 버전 관리, 테스트, 일관된 배포를 가능케</li><li>실제 효과:<ul ><li>수동 구성 오류 제거</li><li>일관된 환경 설정 보장</li><li>빠르고 신뢰할 수 있는 인프라 배포 지원</li><li>팀 간 협업 용이</li></ul></li><li>향상 방안: Terraform 또는 Ansible 같은 도구를 사용해 쿠버네티스 클러스터를 정의하고 배포하는 실질적인 예시 포함 </li></ul>2. 모니터링: 시스템의 조기 경보 시스템<ul ><li>현재 상태를 보여주는 대시보드뿐만 아니라 잠재적 문제를 예측할 수 있는 종합적인 디지털 인프라 대시보드</li><li>필수 구성 요소:<ul ><li>Prometheus: 실시간 메트릭 수집</li><li>Grafana: 직관적인 시각화</li><li>중앙화된 로깅 솔루션</li><li>자동화된 경고 메커니즘</li></ul></li><li>향상 방안: Prometheus 및 Grafana를 쿠버네티스 클러스터에 설정하는 방법 예시 </li></ul>3. 보안: 디지털 요새 구축<ul ><li>스마트하고 적응 가능한 방어 메커니즘을 구축</li><li>주요 전략:<ul ><li>엄격한 역할 기반 액세스 제어(RBAC) 구현</li><li>네트워크 정책을 사용해 트래픽 제어</li><li>강력한 인증 메커니즘 통합</li><li>컨테이너 이미지를 정기적으로 스캔하고 업데이트</li><li>비밀 정보 안전하게 관리</li></ul></li><li>향상 방안: RBAC 정책 구현 예제를 제공하여 보안을 강화하는 방법</li></ul> 4. 배포 전략: 리스크 최소화<ul ><li>블루-그린 배포 또는 카나리아 릴리스 같은 배포 기술 </li></ul>5. GitOps: 인프라를 위한 버전 관리<ul ><li>인프라 구성을 소프트웨어 코드처럼 관리하는 GitOps</li><li>모든 변경 사항은 추적 가능하고, 복구 가능하며, 버전 관리 시스템을 통해 관리</li><li>향상 방안<ul ><li>Argo CD 또는 Flux 같은 도구를 사용해 쿠버네티스 배포를 자동화하는 방법</li></ul></li></ul> 참고: https://kubernetes.io/ko/docs/home/&lt; 쿠버네티스 컴포넌트 기본 개념 &gt;<ul ><li>쿠버네티스 클러스터: 컴퓨터 집합인 컨트롤 플레인 컴포넌트와 노드 컴포넌트로 구성</li><li>컨트롤프레인 컴포넌트: 클러스터에 관한 전반적인 결정(예를 들어, 스케줄링)을 수행하고 클러스터 이벤트를 감지하고 반응하는 관리 노드<ul ><li>kube-apiserver: 쿠버네티스 API를 노출하는 쿠버네티스 컨트롤 플레인 컴포넌트로 쿠버네티스 컨트롤 플레인의 프론트 엔드</li><li>etcd: 모든 클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 일관성·고가용성 키-값 저장소. 백업 계획</li><li>kube-scheduler: 노드가 배정되지 않은 새로 생성된 파드 를 감지하고, 실행할 노드를 선택하는 컨트롤 플레인 컴포넌트</li><li>kube-controller-manager: 노드 컨트롤러, 잡 컨트롤러, 엔드포인트슬라이스 컨트롤러, 서비스어카운트 컨트롤러</li><li>cloud-controller-manager: 클라우드별 컨트롤 로직을 포함하는 쿠버네티스 컨트롤 플레인 컴포넌트로 노드 컨트롤러, 라우트 컨트롤러, 서비스 컨트롤러</li></ul></li></ul><ul ><li>노드컴포넌트:동작 중인 파드를 유지시키고 쿠버네티스 런타임 환경을 제공하며, 모든 노드 상에서 동작<ul ><li>kubelet: 클러스터의 각 노드에서 실행되는 에이전트</li><li>kube-proxy: 클러스터의 각 노드에서 실행되는 네트워크 프록시로, 쿠버네티스의 서비스 개념의 구현부. 노드의 네트워크 규칙을 유지 관리</li><li>컨테이너 런타임: 컨테이너 실행을 담당하는 소프트웨어로 containerd, CRI-O와 같은 컨테이너 런타임 및 모든 Kubernetes CRI 지원</li></ul></li><li>애드온: 쿠버네티스 리소스(데몬셋, 디플로이먼트 등)를 이용하여 클러스터 기능을 구현<ul ><li>DNS: 쿠버네티스 서비스를 위해 DNS 레코드를 제공해주는 DNS 서버</li><li>웹 UI (대시보드): 쿠버네티스 클러스터를 위한 범용의 웹 기반 UI</li><li>컨테이너 리소스 모니터링: 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공</li><li>클러스터-레벨 로깅:메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장</li></ul></li></ul> <ul ><li>출처: https://dev.to/rubixkube/managing-kubernetes-in-production-a-devops-engineers-essential-guide-41n</li></ul>

DEV Community

[Dev]쿠버네티스 운영관리: DevOps 엔지니어를 위한 필수 가이드

Learn how Capital One used Iceberg Tables to move Snowflake consumption to a lakehouse and best practices for doing so.

How to Use Iceberg Tables to Implement a Lakehouse Architecture in Snowflake | Capital One

데이터 관리 관행이 발전함에 따라 데이터 웨어하우스와 데이터 레이크를 하나의 아키텍처로 결합하는 모델인 데이터 레이크하우스가 등장했습니다. 아파치아이스버그(Apache Iceberg)를 통해 이런 데이터 레이크하우스를 구현할 수가 있습니다. 이러한 내용을 자세히 설명한 내용이 있어 공유합니다.

🍎 왜 데이터 레이크하우스인가?
 * 데이터 레이크하우스가 등장하기 전에는 많은 기업들이 조직의 구조화된 관계형 데이터를 분석과 보고를 위한 단일 리포지토리로 모으는 데이터 웨어하우스에 집중했습니다.
 * 데이터, 특히 비정형 데이터가 기하급수적으로 증가하면서 데이터 레이크는 방대한 양의 원시 비정형 및 반정형 데이터를 저렴한 스토리지에 저장하는 방법으로 부상했습니다. 이를 통해 데이터 팀은 데이터를 확보하는 즉시 데이터를 노출할 수 있었습니다.
 * 데이터 분석가와 데이터 과학자는 고급 분석을 실행하거나 머신 러닝 모델을 학습하기 위해 데이터를 읽기 시작하면서 스키마를 정의할 수 있었습니다(스키마 온-읽기).

🍎 2계층 아키텍처의 등장: 데이터 웨어하우스와 데이터 레이크
 * 데이터 분석가들이 선호하는 SQL 언어를 사용해 데이터를 고성능으로 구조화하고 분석하는 동시에 데이터 변경에 대한 트랜잭션 일관성을 유지하고 데이터 거버넌스 및 보안을 간소화하는 데이터 웨어하우스가 여전히 필요했습니다.
 * 또한 데이터의 이전 스냅샷을 쉽게 쿼리하거나 데이터를 복사하지 않고 테이블을 복제하는 등의 고유한 기능에 대한 필요성도 있었습니다.
 * 이로 인해 많은 기업들이 데이터를 저장하고 처리하기 위해 데이터 레이크와 데이터 웨어하우스로 구성된 데이터 레이크 하우스 아키텍처를 채택하게 되었습니다.
🍏 데이터 레이크의 장점
 * 저비용 객체 스토리지
 * 비구조화 데이터, 데이터 과학 및 기계 학습을 포함한 고급 분석 지원
 * 읽기 시 스키마로 인한 더 쉽고 빠른 데이터 온보딩 및 AI/ML 기능 활성화
🍏 데이터 웨어하우스의 장점
 * 사용 편의성
 * 향상된 거버넌스
 * 더 나은 검색
 * SQL 성능 강화
 * ACID(원자성, 일관성, 격리 및 내구성)
 * 제로 카피 복제
 * 시간 여행(타임트래블)
🍏 이중 아키텍처 데이터 관리의 문제점
 * 높은 총 소유 비용: 두 개의 별도 시스템을 유지하는 것은 더 큰 복잡성과 인력과 관련된 높은 비용 의미
 * 데이터 노후화: 데이터 레이크와 데이터 웨어하우스 간의 데이터 업데이트 지연 가능성
 * 신뢰성: 데이터를 수집하는 여러 프로세스는 추가적인 ETL 단계를 도입하여 실패 지점을 증가 가능성
 * 드리프트: 한 시스템의 데이터 변경이 다른 시스템에 반영되지 않아 불일치 발생
 * 벤더 종속: 데이터 웨어하우스는 종종 독점 스토리지 형식만 지원하며, 플랫폼 간 마이그레이션은 조직에 높은 비용 소요
   
   
🍎 데이터 레이크하우스의 장점
 * 데이터 레이크하우스 = 데이터 레이크 + 데이터 웨어하우스
 * 기업은 데이터 웨어하우스 기능(구조화된 데이터 및 트랜잭션 관리 기능을 사용하면서) 대규모 원시 데이터 저장소에서 데이터 레이크 스토리지로 데이터를 수집 가능
 * 모든 데이터 사용자가 데이터 레이크하우스를 사용할 수 있도록 하는 핵심은 각 데이터 파일 위에 메타데이터 계층을 사용하는 오픈 테이블 형식으로, 사용자가 데이터 레이크에서 정형, 반정형, 비정형 데이터에 관계없이 직접 데이터를 쿼리 가능
 * 이 계층을 통해 사용자는 미리 정의된 스키마, 캐싱, 인덱싱을 구현하고 데이터 웨어하우스와 유사하게 카탈로그에서 데이터를 테이블로 검색할 수 있도록 만들어 더 빠르게 쿼리 지원
 * 메타데이터 계층은 데이터 레이크의 개방형 파일 형식(Apache Parquet) 위에 있는 개방형 메타데이터 테이블 형식(Delta Lake 및 Apache Iceberg)을 통해 관리
🍏 모든 소비를 단일 장소로 지정: SQL on Lake
 * 모든 데이터 사용자, 즉 데이터 과학자와 엔지니어부터 SQL을 사용하는 제품 소유자 및 비즈니스 분석가까지 동일한 테이블 형식을 통해 노출된 동일한 데이터를 쿼리
 * 데이터 레이크하우스를 사용하면 중복 데이터가 문제 감소하고, 기업이 더 이상 두 개의 시스템을 관리하지 않고 새로운 소스에서 데이터 통합이 자동화되고 개방구조이기 때문에 총소유 비용 저렴해짐
 * 오픈 표준 형식을 활용하는 중앙 집중식 스토리지로 인해 선택한 특수 컴퓨팅 엔진을 도입할 수 있는 다양한 기회가 열리고 벤더 종속을 최소화

🍎 Apache Iceberg란?
 * 오픈 테이블 형식은 데이터 웨어하우스의 기능을 데이터 레이크하우스 아키텍처에 도입하는 데 중요한 역할
 * Apache Iceberg는 데이터 레이크에서 SQL 지원을 통해 대규모 데이터를 효율적으로 쿼리하기 위해 사용하는 오픈 테이블 형식으로 테이블 형식은 데이터 파일이 테이블 내에서 어떻게 구성되고 접근되는지를 지정
🍏 Apache Iceberg의 주요 특징
 * Apache Iceberg는 데이터 관리 및 데이터 구조화와 같은 전통적으로 데이터 웨어하우스에서 제공되던 기능을 데이터 레이크와 빅데이터로 가져오는 데 큰 역할
 * 데이터 조직화를 위한 스키마 정의, SQL 쿼리, 테이블 복제 및 시간 여행(time travel)이 포함
 * 오픈소스 프로젝트로서의 유연성과 상호운용성을 제공하며, 데이터를 저장하기 위해 Parquet와 같은 오픈 데이터 형식을 통합하고, 다양한 벤더와 플랫폼의 도구가 데이터를 접근할 수 있도록 지원
 * 메타데이터 파일, 매니페스트 목록 및 메타데이터 파일 형태로 테이블 메타데이터를 캡처
 * 메타데이터 레이어는 특정 스냅샷(메타데이터 파일이라고 함)의 파일 목록을 추적하기 위해 Apache Iceberg가 생성한 매니페스트 파일로 구성. 데이터의 다른 스냅샷이 생성될 때마다 이전 스냅샷에 대한 참조가 포함되며, 이를 통해 시간 여행과 같은 데이터 웨어하우스의 기능 제공
🍏 아이스버그 테이블을 사용한 레이크하우스 아키텍처 구현
 * 레이크하우스 아키텍처의 이점을 활용하고자 하는 기업은 이를 위해 아이스버그 테이블을 사용
 * 아이스버그 테이블은 기업이 데이터 레이크와 같은 자체 외부 스토리지에서 데이터를 읽고 쓸 수 있는 방법을 제공하면서 쿼리 기능과 기본 테이블의 기능 지원
 * 기업은 데이터를 레이크하우스 아키텍처에 저장하고 사용을 그곳으로 지정할 수 있어 데이터를 별도로 로드하고 저장하는 비용 최소화
 * 아이스버그 테이블은 테이블 형식으로 Apache Iceberg를 사용하고, 데이터 파일 형식으로 Apache Parquet를 사용하여 데이터 레이크의 대규모 데이터셋을 저장하고 처리하는 아키텍처 사용
🍏 Iceberg Tables 성능 최적화
데이터 웨어하우스에서 레이크로 워크로드를 옮길 때 가장 큰 우려는 쿼리 성능 저하이며, 이는 비용 증가로 이어질 수 있어 성능 최적화가 중요함. 데이터 수집 및 쿼리 프로세스를 최적화함으로써, Iceberg Tables는 네이티브 테이블 성능에 가까운 결과를 제공 가능
 * 데이터 레이아웃 최적화: 데이터가 쓰여질 때 스토리지 엔진이 데이터를 배치하는 방식이 성능에 중요.파일 크기, 행 그룹 크기, 파티션 수, 압축 방법 등
 * 인덱스와 통계: 데이터 작성 시 메타데이터에 수집된 인덱스와 통계를 활용하면, 데이터를 찾기 위해 열거나 스캔해야 하는 파일 수를 줄여 쿼리를 더 빠르게 실행
 * 스토리지 유지 관리: 오래된 스냅샷을 정리하고 파일을 최적 크기로 압축하여 데이터 저장소를 유지 관리 필요
 * 캐싱: 가상 웨어하우스 수준과 결과 수준에서 캐싱 지원. 데이터 수집 중 스토리지 레이아웃을 미리 계산하는 방식으로 레이크 스토리지 레이어 내에서 성능 최적화 구현
 * 행 수준 업데이트 최적화: Iceberg 스펙은 copy-on-write와 merge-on-read라는 두 가지 행 수준 업데이트 패턴 지원. 업데이트와 삭제 작업이 많은 워크로드의 경우 merge-on-read 패턴을 선택하면 성능을 향상 가능
🍏 레이크하우스 아키텍처로 데이터의 가치를 극대화하기
 * Iceberg를 활용한 데이터 레이크하우스 아키텍처로 데이터 소비를 전환함으로써, 다양한 처리 엔진을 통합할 유연성이 개선되고 총 소유 비용 절감
 * 오픈 형식과 Iceberg의 광범위한 생태계는 데이터를 컴퓨팅 락인 없이 쉽게 처리할 수 있도록 보장하여 데이터 투자 수명을 연장
 * 아키텍처 변경을 통해 중복 저장 비용을 제거하고, 데이터 레이크의 SQL 성능 개선

>> 스노우플레이크 관점의 상세 내용은 원문을 참고하시기 바랍니다.

 * source: https://www.capitalone.com/software/blog/iceberg-tables-lakehouse-architecture/

데이터 관리 관행이 발전함에 따라 데이터 웨어하우스와 데이터 레이크를 하나의 아키텍처로 결합하는 모델인 데이터 레이크하우스가 등장했습니다. 아파치아이스버그(Apache Iceberg)를 통해 이런 데이터 레이크하우스를 구현할 수가 있습니다. 이러한 내용을 자세히 설명한 내용이 있어 공유합니다. 🍎 왜 데이터 레이크하우스인가?<ul ><li>데이터 레이크하우스가 등장하기 전에는 많은 기업들이 조직의 구조화된 관계형 데이터를 분석과 보고를 위한 단일 리포지토리로 모으는 데이터 웨어하우스에 집중했습니다. </li><li>데이터, 특히 비정형 데이터가 기하급수적으로 증가하면서 데이터 레이크는 방대한 양의 원시 비정형 및 반정형 데이터를 저렴한 스토리지에 저장하는 방법으로 부상했습니다. 이를 통해 데이터 팀은 데이터를 확보하는 즉시 데이터를 노출할 수 있었습니다. </li><li>데이터 분석가와 데이터 과학자는 고급 분석을 실행하거나 머신 러닝 모델을 학습하기 위해 데이터를 읽기 시작하면서 스키마를 정의할 수 있었습니다(스키마 온-읽기).</li></ul> 🍎 2계층 아키텍처의 등장: 데이터 웨어하우스와 데이터 레이크<ul ><li>데이터 분석가들이 선호하는 SQL 언어를 사용해 데이터를 고성능으로 구조화하고 분석하는 동시에 데이터 변경에 대한 트랜잭션 일관성을 유지하고 데이터 거버넌스 및 보안을 간소화하는 데이터 웨어하우스가 여전히 필요했습니다. </li><li>또한 데이터의 이전 스냅샷을 쉽게 쿼리하거나 데이터를 복사하지 않고 테이블을 복제하는 등의 고유한 기능에 대한 필요성도 있었습니다. </li><li>이로 인해 많은 기업들이 데이터를 저장하고 처리하기 위해 데이터 레이크와 데이터 웨어하우스로 구성된 데이터 레이크 하우스 아키텍처를 채택하게 되었습니다. </li></ul> 🍏 데이터 레이크의 장점<ul ><li>저비용 객체 스토리지</li><li>비구조화 데이터, 데이터 과학 및 기계 학습을 포함한 고급 분석 지원</li><li>읽기 시 스키마로 인한 더 쉽고 빠른 데이터 온보딩 및 AI/ML 기능 활성화</li></ul> 🍏 데이터 웨어하우스의 장점<ul ><li>사용 편의성</li><li>향상된 거버넌스</li><li>더 나은 검색</li><li>SQL 성능 강화</li><li>ACID(원자성, 일관성, 격리 및 내구성)</li><li>제로 카피 복제</li><li>시간 여행(타임트래블)</li></ul> 🍏 이중 아키텍처 데이터 관리의 문제점<ul ><li>높은 총 소유 비용: 두 개의 별도 시스템을 유지하는 것은 더 큰 복잡성과 인력과 관련된 높은 비용 의미</li><li>데이터 노후화: 데이터 레이크와 데이터 웨어하우스 간의 데이터 업데이트 지연 가능성</li><li>신뢰성: 데이터를 수집하는 여러 프로세스는 추가적인 ETL 단계를 도입하여 실패 지점을 증가 가능성</li><li>드리프트: 한 시스템의 데이터 변경이 다른 시스템에 반영되지 않아 불일치 발생</li><li>벤더 종속: 데이터 웨어하우스는 종종 독점 스토리지 형식만 지원하며, 플랫폼 간 마이그레이션은 조직에 높은 비용 소요 </li></ul>🍎 데이터 레이크하우스의 장점<ul ><li>데이터 레이크하우스 = 데이터 레이크 + 데이터 웨어하우스</li><li>기업은 데이터 웨어하우스 기능(구조화된 데이터 및 트랜잭션 관리 기능을 사용하면서) 대규모 원시 데이터 저장소에서 데이터 레이크 스토리지로 데이터를 수집 가능</li><li>모든 데이터 사용자가 데이터 레이크하우스를 사용할 수 있도록 하는 핵심은 각 데이터 파일 위에 메타데이터 계층을 사용하는 오픈 테이블 형식으로, 사용자가 데이터 레이크에서 정형, 반정형, 비정형 데이터에 관계없이 직접 데이터를 쿼리 가능</li><li>이 계층을 통해 사용자는 미리 정의된 스키마, 캐싱, 인덱싱을 구현하고 데이터 웨어하우스와 유사하게 카탈로그에서 데이터를 테이블로 검색할 수 있도록 만들어 더 빠르게 쿼리 지원</li><li> 메타데이터 계층은 데이터 레이크의 개방형 파일 형식(Apache Parquet) 위에 있는 개방형 메타데이터 테이블 형식(Delta Lake 및 Apache Iceberg)을 통해 관리</li></ul> 🍏 모든 소비를 단일 장소로 지정: SQL on Lake<ul ><li>모든 데이터 사용자, 즉 데이터 과학자와 엔지니어부터 SQL을 사용하는 제품 소유자 및 비즈니스 분석가까지 동일한 테이블 형식을 통해 노출된 동일한 데이터를 쿼리</li><li>데이터 레이크하우스를 사용하면 중복 데이터가 문제 감소하고, 기업이 더 이상 두 개의 시스템을 관리하지 않고 새로운 소스에서 데이터 통합이 자동화되고 개방구조이기 때문에 총소유 비용 저렴해짐</li><li>오픈 표준 형식을 활용하는 중앙 집중식 스토리지로 인해 선택한 특수 컴퓨팅 엔진을 도입할 수 있는 다양한 기회가 열리고 벤더 종속을 최소화</li></ul> 🍎 Apache Iceberg란?<ul ><li>오픈 테이블 형식은 데이터 웨어하우스의 기능을 데이터 레이크하우스 아키텍처에 도입하는 데 중요한 역할</li><li>Apache Iceberg는 데이터 레이크에서 SQL 지원을 통해 대규모 데이터를 효율적으로 쿼리하기 위해 사용하는 오픈 테이블 형식으로 테이블 형식은 데이터 파일이 테이블 내에서 어떻게 구성되고 접근되는지를 지정</li></ul> 🍏 Apache Iceberg의 주요 특징<ul ><li>Apache Iceberg는 데이터 관리 및 데이터 구조화와 같은 전통적으로 데이터 웨어하우스에서 제공되던 기능을 데이터 레이크와 빅데이터로 가져오는 데 큰 역할</li><li>데이터 조직화를 위한 스키마 정의, SQL 쿼리, 테이블 복제 및 시간 여행(time travel)이 포함</li><li>오픈소스 프로젝트로서의 유연성과 상호운용성을 제공하며, 데이터를 저장하기 위해 Parquet와 같은 오픈 데이터 형식을 통합하고, 다양한 벤더와 플랫폼의 도구가 데이터를 접근할 수 있도록 지원</li><li>메타데이터 파일, 매니페스트 목록 및 메타데이터 파일 형태로 테이블 메타데이터를 캡처</li><li>메타데이터 레이어는 특정 스냅샷(메타데이터 파일이라고 함)의 파일 목록을 추적하기 위해 Apache Iceberg가 생성한 매니페스트 파일로 구성. 데이터의 다른 스냅샷이 생성될 때마다 이전 스냅샷에 대한 참조가 포함되며, 이를 통해 시간 여행과 같은 데이터 웨어하우스의 기능 제공 </li></ul>🍏 아이스버그 테이블을 사용한 레이크하우스 아키텍처 구현<ul ><li>레이크하우스 아키텍처의 이점을 활용하고자 하는 기업은 이를 위해 아이스버그 테이블을 사용</li><li>아이스버그 테이블은 기업이 데이터 레이크와 같은 자체 외부 스토리지에서 데이터를 읽고 쓸 수 있는 방법을 제공하면서 쿼리 기능과 기본 테이블의 기능 지원</li><li>기업은 데이터를 레이크하우스 아키텍처에 저장하고 사용을 그곳으로 지정할 수 있어 데이터를 별도로 로드하고 저장하는 비용 최소화</li><li>아이스버그 테이블은 테이블 형식으로 Apache Iceberg를 사용하고, 데이터 파일 형식으로 Apache Parquet를 사용하여 데이터 레이크의 대규모 데이터셋을 저장하고 처리하는 아키텍처 사용</li></ul>🍏 Iceberg Tables 성능 최적화데이터 웨어하우스에서 레이크로 워크로드를 옮길 때 가장 큰 우려는 쿼리 성능 저하이며, 이는 비용 증가로 이어질 수 있어 성능 최적화가 중요함. 데이터 수집 및 쿼리 프로세스를 최적화함으로써, Iceberg Tables는 네이티브 테이블 성능에 가까운 결과를 제공 가능<ul ><li>데이터 레이아웃 최적화: 데이터가 쓰여질 때 스토리지 엔진이 데이터를 배치하는 방식이 성능에 중요.파일 크기, 행 그룹 크기, 파티션 수, 압축 방법 등</li><li>인덱스와 통계: 데이터 작성 시 메타데이터에 수집된 인덱스와 통계를 활용하면, 데이터를 찾기 위해 열거나 스캔해야 하는 파일 수를 줄여 쿼리를 더 빠르게 실행</li><li>스토리지 유지 관리: 오래된 스냅샷을 정리하고 파일을 최적 크기로 압축하여 데이터 저장소를 유지 관리 필요</li><li>캐싱: 가상 웨어하우스 수준과 결과 수준에서 캐싱 지원. 데이터 수집 중 스토리지 레이아웃을 미리 계산하는 방식으로 레이크 스토리지 레이어 내에서 성능 최적화 구현</li><li>행 수준 업데이트 최적화: Iceberg 스펙은 copy-on-write와 merge-on-read라는 두 가지 행 수준 업데이트 패턴 지원. 업데이트와 삭제 작업이 많은 워크로드의 경우 merge-on-read 패턴을 선택하면 성능을 향상 가능</li></ul>🍏 레이크하우스 아키텍처로 데이터의 가치를 극대화하기<ul ><li>Iceberg를 활용한 데이터 레이크하우스 아키텍처로 데이터 소비를 전환함으로써, 다양한 처리 엔진을 통합할 유연성이 개선되고 총 소유 비용 절감</li><li>오픈 형식과 Iceberg의 광범위한 생태계는 데이터를 컴퓨팅 락인 없이 쉽게 처리할 수 있도록 보장하여 데이터 투자 수명을 연장</li><li>아키텍처 변경을 통해 중복 저장 비용을 제거하고, 데이터 레이크의 SQL 성능 개선</li></ul> &gt;&gt; 스노우플레이크 관점의 상세 내용은 원문을 참고하시기 바랍니다. <ul ><li>source: https://www.capitalone.com/software/blog/iceberg-tables-lakehouse-architecture/</li></ul>

Capital One

[Capitalone]아이스버그를 이용한 레이크하우스아키텍처 구현하기

An end-to-end open source machine learning platform for everyone. Discover TensorFlow's flexible ecosystem of tools, libraries and community resources.

TensorFlow

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다!

🎃 텐서플로우
 * https://www.tensorflow.org/
 * 연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여
   * 프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적
   * 리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원
 * TensorFlow의 주요 특징 및 기능
   * TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공
   * 유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원
   * 시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard
   * 프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능
   * 커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티
   * 사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스
 * TensorFlow 구현 모범 사례
   * 코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동
   * 모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지

🎃 PyTorch
 * https://pytorch.org/
 * 직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품
   * 포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점
   * 엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장
   * NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적
   * 동적 계산 그래프를 유연하게 처리
 * PyTorch 아키텍처 및 구성 요소
   * PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심
   * 텐서 연산: GPU 가속을 통한 고급 수학적 연산
   * 신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어
   * 최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘
   * 데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구
 * PyTorch 개발 워크플로
   * 데이터 준비
     * 입력 데이터를 PyTorch 텐서로 변환하기
     * 사용자 정의 데이터 세트 및 데이터 로더 생성
     * 필요한 전처리 변환 적용
   * 모델 개발
     * torch.nn을 사용하여 네트워크 아키텍처 정의하기
     * 포워드 패스 계산 구현하기
     * 손실 함수 및 옵티마이저 구성

🎃 LangChain
 * https://www.langchain.com/
 * 개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상
   * 강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원
 * LangChain 프레임워크 개요
   * LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화
   * 프럼프트 관리 및 최적화
   * 데이터 증강 생성
   * 의사 결정을 위한 자율 에이전트
   * 컨텍스트 유지를 위한 메모리 시스템
 * 광범위한 통합 기능
   * 외부 데이터 소스
     * 문서 저장소
     * 벡터 데이터베이스
     * API 엔드포인트
   * 개발 도구
     * 버전 관리 시스템
     * 모니터링 플랫폼
     * 배포 서비스
   * 비용을 최적화하기 위해 몇 가지 전략
     * 빈번한 쿼리를 위한 캐싱 메커니즘 활용
     * 가능한 경우 API 호출 일괄 처리
     * 효율적인 리소스 할당을 위해 사용 패턴 모니터링

🎃 허깅 페이스 트랜스포머
 * https://huggingface.co/docs/transformers/en/index
 * 허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치
 * 허깅 페이스의 핵심 기능
   * 바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브
   * PyTorch 및 TensorFlow와의 원활한 통합
   * 고급 토큰화 및 전처리 도구
   * 이전 학습을 위한 기본 지원
   * 포괄적인 문서 및 커뮤니티 리소스
 * 허깅 페이스 구현 가이드
   * 허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.
     * 이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장
     * 최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중
   * 파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.
     * 여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능
   * 로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.
     * 기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택
   * 프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.
     * 이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장

🎃 LlamaIndex
 * https://www.llamaindex.ai/
 * 데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크
   * LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화
   * 엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장
 * LlamaIndex의 특징 및 기능
   * 정교한 데이터 처리 및 검색 기능 중심
   * 여러 소스 통합을 위한 데이터 커넥터(LlamaHub)
   * 고급 문서 작업(삽입, 삭제, 업데이트)
   * 다중 문서 합성 기능
   * 쿼리 엔진 선택을 위한 라우터 기능
   * 벡터 스토어 통합 및 ChatGPT 플러그인 지원
   * OpenAI 함수 호출 API 호환성
 * 라마인덱스 개발 프로세스
   * 데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식
     * 데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요
   * 쿼리 프로세스:
     * 노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집
     * 응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성
     * 채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화
 * 비용 최적화 전략
   * 인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함
   * 개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공

🎃 OpenAI 프레임워크(OPF)
 * https://platform.openai.com/docs/api-reference/introduction
 * 책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시
   * 강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장
   * 프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능
   * OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공
   * 프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원
 * OpenAI 프레임워크 구성 요소
   * 위험 평가를 위한 종합적인 평가 시스템
   * 통합 사이버 보안 조치
   * 안전 자문 그룹(SAG) 감독
   * 책임 있는 확장 정책 구현
   * 고급 모니터링 및 테스트 프로토콜
 * OpenAI 구현 전략
   * 안전과 효율성에 중점을 둔 구조화된 접근 방식
   * 철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.
   * 시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합
 * 비용 최적화 전략:
   * 대시보드를 통한 토큰 사용량 모니터링
   * 사용량 임계값 및 알림 구현
   * 작업 요구 사항에 따른 전략적 모델 선택
   * 언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제

🎃 Microsoft JARVIS
 * https://github.com/microsoft/JARVIS
 * 지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS
   * 서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행
   * 로컬 및 클라우드 기반 배포 모델을 모두 지원
   * 엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공
 * JARVIS 플랫폼 개요
   * JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템
   * 플랫폼의 특징:
     * 멀티모달 처리 기능
     * 실시간 웹 액세스 통합
     * 고급 작업 계획 시스템
     * 모델 간 협업
     * 포괄적인 API 지원
     * 지능형 리소스 관리
 * JARVIS 개발 워크플로(4단계 워크플로우)
   * 작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화
   * 모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택
   * 작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행
   * 응답 통합: 결과를 일관된 출력으로 종합적으로 합성
 * 배포 옵션에 따른 리소스 요구 사항
   * 최소 설정: 16GB VRAM, 100GB 스토리지
   * 표준 설정: 64GB RAM(Jetson AGX Orin에 권장)
   * 클라우드 배포: 유연한 확장 옵션
   * 리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합

🎀 결론 🎀
 * 이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.
   * TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월
   * LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화
   * Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장
 * 모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.

 * 출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다! 🎃 텐서플로우<ul ><li>https://www.tensorflow.org/</li><li>연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여<ul ><li>프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적</li><li>리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원</li></ul></li><li>TensorFlow의 주요 특징 및 기능<ul ><li>TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공</li><li>유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원</li><li>시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard</li><li>프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능</li><li>커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티</li><li>사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스</li></ul></li><li>TensorFlow 구현 모범 사례<ul ><li>코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동</li><li>모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지</li></ul></li></ul> 🎃 PyTorch<ul ><li>https://pytorch.org/</li><li>직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품<ul ><li>포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점</li><li>엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장</li><li>NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적</li><li>동적 계산 그래프를 유연하게 처리</li></ul></li><li>PyTorch 아키텍처 및 구성 요소<ul ><li>PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심</li><li>텐서 연산: GPU 가속을 통한 고급 수학적 연산</li><li>신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어</li><li>최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘</li><li>데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구</li></ul></li><li>PyTorch 개발 워크플로<ul ><li>데이터 준비<ul ><li>입력 데이터를 PyTorch 텐서로 변환하기</li><li>사용자 정의 데이터 세트 및 데이터 로더 생성</li><li>필요한 전처리 변환 적용</li></ul></li><li>모델 개발<ul ><li>torch.nn을 사용하여 네트워크 아키텍처 정의하기</li><li>포워드 패스 계산 구현하기</li><li>손실 함수 및 옵티마이저 구성</li></ul></li></ul></li></ul> 🎃 LangChain<ul ><li>https://www.langchain.com/</li><li>개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상<ul ><li>강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원</li></ul></li><li>LangChain 프레임워크 개요<ul ><li>LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화</li><li>프럼프트 관리 및 최적화</li><li>데이터 증강 생성</li><li>의사 결정을 위한 자율 에이전트</li><li>컨텍스트 유지를 위한 메모리 시스템</li></ul></li><li>광범위한 통합 기능<ul ><li>외부 데이터 소스<ul ><li>문서 저장소</li><li>벡터 데이터베이스</li><li>API 엔드포인트</li></ul></li><li>개발 도구<ul ><li>버전 관리 시스템</li><li>모니터링 플랫폼</li><li>배포 서비스</li></ul></li><li>비용을 최적화하기 위해 몇 가지 전략<ul ><li>빈번한 쿼리를 위한 캐싱 메커니즘 활용</li><li>가능한 경우 API 호출 일괄 처리</li><li>효율적인 리소스 할당을 위해 사용 패턴 모니터링</li></ul></li></ul></li></ul> 🎃 허깅 페이스 트랜스포머<ul ><li>https://huggingface.co/docs/transformers/en/index</li><li>허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치</li><li>허깅 페이스의 핵심 기능<ul ><li>바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브</li><li>PyTorch 및 TensorFlow와의 원활한 통합</li><li>고급 토큰화 및 전처리 도구</li><li>이전 학습을 위한 기본 지원</li><li>포괄적인 문서 및 커뮤니티 리소스</li></ul></li><li>허깅 페이스 구현 가이드<ul ><li>허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.<ul ><li>이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장</li><li>최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중</li></ul></li><li>파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.<ul ><li>여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능</li></ul></li><li>로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.<ul ><li>기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택</li></ul></li><li>프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.<ul ><li>이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장</li></ul></li></ul></li></ul> 🎃 LlamaIndex<ul ><li>https://www.llamaindex.ai/</li><li>데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크<ul ><li>LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화</li><li>엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장</li></ul></li><li>LlamaIndex의 특징 및 기능<ul ><li>정교한 데이터 처리 및 검색 기능 중심</li><li>여러 소스 통합을 위한 데이터 커넥터(LlamaHub)</li><li>고급 문서 작업(삽입, 삭제, 업데이트)</li><li>다중 문서 합성 기능</li><li>쿼리 엔진 선택을 위한 라우터 기능</li><li>벡터 스토어 통합 및 ChatGPT 플러그인 지원</li><li>OpenAI 함수 호출 API 호환성</li></ul></li><li>라마인덱스 개발 프로세스<ul ><li>데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식<ul ><li>데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요</li></ul></li><li>쿼리 프로세스:<ul ><li>노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집</li><li>응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성</li><li>채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화</li></ul></li></ul></li><li>비용 최적화 전략<ul ><li>인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함</li><li>개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공</li></ul></li></ul> 🎃 OpenAI 프레임워크(OPF)<ul ><li>https://platform.openai.com/docs/api-reference/introduction</li><li>책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시<ul ><li>강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장</li><li>프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능</li><li>OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공</li><li>프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원</li></ul></li><li>OpenAI 프레임워크 구성 요소<ul ><li>위험 평가를 위한 종합적인 평가 시스템</li><li>통합 사이버 보안 조치</li><li>안전 자문 그룹(SAG) 감독</li><li>책임 있는 확장 정책 구현</li><li>고급 모니터링 및 테스트 프로토콜</li></ul></li><li>OpenAI 구현 전략<ul ><li>안전과 효율성에 중점을 둔 구조화된 접근 방식</li><li>철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.</li><li>시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합</li></ul></li><li>비용 최적화 전략:<ul ><li>대시보드를 통한 토큰 사용량 모니터링</li><li>사용량 임계값 및 알림 구현</li><li>작업 요구 사항에 따른 전략적 모델 선택</li><li>언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제</li></ul></li></ul> 🎃 Microsoft JARVIS<ul ><li>https://github.com/microsoft/JARVIS</li><li>지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS<ul ><li>서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행</li><li>로컬 및 클라우드 기반 배포 모델을 모두 지원</li><li>엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공</li></ul></li><li>JARVIS 플랫폼 개요<ul ><li>JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템</li><li>플랫폼의 특징:<ul ><li>멀티모달 처리 기능</li><li>실시간 웹 액세스 통합</li><li>고급 작업 계획 시스템</li><li>모델 간 협업</li><li>포괄적인 API 지원</li><li>지능형 리소스 관리</li></ul></li></ul></li><li>JARVIS 개발 워크플로(4단계 워크플로우)<ul ><li>작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화</li><li>모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택</li><li>작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행</li><li>응답 통합: 결과를 일관된 출력으로 종합적으로 합성</li></ul></li><li>배포 옵션에 따른 리소스 요구 사항<ul ><li>최소 설정: 16GB VRAM, 100GB 스토리지</li><li>표준 설정: 64GB RAM(Jetson AGX Orin에 권장)</li><li>클라우드 배포: 유연한 확장 옵션</li><li>리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합</li></ul></li></ul> 🎀 결론 🎀<ul ><li>이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.<ul ><li>TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월</li><li>LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화</li><li>Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장</li></ul></li><li>모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.</li></ul> <ul ><li>출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9</li></ul>

[Dev]모든 개발자가 마스터해야 할 7가지 AI 프레임워크!

Your Resume App

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.
프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다.

물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다.

https://resume.realerror.com/

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다. 물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다. https://resume.realerror.com/

resume.realerror.com

IT직군 역량 자가진단 - 프론트엔드부터 CEO까지

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다.

커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다.

요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다. 

 * “회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"
 * “백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”
 * “회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?” 

어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다. 

훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다. 

요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다. 커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다. 요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다.&nbsp; <ul ><li>“회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"</li><li>“백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”</li><li>“회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?”&nbsp;</li></ul> 어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다.&nbsp; 훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다.&nbsp; 요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교와 커리어의 차이점

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까?

익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요.

낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요.

이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까? 익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요. 낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요. 이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

회사를 옮겨보면 알게 되는 나의 쓸모

2024년을 마무리하기 전,
지금까지의 이력을 업데이트한 2024년 버전 이력서를 만들어보았어요.

제가 이력서를 작성할 때 가장 신경쓰는 점은 크게 3가지입니다.

📌 이력서 전체에서 업무 경험과 스킬들이 일관적인 방향성을 가지고 있는지
📌 경력 파트에서 단순히 업무 내용만을 기재하는 것이 아니라 업무에 도움이 되는 수치나 성과를 나타내고 있는지
📌 내가 원하는 직무에 일치하는 관련 키워드나 스킬셋이 잘 나타나있는지

이 3가지를 포함하는 이력서는 나중에 면접 단계로 이어질 때도,
대부분 추가 질문이나 꼬리 질문에서 여쭤보기 때문에,
스스로 잘 정리하고 기록하는 것이 중요하다고 생각했습니다.

여러분들의 의견은 어떠신가요?
여러분들은 이력서를 작성할 때 사용하는 나만의 팁이나 노하우가 있으신가요?

2024년을 마무리하기 전, 지금까지의 이력을 업데이트한 2024년 버전 이력서를 만들어보았어요. 제가 이력서를 작성할 때 가장 신경쓰는 점은 크게 3가지입니다. 📌 이력서 전체에서 업무 경험과 스킬들이 일관적인 방향성을 가지고 있는지 📌 경력 파트에서 단순히 업무 내용만을 기재하는 것이 아니라 업무에 도움이 되는 수치나 성과를 나타내고 있는지 📌 내가 원하는 직무에 일치하는 관련 키워드나 스킬셋이 잘 나타나있는지 이 3가지를 포함하는 이력서는 나중에 면접 단계로 이어질 때도, 대부분 추가 질문이나 꼬리 질문에서 여쭤보기 때문에, 스스로 잘 정리하고 기록하는 것이 중요하다고 생각했습니다. 여러분들의 의견은 어떠신가요? 여러분들은 이력서를 작성할 때 사용하는 나만의 팁이나 노하우가 있으신가요?

2024년 이력서 업데이트

2022년 1월 4일부터 2024년 11월 18일까지, 약 3년을 우아한형제들과 함께해서 즐거웠습니다 :)   왜 떠나는가? 사실 이직해야지! 하고 결심해서 시작한 것은 아니었다. 3-4년차가 이직하기 참 좋을 때라는데, 나는 과연 이직을 할 수 있을까에 대한 궁금증이 제일 컸다. 부업으로 꾸준히 멘토링을 하는 입장에서 취업/이직이 점점 어려워지고 있구나도 많이 느낄 수 있었다. 물론 연차를 더 쌓은 후 이직을 하는 길도 있었다. 하지만 우아한형제들이 첫 회사인 나는, 약 3년이라는 기간동안 대부분 회사 내부 서비스만을 개발했다. 디자인시스템, 어드민, 운영 도구 등등.. 어떻게 보면 서비스 회사에서 서비스 개발은 해보지 않은 셈이다. 이러다가 더 연차가 쌓였을 때, 만일 서비스 회사에 지원을 하게 된다면 서비스 경험이 없는 나를 과연 뽑을지에 대한 의문이 컸다. 주니어라면 와서 배우면 되는 부분이지만, 시니어라면 팀을 이끄는 역량이 필요할지도 모르는데 경험조차 없다면.. 계속 개…

개발자 단민 | 3년차엔 뭐다? 이직이다!

왜 인지 올 해 저희 회사분들 이직 얘기 많이 전하네요.
다들 최고가 되셔서 떠나시는 만큼 멀리서 항상 응원합니다!!!!
https://www.jeong-min.com/77-resignation/

왜 인지 올 해 저희 회사분들 이직 얘기 많이 전하네요.다들 최고가 되셔서 떠나시는 만큼 멀리서 항상 응원합니다!!!!https://www.jeong-min.com/77-resignation/

www.jeong-min.com

최고가 되어 떠나는 단민님 이직기

메모이제이션(memoization)와 캐싱은 프로그래밍의 기본 개념입니다. 이 글에서는 자바스크립트와 타입스크립트의 예시를 통해 메모이제이션에 대해 자세히 소개합니다.


(번역) 자바스크립트와 타입스크립트에서 메모이제이션란 무엇인가요?

오늘 소개드릴 글은 이스트소프트의 김태현님이 번역해주신 글입니다.

이 글에선 자바스크립트와 타입스크립트를 사용하여 메모이제이션의 구현을 통해 수치와 표를 이용하여 로직의 성능 측정 방법을 알려주고 있습니다. 또한 저자는 쉬게 접근하기위해 피보나치 수열을 사용해서 메모이제이션의 사용 사례와 트레이드 오프에 대해서도 이야기하고 있는데요.

개인적으로 이 내용을 바탕을 이해하고난뒤 리액트의 메모이제이션을 기반하는 개념들을 더 쉽게 이해할 수 있었습니다.

만약 자바스크립트와 타입스크립트 코드에서 최적화에 대해 관심을 가지고 계신다면 이 글을 입문으로 추천합니다!

글 링크: https://velog.io/@tap_kim/memoization-in-js-ts

오늘 소개드릴 글은 이스트소프트의 김태현님이 번역해주신 글입니다. 이 글에선 자바스크립트와 타입스크립트를 사용하여 메모이제이션의 구현을 통해 수치와 표를 이용하여 로직의 성능 측정 방법을 알려주고 있습니다. 또한 저자는 쉬게 접근하기위해 피보나치 수열을 사용해서 메모이제이션의 사용 사례와 트레이드 오프에 대해서도 이야기하고 있는데요. 개인적으로 이 내용을 바탕을 이해하고난뒤 리액트의 메모이제이션을 기반하는 개념들을 더 쉽게 이해할 수 있었습니다. 만약 자바스크립트와 타입스크립트 코드에서 최적화에 대해 관심을 가지고 계신다면 이 글을 입문으로 추천합니다! 글 링크: https://velog.io/@tap_kim/memoization-in-js-ts

자바스크립트와 타입스크립트에서 메모이제이션란 무엇인가요?

중앙일보의 고품격 주간 경제지

[허태윤의 브랜드 스토리] 성공한 브랜드의 비밀은 확실한 내부 브랜딩 전략

배민의 '배민다움' - 아이디어 생성과정에서 직원들 스스로가 배민다움을 이해하고 발전시켜나가며 체화한 스토리는 유명합니다. 직원들의 투표를 통해 호수가 보이는 잠실로 사무실을 이전했고, ‘송파구에서 일 잘하는 법’으로 명명한 배민 직원의 업무 지침도 배민다움을 직원들에게 공유하고 이해시키기 위해 만들어 내부에서 외부로 향했습니다.

디즈니의 '캐스트' - 디즈니에서는 테마파크 직원들은 ‘캐스트’라 불립니다. 영화가 끝나고 엔딩 크레딧이 올라가면 등장인물들의 이름이 올라가 듯 디즈니는 테마파크를 무대로 생각하고 그곳에서 일하는 직원은 고객을 위해 연기하는 배우라고 생각합니다 공연하는 직원, 청소하는 직원, 햄버거를 파는 직원 등 이들 모두는 디즈니가 찍는 영화의 한 장면을 담당한다고 자부하고 있습니다. 고객을 관객이라고 상정하고 그들이 파는 것은 훌륭한 기술이나 서비스가 아니라 꿈·환상, 그리고 사랑이라는 보이지 않는 가치라는 점을 직원들에게 먼저 설득합니다.

구글의 '20% 룰' - 최고의 기업이 되기 이전에도 구글은 직원을 최고의 자산이라 생각하며 그에 걸맞은 대우를 해주는 것으로 유명했습니다. 전 세계 국가에서 모인 인재들을 위해 카페테리아에 최고의 셰프들이 만든 요리를 모두 맛볼 수 있게 했죠. 특히, ‘20% 타임제’를 통해 업무 시간의 20%는 개인적 관심사에 시간을 보낼 수 있게 해 직원들은 자발적으로 자신의 관심사와 회사의 일을 연결해 훌륭한 성과를 만들고 있습니다. 실제로 구글 로고를 디자인한 한국인 데니스 황은 구글 맵스, g메일 등의 로고도 ‘20% 타임’을 통해 만들었죠. 한마디로 구글은 내부 고객들에게 먼저 브랜드를 팔고, 구글의 열정적 팬이 된 직원들이 다시 고객에 파는 회사라고 할 수 있습니다.

[ 큐레이터의 문장 🎒 ]

"송소고택* 방으로 안내하기 전, 내일 손님을 맞을 다른 방 아궁이에 잠시 멈췄다. 참나무 향이 기분 좋게 나며 벌겋게 타는 장작을 보여주며 “손님이 예약하면 하루 전부터 방에 불을 이렇게 땝니다. 당일 날 때면 방이 뜨거워 손님이 잘 수가 없어서 하루 전에 불을 땝니다. 이틀 동안 그 온기로만 손님들이 편한 밤을 보내시지요”라고 설명했다. 온돌처럼 은은한 온기를 담은 목소리로 전해지는 진심은 추위를 녹이고도 남았다."

* 1880년경 지어진 ‘송소고택’은 청송의 만석꾼 심호택의 99칸 살림집이다. 지금까지 딱 3개가 남아 있는 조선시대 99칸 집 중 가장 아름다운 고택으로 알려져 있다. 송소고택은 청송 심 씨 11대 종손인 심재오 선생이 직접 관리를 하고 손님을 맞는다.

https://jmagazine.joins.com/economist/view/331826

배민의 '배민다움' - 아이디어 생성과정에서 직원들 스스로가 배민다움을 이해하고 발전시켜나가며 체화한 스토리는 유명합니다. 직원들의 투표를 통해 호수가 보이는 잠실로 사무실을 이전했고, ‘송파구에서 일 잘하는 법’으로 명명한 배민 직원의 업무 지침도 배민다움을 직원들에게 공유하고 이해시키기 위해 만들어 내부에서 외부로 향했습니다. 디즈니의 '캐스트' - 디즈니에서는 테마파크 직원들은 ‘캐스트’라 불립니다. 영화가 끝나고 엔딩 크레딧이 올라가면 등장인물들의 이름이 올라가 듯 디즈니는 테마파크를 무대로 생각하고 그곳에서 일하는 직원은 고객을 위해 연기하는 배우라고 생각합니다 공연하는 직원, 청소하는 직원, 햄버거를 파는 직원 등 이들 모두는 디즈니가 찍는 영화의 한 장면을 담당한다고 자부하고 있습니다. 고객을 관객이라고 상정하고 그들이 파는 것은 훌륭한 기술이나 서비스가 아니라 꿈·환상, 그리고 사랑이라는 보이지 않는 가치라는 점을 직원들에게 먼저 설득합니다. 구글의 '20% 룰' - 최고의 기업이 되기 이전에도 구글은 직원을 최고의 자산이라 생각하며 그에 걸맞은 대우를 해주는 것으로 유명했습니다. 전 세계 국가에서 모인 인재들을 위해 카페테리아에 최고의 셰프들이 만든 요리를 모두 맛볼 수 있게 했죠. 특히, ‘20% 타임제’를 통해 업무 시간의 20%는 개인적 관심사에 시간을 보낼 수 있게 해 직원들은 자발적으로 자신의 관심사와 회사의 일을 연결해 훌륭한 성과를 만들고 있습니다. 실제로 구글 로고를 디자인한 한국인 데니스 황은 구글 맵스, g메일 등의 로고도 ‘20% 타임’을 통해 만들었죠. 한마디로 구글은 내부 고객들에게 먼저 브랜드를 팔고, 구글의 열정적 팬이 된 직원들이 다시 고객에 파는 회사라고 할 수 있습니다. [ 큐레이터의 문장 🎒 ] "송소고택* 방으로 안내하기 전, 내일 손님을 맞을 다른 방 아궁이에 잠시 멈췄다. 참나무 향이 기분 좋게 나며 벌겋게 타는 장작을 보여주며 “손님이 예약하면 하루 전부터 방에 불을 이렇게 땝니다. 당일 날 때면 방이 뜨거워 손님이 잘 수가 없어서 하루 전에 불을 땝니다. 이틀 동안 그 온기로만 손님들이 편한 밤을 보내시지요”라고 설명했다. 온돌처럼 은은한 온기를 담은 목소리로 전해지는 진심은 추위를 녹이고도 남았다." * 1880년경 지어진 ‘송소고택’은 청송의 만석꾼 심호택의 99칸 살림집이다. 지금까지 딱 3개가 남아 있는 조선시대 99칸 집 중 가장 아름다운 고택으로 알려져 있다. 송소고택은 청송 심 씨 11대 종손인 심재오 선생이 직접 관리를 하고 손님을 맞는다. https://jmagazine.joins.com/economist/view/331826

포브스 코리아

《고객 경험(Customer eXperience)은 내부로부터》

1
가장 스마트하게 일하는 것은 다른 누구도 할 수 없는 일을 하는 것을 의미한다.

2
이것은 아주 높은 기준이다. 다른 사람들은 할 수 없고 자신만이 잘할 수 있는 일을 찾아내는 것은 엄청난 도전이다.

3
대부분은 그것이 무엇인지 알게 되는 데 한평생이 걸린다. 그것은 오직 의도적인 연습과 다른 사람들의 도움을 통해서만 찾을 수 있지만, 일단 찾게 되면 그 보상은 엄청나다.

4
다른 사람들이 원하는 것을 잘할 때, 그리고 그 일을 할 수 있는 유일한 사람이 바로 당신일 때, 바로 그때 당신은 흔치 않은 보상을 받을 것이다.

#엔드말라리아

1 가장 스마트하게 일하는 것은 다른 누구도 할 수 없는 일을 하는 것을 의미한다. ​ ​2 이것은 아주 높은 기준이다. 다른 사람들은 할 수 없고 자신만이 잘할 수 있는 일을 찾아내는 것은 엄청난 도전이다. ​ ​3 대부분은 그것이 무엇인지 알게 되는 데 한평생이 걸린다. 그것은 오직 의도적인 연습과 다른 사람들의 도움을 통해서만 찾을 수 있지만, 일단 찾게 되면 그 보상은 엄청나다. ​ ​4 다른 사람들이 원하는 것을 잘할 때, 그리고 그 일을 할 수 있는 유일한 사람이 바로 당신일 때, 바로 그때 당신은 흔치 않은 보상을 받을 것이다. ​ #엔드말라리아 ​

< 진짜 스마트한 사람은 이렇게 일한다 >

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요.

몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요.

‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다.

일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요. 몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요. ‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다. 일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더

Software Craftsmanship 실천 가이드 쏘카 CTO 류석문

Software Craftsmanship 실천 가이드.pptx

애자일의 정의와 한계를 극복하기 위해 소프트웨어 장인 정신 이야기를 다룬 발표 자료가 있어 공유드립니다. 합의의 영역이 불분명하거나 프로세스가 모호하면 오히려 좋지 않은 방향으로 흘러간다는 점과, 개발도 결국 사람이 하는 것이기에 서로를 이해하고 맞춰가는 과정이 꼭 필요하다는 점이 특히 인상적이더라고요.

취업, 이직, 개발, 배포 등등 정신없는 일상 속에서 이런 내용의 글들을 읽으면서 잠시 스스로를 돌아보는 것도 좋지 않나 생각해 봅니다.

https://docs.google.com/presentation/d/1A7mW4Cu7CypyE5jt1staRxnPjmEyyqaQ/

Google Docs

@unknown 아쉽지만 영상은 따로 없는것 같더라구요 ㅠ

NAVER 소프트웨어 엔지니어

권태관

배움을 공유하는 것을 즐기며 성장에 목마른 소프트웨어 엔지니어입니다. 게으른 개발자가 되기위해 자동화 하는것을 좋아하고 팀 내 모두가 성장할 수 있는 건강한 개발 문화를 위하여 다양한 시도를 하고 있습니다.
#개발자 #성장 #끊임없이배우기 #백엔드 #소프트웨어엔지니어

너무 재미있게 잘 보았습니다. 
PPT 넘겨보는게 즐겁고 다음장이 기대되는 내용이었습니다. 혹시 해당 PPT로 발표한 영상도 있을까요?

개발자

unknown

소프트웨어 엔지니어

김지민

김지섭

Product Manager

김명찬

링컨, 알렉스 퍼거슨, 빌리 빈을 존경합니다.

#프로덕트매니저 #데이터분석

Software Craftsmanship 실천 가이드 / 류석문

- DB 마이그레이션 및 서버 이전 등 서비스 이관에 대한 전반적인 업무 (NHN Entertainment → NHN)
- 서비스 메인 페이지 성능 개선 (2.1초 → 1.7초)

SpringBoot

Java

- 패션타운 ( https://shopping.naver.com/window/main/fashion-group )
- 쇼핑라이브 ( http://shoppinglive.naver.com )
- V Live ( https://vlive.tv )
- 네이버페이 카드직가맹시스템 
- 날씨 ( http://weather.naver.com )
- 쥬니버 ( http://jr.naver.com )

Software Craftsmanship 실천 가이드 / 류석문

댓글 2

비슷한 게시물

주간 인기 TOP 10

추천 프로필