사이드 프로젝트 개발자를 구합니다.
기획은 80% 이상 완료되어 있는 상태입니다.
현재 팀 구성원 : 기획자, 디자이너, 마케터.
플러터와 백엔드 개발을 다루는 풀스택 개발자를 찾습니다.
보상: 처음에는 드릴 수 없으나 수익이 나면 공평하게 분배해 드립니다.
원할 시 스톡옵션도 드릴 수 있습니다.

사이드 프로젝트 개발자가 아니라 호구 개발자를 구합니다로 바꿔야 하는 것 아닌가?

서비스 전체를 만드는 개발자에게는 스톡옵션을 준다고 하고 수익은 나눠 갖는다고 합니다.
어차피 자기들도 돈이 없으니까 월급을 주지는 못하고 스톡옵션으로 준다는 것.
아마 스톡옵션이 뭔지도 모를 것이 분명합니다.
법인을 만들어야 하고, 정관에 뭘 적어야 하고 언제부터 효력이 발생하고 얼만큼 발행할 수 있는지.
이런 걸 알고 적었을까? (아마 아닐 것 같습니다)

그냥 일단 적어 놓고 누구 하나 걸려라 기다리는 것.
이런 것에 혹하는 개발자들은 설마 없겠죠…?

만들고 싶은 게 있으면 그냥 혼자서 만들면 됩니다.
누구에게 의지하고 싶은 마음을 가라 앉히고.
그러면 실패해도 남는 거라도 있습니다.

요즘엔 AI 툴들 덕분에 개발자들은 날개가 생겼습니다.
물론 다른 직군들도 마찬가지긴 합니다만.
각자 훨훨 날아가면 됩니다.

<code >사이드 프로젝트 개발자를 구합니다.</code><code >기획은 80% 이상 완료되어 있는 상태입니다.</code><code >현재 팀 구성원 : 기획자, 디자이너, 마케터.</code><code >플러터와 백엔드 개발을 다루는 풀스택 개발자를 찾습니다.</code><code >보상: 처음에는 드릴 수 없으나 수익이 나면 공평하게 분배해 드립니다.</code><code >원할 시 스톡옵션도 드릴 수 있습니다.</code> 사이드 프로젝트 개발자가 아니라 호구 개발자를 구합니다로 바꿔야 하는 것 아닌가? 서비스 전체를 만드는 개발자에게는 스톡옵션을 준다고 하고 수익은 나눠 갖는다고 합니다.어차피 자기들도 돈이 없으니까 월급을 주지는 못하고 스톡옵션으로 준다는 것.아마 스톡옵션이 뭔지도 모를 것이 분명합니다.법인을 만들어야 하고, 정관에 뭘 적어야 하고 언제부터 효력이 발생하고 얼만큼 발행할 수 있는지.이런 걸 알고 적었을까? (아마 아닐 것 같습니다) 그냥 일단 적어 놓고 누구 하나 걸려라 기다리는 것.이런 것에 혹하는 개발자들은 설마 없겠죠…? 만들고 싶은 게 있으면 그냥 혼자서 만들면 됩니다.누구에게 의지하고 싶은 마음을 가라 앉히고.그러면 실패해도 남는 거라도 있습니다. 요즘엔 AI 툴들 덕분에 개발자들은 날개가 생겼습니다.물론 다른 직군들도 마찬가지긴 합니다만.각자 훨훨 날아가면 됩니다.

호구 개발자를 구합니다

제가 예전에 낚이고 나서는 다시는 호구 잡히지 않으려고 합니다 ㅠㅠ몸도 마음도 다 망가져버린 시기였어요 ㅠㅠ

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까?

익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요.

낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요.

이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

한 회사에서 3년 넘게 일했어요. 궁금해지더라고요. 다른 곳에서도 인정받을 수 있을까? 익숙한 환경이니까 잘하는 것처럼 보이는 게 아닌지 궁금했어요. 그래서 이직을 도전해 지금 팀에 합류했어요. 낯선 환경에 오니 환경에 따라 저의 쓸모가 다르다는 걸 느꼈어요. 맡은 일, 만드는 제품이나 팀의 규모에 따라 할 수 있는 일이 다르더라고요. 이직하면서 많이 배웠어요. 제가 하고 싶은 일과 잘하는 일, 무엇보다 저의 쓸모에 대해서 배웠어요.

회사를 옮겨보면 알게 되는 나의 쓸모

Your Resume App

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.
프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다.

물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다.

https://resume.realerror.com/

개발자들을 위한 흥미로운 자가진단 사이트를 소개합니다.프론트엔드, 백엔드, React 개발자, 디자이너, CEO까지 각 직무별 역량을 체크해 볼 수 있습니다. 세부 항목들을 체크하다 보면 내가 부족한 부분이 무엇인지 자연스럽게 파악할 수 있습니다. 물론 이 테스트가 절대적인 기준은 아니지만, 현재 내가 부족한게 무엇인지를 파악하고 앞으로의 성장 방향을 설정하는데는 참고자료가 될 수 있을것 같습니다. https://resume.realerror.com/

resume.realerror.com

IT직군 역량 자가진단 - 프론트엔드부터 CEO까지

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요.

몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요.

‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다.

일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

오늘 OpenAI가 GPT-4o를 업데이트하면서 글쓰기 능력이 더 유려해지고 창의적이 되었다며 발표했는데요. 몇몇 벤치마크에서 테스트해보니 추론 벤치마크에서는 기존 모델보다 꽤 떨어진다고 합니다. 다만 속도가 초당 80 토큰에서 180 토큰으로 크게 빨라졌는데요. ‪뇌피셜로 보자면, 속도를 두 배 빠르게 하면 산술적으로 o1의 추론 토큰을 두 배 늘릴 수 있으니, 베이스 모델을 1차원적으로 썼을 때의 추론 능력은 약간 떨어지더라도 o1의 추론 능력을 크게 키울 수 있을거라서 이렇게 한 것이 아닐까..라고 추측이 됩니다. 일반적인 경우에는 추론 능력보다는 유려한 글쓰기가 유리하기도 하니, 꽤 합리적인 방법이 아닐까 싶습니다.

마치 인공지능이 추론이 가능한 것처럼 과장해서 써놓으셨네요 추론이 가능하다면 알고리즘 설명도 가능하신지 간략하게라도

제보받은 이슈가 재현되지 않을 때 “제 컴에선 되는데요?”라고 반응하기 쉬워요.

정확한 재현 방식을 모르면 문제 해결에 도움이 되지 않죠. 마찬가지로 ’제컴되‘ 같은 반응도 문제 해결에 유익하진 않아요.

개발자들이 서비스를 테스트하는 환경은 최고 수준일 가능성이 높아요. 이슈가 발생하는 환경이 생각보다 흔하고 다양할 수 있다는 점을 잊지 마세요.

조금 더 여유를 갖고 정확한 재현 상황을 알아내는데 집중해 보세요. 문제 해결을 돕고 싶단 자세로 실마리를 찾기 시작해 보세요.

제보받은 이슈가 재현되지 않을 때 “제 컴에선 되는데요?”라고 반응하기 쉬워요. 정확한 재현 방식을 모르면 문제 해결에 도움이 되지 않죠. 마찬가지로 ’제컴되‘ 같은 반응도 문제 해결에 유익하진 않아요. 개발자들이 서비스를 테스트하는 환경은 최고 수준일 가능성이 높아요. 이슈가 발생하는 환경이 생각보다 흔하고 다양할 수 있다는 점을 잊지 마세요. 조금 더 여유를 갖고 정확한 재현 상황을 알아내는데 집중해 보세요. 문제 해결을 돕고 싶단 자세로 실마리를 찾기 시작해 보세요.

제 컴에선 되는데요?

수년전 홍대역 부근 모 학원의 삼성SDS 출신 전 모대학교수님께서 수업중에 한참 설명하고난 다음 학원생들에게 실습을 시켜놓고, 안되는 학생들이 속출하자, 선생님 하시는 말씀이..

: 내컴되???...

자극적인 기억에 남겨봅니다..

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다.

커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다.

요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다. 

 * “회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"
 * “백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”
 * “회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?” 

어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다. 

훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다. 

요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교는 초중고대학의 형태로 학년이 정해져 있고 뭘 배우는지 커리큘럼이 정해져 있으며 시험이란 형태로 정답이란 것이 있다. 많은 한국 사람들은 학교에서 배우는 걸로 만족하지 못하고 학원이나 과외 등등으로 선행 학습을 일상적으로 한다. 실리콘 밸리에 와보니 일부 극성인 아시안 부모들이 있긴 하지만 전체적인 분위기는 학교 공부 이외에 별도로 과외를 하거나 선행 학습을 왜 하냐 라는 분위기였다. 또한 불행히도 한국에서 초중고 교육은 대학이란 단기목표를 가지고 이뤄진다. 커리어는 학교와는 달리 학년도 정해져 있지 않고 그러니 당연히 커리큘럼도 없고 정답이 정해져있는 시험이란 것도 없다. 그리고 백세 시대 커리어는 적어도 50년 정도는 지속될 수 밖에 없는 훨씬 더 긴 시간대를 갖고 있다. 하지만 우리는 선행학습이란 행위에 너무 익숙해져있다 보니 사회 생활을 하며 뭔가 막히면 정답을 찾고 공부를 하며 미리 준비를 하려는 성향을 본의아니게 갖게 된다. 수능의 또 다른 폐해는 실패를 두려워 하게 만든다는 점이라 보여진다. 원하는 대학을 못가면 재수, 삼수를 하는 것이 일상적이고 기대보다 덜 좋은 대학을 가면 웬지 내가 실패자라는 자책을 하게 되는데 이 마인드셋을 커리어로 그대로 들고 가는 거다. 정답을 찾고 실패를 두려워하는 이런 모습은 미국 생활을 20년 넘게 하며 잊어버렸던 내 과거의 모습이기도 한데 지난 3-4년 정도 한국에 있는 다양한 사람들과 다시 긴밀히 접촉하면서 조금은 외부의 시각으로 바라보게 되니 그 갭이 잘 보인다. 요약해보자면 수능과 선행학습이 알게 모르게 우리가 커리어를 바라보는 관점을 왜곡시킨다는 거다. 기술지향적이며 안전함을 찾는 사람으로 만든다는 점인데 최근 커리어 코칭에서 들었던 잘못된 관점의 질문을 몇 가지 예로 들어보면 이렇다.&nbsp; <ul ><li>“회사에서 쓰는 프레임웍이 너무 구식입니다. 집에 와서 새로운 프레임웍을 공부를 하는데 시간이 부족합니다"</li><li>“백엔드 일을 시작한지 5년차가 되었는데 5년차라고 하기에는 아는 것이 너무 적습니다. 이제 무엇을 해야할까요?”</li><li>“회사에서 원래 내 업무에 해당하는 일(머신러닝 모델 개발)만 하고 싶은데 온갖 종류의 일을 해야만 합니다. 이걸 이력서에 뭐라고 적어야 하나요?”&nbsp;</li></ul> 어떤 공통점이 눈에 띄는가? 회사 일만으로는 충분하지 않다고 생각하는 거다. 왜 이런 생각을 갖게 되었을까? 수능과 선행학습의 폐해가 아닌가 싶다. 학교 때 교실에서 뭔가 배우기 전에 항상 선행학습을 하거나 학원에서 복습하던 것이 습관화되다보니 뭔가 따로 또 해야하고 정해진 패스가 있어 그걸 따라가야 한다고 자기도 모르게 믿게 되는 악효과가 있는 걸로 보인다.&nbsp; 훨씬 더 건강하고 단순하고 효율적인 커리어 계발 방법은 회사 업무에 더 집중하면서 일을 더 잘하기 위해서 필요한 기술을 공부하는 거다. 회사 일에는 전혀 필요없지만 뜨는 기술을 불안감이나 조바심 때문에 따라가는 것은 새로운 기술이 계속 나오기 때문에 끝이 없다. 단 뜨는 기술을 호기심으로 공부하는 것은 좋다고 생각하지만 이 역시 부담감을 가진다면 호기심이라고는 할 수 없다. 약간은 새로운 기술 트렌드를 의식적으로 무시하고 내가 맡은 업무에서 성과를 내는데 집중해서 인정받고 좋은 평판 만들고 선한 영향력을 갖는 것이 동료들과 상사에게 좋은 인상을 남기면서 나중에 또 일하고 싶은 사람이 되는 거다. 그렇게 된다면 지인 추천 형태로 생각치 못했던 기회가 생기고 그러면서 커리어 하반기가 잘 풀린다.&nbsp; 요즘처럼 빠르게 변화하는 세상에서 믿을 것은 나밖에 없다. 나를 사랑하고 내가 원하는 것이 무엇인지 많이 고민하고 변화를 두려워하지 않고 선도하려 하지도 않으며 잘 따라가는 것만으로도 충분하지 않다 싶다. Love Yourself!

학교와 커리어의 차이점

관련해서 더 이야기를 들어보고 싶다면 아래 유튜브 영상을 한번 보세요: https://www.youtube.com/watch?v=N0ykC41VVMg

Kafka Streams는 Apache Kafka에서 제공하는 분산 스트리밍 처리 애플리케이션 라이브러리입니다. 이 라이브러리는 대규모 데이터 스트림을 실시간으로 처리하며 데이터 분석, 변환, 집계 같은 작업을 손쉽게 구현할 수 있도록 설계되었습니다.
 
이번 글에서는 Kafka Streams의 핵심 개념과 작동 방식을 초보자도 이해할 수 있도록 간단히 설명하겠습니다.
 
Kafka Streams란 무엇인가?
Kafka Streams는 실시간 스트리밍 데이터 처리를 위한 Apache Kafka의 클라이언트 라이브러리입니다.
복잡한 분산 시스템의 세부사항을 개발자가 직접 관리하지 않아도, 간단한 코드를 통해 실시간 데이터를 처리하고 분석할 수 있게 돕습니다. Kafka Streams는 데이터의 필터링, 변환, 집계 같은 작업을 쉽게 수행하도록 설계되었습니다.
 
[주요 특징]
 * 사용 편의성
 Kafka Streams는 Java 및 Scala 애플리케이션에서 라이브러리로 사용되며, 별도의 클러스터 관리가 필요 없습니다.
 * 확장성
 Kafka Streams는 자동으로 작업을 분산 처리하여 대량의 데이터도 안정적으로 처리할 수 있습니다.
 * 실시간 처리
 데이터를 수집하자마자 필터링, 변환, 집계 같은 작업을 즉시 수행할 수 있습니다.
 * 내결함성
 Kafka의 내장된 내결함성 메커니즘을 활용해 장애 발생 시에도 안정적으로 데이터를 처리할 수 있습니다.
 
기본 구성 요소
Kafka Streams 애플리케이션의 주요 개념은 다음과 같습니다.
 
[Stream]
Stream은 Kafka 토픽의 데이터를 나타냅니다. Kafka Streams에서 Stream은 끝없이 변화하는 레코드의 흐름으로, 예를 들어 사용자 클릭 로그나 센서 데이터를 생각할 수 있습니다.
 
[Stream Processing Topology]
Topology는 데이터 처리를 정의하는 연산의 구조입니다. 이는 데이터를 읽고, 변환하고, 결과를 저장하는 처리 흐름으로 구성됩니다.
 * Source Processor: Kafka 토픽에서 데이터를 읽습니다.
 * Stream Processor: 데이터를 변환하거나 처리합니다.
 * Sink Processor: 처리된 데이터를 다른 Kafka 토픽에 저장합니다.

[KStream과 KTable]
Kafka Streams에서 데이터를 표현하는 주요 데이터 구조입니다.
 * KStream: 레코드의 연속적인 스트림을 나타냅니다.
 예: Order 이벤트 스트림
 * KTable: 스트림에서 집계된 상태 데이터를 나타냅니다.
 예: 현재 재고 상태, 사용자 프로필
 
작동 방식
Kafka Streams 애플리케이션은 다음과 같은 단계를 거쳐 작동합니다.
 
1. Kafka 토픽에서 데이터를 읽어들입니다.
StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> inputStream = builder.stream("input-topic");

 * StreamsBuilder는 데이터 처리를 정의하는 시작점입니다.
 * 위 코드에서 input-topic은 데이터를 가져올 Kafka 토픽입니다.
 
2. 데이터를 변환하거나 필터링합니다.
KStream<String, String> filteredStream = inputStream.filter(
 (key, value) -> value.contains("important")
);

 * filter 연산은 특정 조건에 맞는 데이터만 남깁니다. 예를 들어, 값에 "important"가 포함된 데이터만 필터링합니다.

3. 집계를 수행합니다.
KTable<String, Long> wordCounts = inputStream
 .flatMapValues(value -> Arrays.asList(value.split(" ")))
 .groupBy((key, word) -> word)
 .count();

 * 위 코드에서는 각 단어의 발생 횟수를 계산합니다. 이는 데이터를 분해(flatMap)하고, 그룹화한 후, 집계하는 과정을 포함합니다.

4. 처리된 데이터를 새로운 Kafka 토픽에 저장합니다.
filteredStream.to("output-topic");

 * to 연산을 사용하여 처리된 데이터를 output-topic으로 저장합니다.

5. Kafka Streams 애플리케이션을 시작합니다.
KafkaStreams streams = new KafkaStreams(builder.build(), props);
streams.start();

 
실제 활용 사례
Kafka Streams는 다양한 실시간 데이터 처리 작업에 사용됩니다.
 1. 로그 분석
 실시간으로 로그 데이터를 분석하여 오류를 감지하거나 성능을 모니터링합니다.
 2. IoT 데이터 처리
 센서 데이터를 수집하고, 이를 분석하여 실시간으로 알림을 생성합니다. 예: 온도 센서 데이터를 기반으로 경고 메시지 전송.
 3. 실시간 추천 시스템
 사용자 행동 데이터를 기반으로 즉각적인 추천을 제공합니다. 예: 특정 상품을 클릭하면 관련 상품 추천.
 4. 금융 거래 모니터링
 금융 거래 데이터를 실시간으로 처리하여 사기 행위를 탐지합니다. 예: 비정상적으로 큰 거래가 발생하면 경고를 생성.
 
장단점
[장점]
 * 간단한 API: 복잡한 코드를 작성하지 않고도 실시간 스트리밍 처리가 가능
 * 확장성: 대규모 데이터 처리에도 적합
 * Kafka와의 통합: Kafka와 긴밀히 통합되어 높은 성능을 보장
[단점]
 * 초기 학습 곡선: 스트리밍 처리 개념과 Kafka의 작동 방식을 이해해야 함
 * Java 기반: 다른 언어로 개발을 원하는 경우 제약이 있을 수 있음
 
결론
Kafka Streams는 실시간 스트리밍 데이터 처리의 강력한 도구입니다. 간단한 코드로 대규모 데이터를 안정적이고 효율적으로 처리할 수 있어 로그 분석, IoT 데이터 처리, 실시간 추천 시스템 등 다양한 분야에서 활용됩니다.
 
다음 포스팅에서는 KStream과 KTable을 활용한 데이터 스트림 간의 조인(Join) 방식에 대해 다루겠습니다. Inner Join, Left Join, Outer Join 같은 다양한 방식이 어떤 문제를 해결할 수 있는지 구체적인 예제와 함께 살펴볼 예정입니다.

본문: [https://ducktopia.tistory.com/140]

Kafka Streams는 Apache Kafka에서 제공하는 분산 스트리밍 처리 애플리케이션 라이브러리입니다. 이 라이브러리는 대규모 데이터 스트림을 실시간으로 처리하며 데이터 분석, 변환, 집계 같은 작업을 손쉽게 구현할 수 있도록 설계되었습니다.&nbsp;이번 글에서는 Kafka Streams의 핵심 개념과 작동 방식을 초보자도 이해할 수 있도록 간단히 설명하겠습니다.&nbsp;Kafka Streams란 무엇인가?Kafka Streams는 실시간 스트리밍 데이터 처리를 위한 Apache Kafka의 클라이언트 라이브러리입니다. 복잡한 분산 시스템의 세부사항을 개발자가 직접 관리하지 않아도, 간단한 코드를 통해 실시간 데이터를 처리하고 분석할 수 있게 돕습니다. Kafka Streams는 데이터의 필터링, 변환, 집계 같은 작업을 쉽게 수행하도록 설계되었습니다.&nbsp;[주요 특징]<ul ><li>사용 편의성 Kafka Streams는 Java 및 Scala 애플리케이션에서 라이브러리로 사용되며, 별도의 클러스터 관리가 필요 없습니다.</li><li>확장성 Kafka Streams는 자동으로 작업을 분산 처리하여 대량의 데이터도 안정적으로 처리할 수 있습니다.</li><li>실시간 처리 데이터를 수집하자마자 필터링, 변환, 집계 같은 작업을 즉시 수행할 수 있습니다.</li><li>내결함성 Kafka의 내장된 내결함성 메커니즘을 활용해 장애 발생 시에도 안정적으로 데이터를 처리할 수 있습니다.</li></ul>&nbsp;기본 구성 요소Kafka Streams 애플리케이션의 주요 개념은 다음과 같습니다.&nbsp;[Stream]Stream은 Kafka 토픽의 데이터를 나타냅니다. Kafka Streams에서 Stream은 끝없이 변화하는 레코드의 흐름으로, 예를 들어 사용자 클릭 로그나 센서 데이터를 생각할 수 있습니다.&nbsp;[Stream Processing Topology]Topology는 데이터 처리를 정의하는 연산의 구조입니다. 이는 데이터를 읽고, 변환하고, 결과를 저장하는 처리 흐름으로 구성됩니다.<ul ><li>Source Processor: Kafka 토픽에서 데이터를 읽습니다.</li><li>Stream Processor: 데이터를 변환하거나 처리합니다.</li><li>Sink Processor: 처리된 데이터를 다른 Kafka 토픽에 저장합니다.</li></ul> [KStream과 KTable]Kafka Streams에서 데이터를 표현하는 주요 데이터 구조입니다.<ul ><li>KStream: 레코드의 연속적인 스트림을 나타냅니다. 예: Order 이벤트 스트림</li><li>KTable: 스트림에서 집계된 상태 데이터를 나타냅니다. 예: 현재 재고 상태, 사용자 프로필</li></ul>&nbsp;작동 방식Kafka Streams 애플리케이션은 다음과 같은 단계를 거쳐 작동합니다.&nbsp;1. Kafka 토픽에서 데이터를 읽어들입니다.<pre ><code class="language-java">StreamsBuilder builder = new StreamsBuilder();
KStream&lt;String, String&gt; inputStream = builder.stream("input-topic");</code></pre><ul ><li>StreamsBuilder는 데이터 처리를 정의하는 시작점입니다.</li><li>위 코드에서 input-topic은 데이터를 가져올 Kafka 토픽입니다.</li></ul>&nbsp;2. 데이터를 변환하거나 필터링합니다.<pre ><code class="language-java">KStream&lt;String, String&gt; filteredStream = inputStream.filter(
 (key, value) -&gt; value.contains("important")
);</code></pre><ul ><li>filter 연산은 특정 조건에 맞는 데이터만 남깁니다. 예를 들어, 값에 "important"가 포함된 데이터만 필터링합니다.</li></ul> 3. 집계를 수행합니다.<pre ><code class="language-java">KTable&lt;String, Long&gt; wordCounts = inputStream
 .flatMapValues(value -&gt; Arrays.asList(value.split(" ")))
 .groupBy((key, word) -&gt; word)
 .count();</code></pre><ul ><li>위 코드에서는 각 단어의 발생 횟수를 계산합니다. 이는 데이터를 분해(flatMap)하고, 그룹화한 후, 집계하는 과정을 포함합니다.</li></ul> 4. 처리된 데이터를 새로운 Kafka 토픽에 저장합니다.<pre ><code class="language-java">filteredStream.to("output-topic");</code></pre><ul ><li>to 연산을 사용하여 처리된 데이터를 output-topic으로 저장합니다.</li></ul> 5. Kafka Streams 애플리케이션을 시작합니다.<pre ><code class="language-java">KafkaStreams streams = new KafkaStreams(builder.build(), props);
streams.start();</code></pre>&nbsp;실제 활용 사례Kafka Streams는 다양한 실시간 데이터 처리 작업에 사용됩니다.<ol ><li>로그 분석 실시간으로 로그 데이터를 분석하여 오류를 감지하거나 성능을 모니터링합니다.</li><li>IoT 데이터 처리 센서 데이터를 수집하고, 이를 분석하여 실시간으로 알림을 생성합니다. 예: 온도 센서 데이터를 기반으로 경고 메시지 전송.</li><li>실시간 추천 시스템 사용자 행동 데이터를 기반으로 즉각적인 추천을 제공합니다. 예: 특정 상품을 클릭하면 관련 상품 추천.</li><li>금융 거래 모니터링 금융 거래 데이터를 실시간으로 처리하여 사기 행위를 탐지합니다. 예: 비정상적으로 큰 거래가 발생하면 경고를 생성.</li></ol>&nbsp;장단점[장점]<ul ><li>간단한 API: 복잡한 코드를 작성하지 않고도 실시간 스트리밍 처리가 가능</li><li>확장성: 대규모 데이터 처리에도 적합</li><li>Kafka와의 통합: Kafka와 긴밀히 통합되어 높은 성능을 보장</li></ul>[단점]<ul ><li>초기 학습 곡선: 스트리밍 처리 개념과 Kafka의 작동 방식을 이해해야 함</li><li>Java 기반: 다른 언어로 개발을 원하는 경우 제약이 있을 수 있음</li></ul>&nbsp;결론Kafka Streams는 실시간 스트리밍 데이터 처리의 강력한 도구입니다. 간단한 코드로 대규모 데이터를 안정적이고 효율적으로 처리할 수 있어 로그 분석, IoT 데이터 처리, 실시간 추천 시스템 등 다양한 분야에서 활용됩니다.&nbsp;다음 포스팅에서는 KStream과 KTable을 활용한 데이터 스트림 간의 조인(Join) 방식에 대해 다루겠습니다. Inner Join, Left Join, Outer Join 같은 다양한 방식이 어떤 문제를 해결할 수 있는지 구체적인 예제와 함께 살펴볼 예정입니다. 본문: [https://ducktopia.tistory.com/140]

🕊️ Kafka Streams: 실시간 데이터 처리를 위한 도구

커리어리에 우아한 기술블로그 글을 첨부하려고 했더니 계속 미리보기 생성을 실패하더라고요.

그래서 api 요청 확인해보니

/api/utils/site-meta
api 응답이 500이네요.

{
    "statusCode": 500,
    "error": "Internal Server Error",
    "message": "An internal server error occurred"
}

커리어리에 우아한 기술블로그 글을 첨부하려고 했더니 계속 미리보기 생성을 실패하더라고요. 그래서 api 요청 확인해보니 <code >/api/utils/site-meta</code> api 응답이 500이네요. <pre ><code>{
 "statusCode": 500,
 "error": "Internal Server Error",
 "message": "An internal server error occurred"
}</code></pre>

우아한기술 블로그 첨부 불가

미리보기 안되는 거 너무 불편하네요 ㅠㅠ

An end-to-end open source machine learning platform for everyone. Discover TensorFlow's flexible ecosystem of tools, libraries and community resources.

TensorFlow

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다!

🎃 텐서플로우
 * https://www.tensorflow.org/
 * 연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여
   * 프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적
   * 리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원
 * TensorFlow의 주요 특징 및 기능
   * TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공
   * 유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원
   * 시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard
   * 프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능
   * 커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티
   * 사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스
 * TensorFlow 구현 모범 사례
   * 코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동
   * 모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지

🎃 PyTorch
 * https://pytorch.org/
 * 직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품
   * 포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점
   * 엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장
   * NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적
   * 동적 계산 그래프를 유연하게 처리
 * PyTorch 아키텍처 및 구성 요소
   * PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심
   * 텐서 연산: GPU 가속을 통한 고급 수학적 연산
   * 신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어
   * 최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘
   * 데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구
 * PyTorch 개발 워크플로
   * 데이터 준비
     * 입력 데이터를 PyTorch 텐서로 변환하기
     * 사용자 정의 데이터 세트 및 데이터 로더 생성
     * 필요한 전처리 변환 적용
   * 모델 개발
     * torch.nn을 사용하여 네트워크 아키텍처 정의하기
     * 포워드 패스 계산 구현하기
     * 손실 함수 및 옵티마이저 구성

🎃 LangChain
 * https://www.langchain.com/
 * 개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상
   * 강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원
 * LangChain 프레임워크 개요
   * LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화
   * 프럼프트 관리 및 최적화
   * 데이터 증강 생성
   * 의사 결정을 위한 자율 에이전트
   * 컨텍스트 유지를 위한 메모리 시스템
 * 광범위한 통합 기능
   * 외부 데이터 소스
     * 문서 저장소
     * 벡터 데이터베이스
     * API 엔드포인트
   * 개발 도구
     * 버전 관리 시스템
     * 모니터링 플랫폼
     * 배포 서비스
   * 비용을 최적화하기 위해 몇 가지 전략
     * 빈번한 쿼리를 위한 캐싱 메커니즘 활용
     * 가능한 경우 API 호출 일괄 처리
     * 효율적인 리소스 할당을 위해 사용 패턴 모니터링

🎃 허깅 페이스 트랜스포머
 * https://huggingface.co/docs/transformers/en/index
 * 허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치
 * 허깅 페이스의 핵심 기능
   * 바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브
   * PyTorch 및 TensorFlow와의 원활한 통합
   * 고급 토큰화 및 전처리 도구
   * 이전 학습을 위한 기본 지원
   * 포괄적인 문서 및 커뮤니티 리소스
 * 허깅 페이스 구현 가이드
   * 허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.
     * 이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장
     * 최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중
   * 파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.
     * 여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능
   * 로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.
     * 기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택
   * 프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.
     * 이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장

🎃 LlamaIndex
 * https://www.llamaindex.ai/
 * 데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크
   * LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화
   * 엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장
 * LlamaIndex의 특징 및 기능
   * 정교한 데이터 처리 및 검색 기능 중심
   * 여러 소스 통합을 위한 데이터 커넥터(LlamaHub)
   * 고급 문서 작업(삽입, 삭제, 업데이트)
   * 다중 문서 합성 기능
   * 쿼리 엔진 선택을 위한 라우터 기능
   * 벡터 스토어 통합 및 ChatGPT 플러그인 지원
   * OpenAI 함수 호출 API 호환성
 * 라마인덱스 개발 프로세스
   * 데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식
     * 데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요
   * 쿼리 프로세스:
     * 노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집
     * 응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성
     * 채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화
 * 비용 최적화 전략
   * 인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함
   * 개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공

🎃 OpenAI 프레임워크(OPF)
 * https://platform.openai.com/docs/api-reference/introduction
 * 책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시
   * 강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장
   * 프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능
   * OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공
   * 프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원
 * OpenAI 프레임워크 구성 요소
   * 위험 평가를 위한 종합적인 평가 시스템
   * 통합 사이버 보안 조치
   * 안전 자문 그룹(SAG) 감독
   * 책임 있는 확장 정책 구현
   * 고급 모니터링 및 테스트 프로토콜
 * OpenAI 구현 전략
   * 안전과 효율성에 중점을 둔 구조화된 접근 방식
   * 철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.
   * 시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합
 * 비용 최적화 전략:
   * 대시보드를 통한 토큰 사용량 모니터링
   * 사용량 임계값 및 알림 구현
   * 작업 요구 사항에 따른 전략적 모델 선택
   * 언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제

🎃 Microsoft JARVIS
 * https://github.com/microsoft/JARVIS
 * 지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS
   * 서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행
   * 로컬 및 클라우드 기반 배포 모델을 모두 지원
   * 엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공
 * JARVIS 플랫폼 개요
   * JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템
   * 플랫폼의 특징:
     * 멀티모달 처리 기능
     * 실시간 웹 액세스 통합
     * 고급 작업 계획 시스템
     * 모델 간 협업
     * 포괄적인 API 지원
     * 지능형 리소스 관리
 * JARVIS 개발 워크플로(4단계 워크플로우)
   * 작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화
   * 모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택
   * 작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행
   * 응답 통합: 결과를 일관된 출력으로 종합적으로 합성
 * 배포 옵션에 따른 리소스 요구 사항
   * 최소 설정: 16GB VRAM, 100GB 스토리지
   * 표준 설정: 64GB RAM(Jetson AGX Orin에 권장)
   * 클라우드 배포: 유연한 확장 옵션
   * 리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합

🎀 결론 🎀
 * 이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.
   * TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월
   * LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화
   * Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장
 * 모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.

 * 출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9

간단한 챗봇 구축부터 복잡한 언어 모델 개발까지, 이러한 프레임워크는 최신 AI 애플리케이션의 기반이 됩니다. 2024년에 주목할 만한 가장 중요한 AI 프레임워크 7가지 내용을 공유해봅니다! 🎃 텐서플로우<ul ><li>https://www.tensorflow.org/</li><li>연구용 및 프로덕션용 머신 러닝 애플리케이션을 위한 포괄적인 플랫폼을 제공하는 AI 프레임워크 생태계에 대한 Google의 강력한 기여<ul ><li>프레임워크 자체는 오픈 소스이므로 스타트업과 대기업 모두에게 비용 효율적</li><li>리소스에는 포괄적인 문서, 사전 학습된 모델, TensorFlow Hub를 통한 데이터 세트가 포함되어 있어 AI 솔루션을 빠르게 개발 및 배포 지원</li></ul></li><li>TensorFlow의 주요 특징 및 기능<ul ><li>TensorFlow의 핵심은 AI 개발을 위해 선호되는 강력한 기능 세트 제공</li><li>유연한 아키텍처: 원활한 전환을 통해 CPU 및 GPU 컴퓨팅 모두 지원</li><li>시각화 도구: 상세한 모델 검사 및 디버깅을 가능하게 하는 TensorBoard</li><li>프로덕션 준비 완료: 모바일, 엣지, 클라우드 플랫폼 전반에 걸쳐 모델 배포 가능</li><li>커뮤니티 지원: 광범위한 문서와 활발한 개발자 커뮤니티</li><li>사전 학습된 모델: 바로 사용할 수 있는 방대한 모델 라이브러리 액세스</li></ul></li><li>TensorFlow 구현 모범 사례<ul ><li>코드를 더 작고 관리하기 쉬운 함수로 리팩터링하고 가장 큰 계산 블록을 @ tf.function으로 장식하여 최적의 성능을 발휘할 때 가장 잘 작동</li><li>모델 개발의 경우, 높은 수준의 모델 구성을 위해 Keras API를 활용하면서 필요한 경우 낮은 수준의 TensorFlow 연산에 대한 액세스를 유지</li></ul></li></ul> 🎃 PyTorch<ul ><li>https://pytorch.org/</li><li>직관적인 디자인과 동적 계산 기능으로 AI 프레임워크 환경에 혁신을 일으킨 Meta AI의 PyTorch는 연구자와 개발자 모두에게 사랑받는 제품<ul ><li>포럼, 포괄적인 문서, Meta AI 연구팀의 정기 업데이트를 통한 광범위한 커뮤니티 지원의 이점</li><li>엔터프라이즈 사용자를 위해 PyTorch Enterprise는 향상된 기능과 전용 지원 채널을 제공하여 프로덕션 환경에서 안정적인 배포 보장</li><li>NumPy 및 Pandas를 비롯한 Python의 과학 컴퓨팅 에코시스템과 원활하게 통합되어 생성형 AI 모델과 대규모 언어 모델(LLM)을 개발하는 데 특히 효과적</li><li>동적 계산 그래프를 유연하게 처리</li></ul></li><li>PyTorch 아키텍처 및 구성 요소<ul ><li>PyTorch의 아키텍처는 개발 단계에서 실시간으로 모델을 조정할 수 있는 Autograd라는 동적 계산 그래프 시스템 중심</li><li>텐서 연산: GPU 가속을 통한 고급 수학적 연산</li><li>신경망 모듈: 사전 구축 및 커스터마이징 가능한 네트워크 레이어</li><li>최적화 도구: 모델 트레이닝을 위한 정교한 알고리즘</li><li>데이터 유틸리티: 효율적인 데이터 로딩 및 전처리 도구</li></ul></li><li>PyTorch 개발 워크플로<ul ><li>데이터 준비<ul ><li>입력 데이터를 PyTorch 텐서로 변환하기</li><li>사용자 정의 데이터 세트 및 데이터 로더 생성</li><li>필요한 전처리 변환 적용</li></ul></li><li>모델 개발<ul ><li>torch.nn을 사용하여 네트워크 아키텍처 정의하기</li><li>포워드 패스 계산 구현하기</li><li>손실 함수 및 옵티마이저 구성</li></ul></li></ul></li></ul> 🎃 LangChain<ul ><li>https://www.langchain.com/</li><li>개발자가 대규모 언어 모델의 힘을 활용하는 방식을 혁신적으로 변화시킨 LangChain은 복잡한 LLM 기능과 실제 애플리케이션 간의 격차를 해소하는 획기적인 AI 프레임워크로 부상<ul ><li>강력한 문서, 광범위한 커뮤니티 지원, 지속적인 업데이트를 통해 개발자가 최첨단 AI 애플리케이션을 구축하면서 투자를 극대화할 수 있도록 지원</li></ul></li><li>LangChain 프레임워크 개요<ul ><li>LangChain은 모듈식 아키텍처와 제너레이티브 AI 개발을 위해 특별히 설계된 포괄적인 도구 세트를 통해 차별화</li><li>프럼프트 관리 및 최적화</li><li>데이터 증강 생성</li><li>의사 결정을 위한 자율 에이전트</li><li>컨텍스트 유지를 위한 메모리 시스템</li></ul></li><li>광범위한 통합 기능<ul ><li>외부 데이터 소스<ul ><li>문서 저장소</li><li>벡터 데이터베이스</li><li>API 엔드포인트</li></ul></li><li>개발 도구<ul ><li>버전 관리 시스템</li><li>모니터링 플랫폼</li><li>배포 서비스</li></ul></li><li>비용을 최적화하기 위해 몇 가지 전략<ul ><li>빈번한 쿼리를 위한 캐싱 메커니즘 활용</li><li>가능한 경우 API 호출 일괄 처리</li><li>효율적인 리소스 할당을 위해 사용 패턴 모니터링</li></ul></li></ul></li></ul> 🎃 허깅 페이스 트랜스포머<ul ><li>https://huggingface.co/docs/transformers/en/index</li><li>허깅 페이스 트랜스포머 라이브러리는 포괄적인 도구와 모델로 구성된 에코시스템을 통해 전 세계 개발자가 고급 자연어 처리를 이용할 수 있도록 하여 인공지능 대중화의 최전선 위치</li><li>허깅 페이스의 핵심 기능<ul ><li>바로 사용할 수 있는 수천 개의 모델이 포함된 사전 학습된 모델 허브</li><li>PyTorch 및 TensorFlow와의 원활한 통합</li><li>고급 토큰화 및 전처리 도구</li><li>이전 학습을 위한 기본 지원</li><li>포괄적인 문서 및 커뮤니티 리소스</li></ul></li><li>허깅 페이스 구현 가이드<ul ><li>허깅 페이스 트랜스포머 구현은 빠른 개발을 가능하게 하는 간단한 접근 방식.<ul ><li>이 프로세스는 모델 선택에서 시작하여 미세 조정 및 배포를 통해 확장</li><li>최적의 결과를 얻으려면 개발자는 모델 아키텍처 세부 사항을 자동으로 처리하고 다양한 모델 유형에 걸쳐 일관된 인터페이스를 제공하는 AutoClass 시스템을 활용하는 데 집중</li></ul></li><li>파이프라인 아키텍처를 통해 작업을 처리하는 데 탁월하므로 개발자는 최소한의 코드로 복잡한 NLP 작업 구현 가능.<ul ><li>여기에는 기본 텍스트 분류부터 고급 생성 AI 애플리케이션까지 모든 것 가능</li></ul></li><li>로컬 및 클라우드 배포 옵션을 모두 제공하며, 비용은 계산 요구 사항과 모델 복잡성에 따라 차이.<ul ><li>기업 사용자는 SSO 지원, 감사 로그, 전용 인프라 옵션과 같은 추가 기능의 혜택</li></ul></li><li>프로덕션 환경에서 작업하는 개발자를 위해 허깅 페이스는 허브에서 직접 전용 및 자동 확장 인프라를 제공하는 추론 엔드포인트 제공.<ul ><li>이를 통해 최적화된 리소스 활용을 통해 비용 효율성을 유지하면서 안정적인 성능 보장</li></ul></li></ul></li></ul> 🎃 LlamaIndex<ul ><li>https://www.llamaindex.ai/</li><li>데이터와 대규모 언어 모델 간의 격차를 해소하기 위해 설계된 LlamaIndex는 개발자가 상황 인식 AI 애플리케이션을 구축하는 방식을 혁신하는 강력한 데이터 프레임워크<ul ><li>LLM을 통해 다양한 데이터 소스에 액세스하고 쿼리할 수 있도록 하는 데 특화</li><li>엔터프라이즈 배포를 위해 가상의 문서 임베딩과 다양한 벡터 저장소와의 통합과 같은 고급 기능을 제공하여 조직이 비용 효율성을 유지하면서 AI 프레임워크 구현 확장</li></ul></li><li>LlamaIndex의 특징 및 기능<ul ><li>정교한 데이터 처리 및 검색 기능 중심</li><li>여러 소스 통합을 위한 데이터 커넥터(LlamaHub)</li><li>고급 문서 작업(삽입, 삭제, 업데이트)</li><li>다중 문서 합성 기능</li><li>쿼리 엔진 선택을 위한 라우터 기능</li><li>벡터 스토어 통합 및 ChatGPT 플러그인 지원</li><li>OpenAI 함수 호출 API 호환성</li></ul></li><li>라마인덱스 개발 프로세스<ul ><li>데이터 처리와 쿼리를 모두 최적화하는 2단계 접근 방식<ul ><li>데이터 처리 단계에서 프레임워크는 지식 베이스를 '노드' 객체로 저장된 관리 가능한 청크로 분할하는데, 이는 LLM의 토큰 제한을 처리하는 데 매우 중요</li></ul></li><li>쿼리 프로세스:<ul ><li>노드 수집: 쿼리 컨텍스트에 따라 관련 데이터 수집</li><li>응답 합성: LLM 통합을 사용하여 컨텍스트가 풍부한 답변 생성</li><li>채팅 엔진 구현: 데이터에 대한 지속적인 대화 활성화</li></ul></li></ul></li><li>비용 최적화 전략<ul ><li>인덱스 구축 및 쿼리 단계에서 비용을 예측하기 위한 토큰 예측기 구현 포함</li><li>개발자가 토큰 사용량을 효과적으로 관리하고 예측할 수 있도록 TokenCounting Handler 콜백 및 MockLLM 구현과 같은 기본 제공 도구를 제공</li></ul></li></ul> 🎃 OpenAI 프레임워크(OPF)<ul ><li>https://platform.openai.com/docs/api-reference/introduction</li><li>책임감 있는 안전하고 윤리적인 AI 프레임워크 구현을 위한 새로운 표준 제시<ul ><li>강력한 안전 프로토콜과 최첨단 개발 도구를 결합하여 AI 배포의 혁신과 책임 보장</li><li>프레임워크의 종량제 시스템은 모델 선택 및 사용 패턴에 따라 비용이 달라지는 유연한 확장 가능</li><li>OpenAI는 사용자 지정 데이터 보존 기간과 향상된 보안 기능을 포함한 포괄적인 지원 옵션을 제공</li><li>프레임워크의 통합 기능은 다양한 개발 환경으로 확장되어 연구 이니셔티브와 프로덕션 규모의 애플리케이션을 모두 지원</li></ul></li><li>OpenAI 프레임워크 구성 요소<ul ><li>위험 평가를 위한 종합적인 평가 시스템</li><li>통합 사이버 보안 조치</li><li>안전 자문 그룹(SAG) 감독</li><li>책임 있는 확장 정책 구현</li><li>고급 모니터링 및 테스트 프로토콜</li></ul></li><li>OpenAI 구현 전략<ul ><li>안전과 효율성에 중점을 둔 구조화된 접근 방식</li><li>철저한 위험 평가로 시작하여 정기적인 안전 훈련과 레드팀 연습을 통해 배포를 계속 진행.</li><li>시스템 배포 제어를 위한 절차적 조치와 함께 AI 알고리즘을 개선하기 위한 기술 솔루션을 통합</li></ul></li><li>비용 최적화 전략:<ul ><li>대시보드를 통한 토큰 사용량 모니터링</li><li>사용량 임계값 및 알림 구현</li><li>작업 요구 사항에 따른 전략적 모델 선택</li><li>언어 API는 토큰당 가격이 책정되는 반면, 이미지 생성 모델은 해상도 기반 요금제</li></ul></li></ul> 🎃 Microsoft JARVIS<ul ><li>https://github.com/microsoft/JARVIS</li><li>지능형 컨트롤러 아키텍처를 통해 여러 AI 모델을 오케스트레이션하는 획기적인 시스템인 Microsoft의 최신 AI 프레임워크 환경 혁신 JARVIS<ul ><li>서로 다른 AI 모델 간의 원활한 상호 작용을 지원하므로 단일 모델로는 독립적으로 수행할 수 없는 복잡한 작업 실행</li><li>로컬 및 클라우드 기반 배포 모델을 모두 지원</li><li>엔터프라이즈 구현을 위해 JARVIS는 맞춤형 모델 통합, 전용 지원 채널, 특수 배포 옵션 등의 고급 기능 제공</li></ul></li><li>JARVIS 플랫폼 개요<ul ><li>JARVIS의 핵심은 ChatGPT를 기본 컨트롤러로 활용하는 협업 시스템</li><li>플랫폼의 특징:<ul ><li>멀티모달 처리 기능</li><li>실시간 웹 액세스 통합</li><li>고급 작업 계획 시스템</li><li>모델 간 협업</li><li>포괄적인 API 지원</li><li>지능형 리소스 관리</li></ul></li></ul></li><li>JARVIS 개발 워크플로(4단계 워크플로우)<ul ><li>작업 계획: ChatGPT가 사용자 요청을 분석하여 관리 가능한 하위 작업으로 세분화</li><li>모델 선택: Hugging Face에서 적절한 전문가 모델을 지능적으로 선택</li><li>작업 실행: 실시간 모니터링을 통해 선택한 모델의 조정된 실행</li><li>응답 통합: 결과를 일관된 출력으로 종합적으로 합성</li></ul></li><li>배포 옵션에 따른 리소스 요구 사항<ul ><li>최소 설정: 16GB VRAM, 100GB 스토리지</li><li>표준 설정: 64GB RAM(Jetson AGX Orin에 권장)</li><li>클라우드 배포: 유연한 확장 옵션</li><li>리소스 관리 시스템은 비용 효율성을 유지하면서 성능을 최적화하므로 연구 및 프로덕션 환경 모두에 적합</li></ul></li></ul> 🎀 결론 🎀<ul ><li>이 7가지 각 프레임워크는 각기 다른 용도로 사용됩니다.<ul ><li>TensorFlow(프러덕션 환경)와 PyTorch(연구환경)는 딥러닝 탁월</li><li>LangChain과 LlamaIndex는 LM 기반 애플리케이션 구축에 특화 및 LLM 애플리케이션 간소화</li><li>Hugging Face, OpenAI, Microsoft JARVIS는 자연어 처리와 멀티모달 AI 경계 확장</li></ul></li><li>모든 프레임워크를 동시에 마스터하려고 시도하기보다는 당면한 프로젝트 요구사항에 맞는 프레임워크부터 시작하세요.</li></ul> <ul ><li>출처: https://dev.to/pavanbelagatti/7-cutting-edge-ai-frameworks-every-developer-should-master-13l9</li></ul>

[Dev]모든 개발자가 마스터해야 할 7가지 AI 프레임워크!

우연히 알게되어 채팅해봤는데요. 한국어도 곧잘 말하네요.

https://chat.deepseek.com

우연히 알게되어 채팅해봤는데요. 한국어도 곧잘 말하네요. https://chat.deepseek.com

o1 preview 성능에 준하는 챗봇이 무료?

큰 장애를 냈어요. 사소한 실수였죠. 연봉을 뱉어내도 메울 수 없는 손실을 냈어요.

문제를 복구한 뒤 원인 분석을 위해 모였어요. 이상했어요. 아무도 저를 탓하지 않았거든요. 오히려 절 걱정해줬어요.

제 잘못이 아니라 프로세스의 문제라고 했어요. 일하는 법을 바꿔서 같은 상황을 만들지 않으면 되는 거라고 했어요.

또 하나 배웠어요. 때론 사람을 고치려 하지 말고 프로세스, 환경을 바꿔야 한다는 점을요.

큰 장애를 냈어요. 사소한 실수였죠. 연봉을 뱉어내도 메울 수 없는 손실을 냈어요. 문제를 복구한 뒤 원인 분석을 위해 모였어요. 이상했어요. 아무도 저를 탓하지 않았거든요. 오히려 절 걱정해줬어요. 제 잘못이 아니라 프로세스의 문제라고 했어요. 일하는 법을 바꿔서 같은 상황을 만들지 않으면 되는 거라고 했어요. 또 하나 배웠어요. 때론 사람을 고치려 하지 말고 프로세스, 환경을 바꿔야 한다는 점을요.

제가 잘못한 게 아니라고요?

최종 면접에서 자꾸 떨어진다고 코칭을 요청하시는 분들이 간혹 있다. 그 이야기는 앞단의 기술 면접은 잘 했다는 이야기인데 기술 면접과 최종 면접의 차이점은 무엇일까?

먼저 기술 면접에서는 당연히 기술적인 이야기와 업무를 중심으로 이야기한다고 하면 최종 면접에서는 더 상위 레벨의 이야기를 해야 하며 면접관의 입장에서 무엇이 궁금할지 생각해봐야 한다. 경영진의 관점에서는 기술적인 역량은 이미 검증이 된 것이고 이제 궁금한 것은 회사에 무슨 이유로 지원했고 얼마나 열정이 있고 우리가 원하는 인재상인지 얼마나 오래 같이 갈 것인지 여부 이다.

항상 나오는 질문은 왜 우리 회사에 지원하는지 이유를 물어보는 거다. 꼭 나름대로의 답변을 준비할 필요가 있다. 또 최종 면접에서는 어떤 질문을 하느냐가 앞단의 기술 면접보다 더 중요하다. 어느 정도 규모가 되는 회사라면 회사 홈페이지등을 통해 회사의 비전과 미션에 대해 알아보고 어떤 인재상을 갖고 있는지 알아보는 등 약간의 준비와 공부가 필요하다. 면접관에게 하는 질문도 기술적인 것 (이는 앞단의 기술 면접 때 물어보는 것이 맞다) 보다는 개인적인 창업이나 조인 동기에 대해 물어보는 것이 좋고 회사의 단기와 장기 목표에 대해 물어보는 것, 인재상에 대해 물어보는 것 등이 더 좋다.

다음으로 자신감을 가지고 긍정적인 톤으로 이야기하는 연습하는 것이 중요하다. 앞에 경력 단절이 있는 경우 그걸 너무 감추려 하거나 죄를 지은 것 처럼 생각하지 말고 당당하게 무슨 이유로 단절이 있고 무슨 준비를 하며 보냈는지 설명하면 된다.

최종 면접에서 자꾸 떨어진다고 코칭을 요청하시는 분들이 간혹 있다. 그 이야기는 앞단의 기술 면접은 잘 했다는 이야기인데 기술 면접과 최종 면접의 차이점은 무엇일까? 먼저 기술 면접에서는 당연히 기술적인 이야기와 업무를 중심으로 이야기한다고 하면 최종 면접에서는 더 상위 레벨의 이야기를 해야 하며 면접관의 입장에서 무엇이 궁금할지 생각해봐야 한다. 경영진의 관점에서는 기술적인 역량은 이미 검증이 된 것이고 이제 궁금한 것은 회사에 무슨 이유로 지원했고 얼마나 열정이 있고 우리가 원하는 인재상인지 얼마나 오래 같이 갈 것인지 여부 이다. 항상 나오는 질문은 왜 우리 회사에 지원하는지 이유를 물어보는 거다. 꼭 나름대로의 답변을 준비할 필요가 있다. 또 최종 면접에서는 어떤 질문을 하느냐가 앞단의 기술 면접보다 더 중요하다. 어느 정도 규모가 되는 회사라면 회사 홈페이지등을 통해 회사의 비전과 미션에 대해 알아보고 어떤 인재상을 갖고 있는지 알아보는 등 약간의 준비와 공부가 필요하다. 면접관에게 하는 질문도 기술적인 것 (이는 앞단의 기술 면접 때 물어보는 것이 맞다) 보다는 개인적인 창업이나 조인 동기에 대해 물어보는 것이 좋고 회사의 단기와 장기 목표에 대해 물어보는 것, 인재상에 대해 물어보는 것 등이 더 좋다. 다음으로 자신감을 가지고 긍정적인 톤으로 이야기하는 연습하는 것이 중요하다. 앞에 경력 단절이 있는 경우 그걸 너무 감추려 하거나 죄를 지은 것 처럼 생각하지 말고 당당하게 무슨 이유로 단절이 있고 무슨 준비를 하며 보냈는지 설명하면 된다.

최종 면접과 기술 면접의 차이점

YouTube에서 마음에 드는 동영상과 음악을 감상하고, 직접 만든 콘텐츠를 업로드하여 친구, 가족뿐 아니라 전 세계 사람들과 콘텐츠를 공유할 수 있습니다.

 - YouTube

fetch 함수를 쓸 때 왜 await를 두 번 써야 할까요?
간단히 설명하면, 서버와 통신할 때 데이터가 두 단계로 나눠져서 오기 때문입니다.

첫 번째 await는 서버에서 응답이 올 때까지 기다립니다. 이때 HTTP 헤더(응답의 기본 정보)를 받게 됩니다. 이 때 서버가 에러를 보내도 이 단계는 정상적으로 완료됩니다.
두 번째 await는 실제 데이터(response body)를 JSON으로 변환하는 과정입니다. 서버에서 받은 데이터를 우리가 JavaScript에서 쓸 수 있는 형태로 바꿔 줍니다.

이렇게 나눠진 구조 덕분에 큰 데이터를 받을 때도 효율적으로 처리할 수 있으며, 데이터를 다 받기 전에도 상태 코드만 보고 에러를 확인할 수 있다는 장점도 있습니다.

실무에서는 편의성 때문에 axios를 더 많이 쓰긴 하지만, 종종 fetch를 써야할 상황에서는 이런 지식들을 알아두시면 도움이 될 것 같네요.

https://www.youtube.com/watch?v=Ki64Cnyf_cA

fetch 함수를 쓸 때 왜 await를 두 번 써야 할까요? 간단히 설명하면, 서버와 통신할 때 데이터가 두 단계로 나눠져서 오기 때문입니다. 첫 번째 await는 서버에서 응답이 올 때까지 기다립니다. 이때 HTTP 헤더(응답의 기본 정보)를 받게 됩니다. 이 때 서버가 에러를 보내도 이 단계는 정상적으로 완료됩니다.두 번째 await는 실제 데이터(response body)를 JSON으로 변환하는 과정입니다. 서버에서 받은 데이터를 우리가 JavaScript에서 쓸 수 있는 형태로 바꿔 줍니다. 이렇게 나눠진 구조 덕분에 큰 데이터를 받을 때도 효율적으로 처리할 수 있으며, 데이터를 다 받기 전에도 상태 코드만 보고 에러를 확인할 수 있다는 장점도 있습니다. 실무에서는 편의성 때문에 axios를 더 많이 쓰긴 하지만, 종종 fetch를 써야할 상황에서는 이런 지식들을 알아두시면 도움이 될 것 같네요. https://www.youtube.com/watch?v=Ki64Cnyf_cA

www.youtube.com

JavaScript fetch는 왜 await를 두 번 할까

Machine Learning Systems

https://mlsysbook.ai/

하버드의 머신러닝 시스템 수업의 일환으로 개발된 책이라고 하네요. 내용 살펴보니까 거시적인 시스템 관점으로 다루고 있어 좋네요.

Ondevice learning, MLOps도 다루는 책으로 범위가 꽤 넓어요. 18장은 아직 작성되지 않았는데 추후에 추가될 것 같네요

https://mlsysbook.ai/ 하버드의 머신러닝 시스템 수업의 일환으로 개발된 책이라고 하네요. 내용 살펴보니까 거시적인 시스템 관점으로 다루고 있어 좋네요. Ondevice learning, MLOps도 다루는 책으로 범위가 꽤 넓어요. 18장은 아직 작성되지 않았는데 추후에 추가될 것 같네요

mlsysbook.ai

Machine Learning Systems 책(무료, 1400쪽

토스 채용

토스 프론트엔드 플랫폼 팀과 함께 겨울방학동안 샘플 앱을 만들어가실 분을 찾는다고 합니다.

내년, 토스 프론트엔드 개발환경이 모두에게 공개된다고 해요.
공개 전 샘플앱을 만들면서 검증할 분을 찾나봐요!

자세한 사항은 아래 링크로!

https://toss.im/career/job-detail?job_id=6272708003

토스 프론트엔드 플랫폼 팀과 함께 겨울방학동안 샘플 앱을 만들어가실 분을 찾는다고 합니다. 내년, 토스 프론트엔드 개발환경이 모두에게 공개된다고 해요. 공개 전 샘플앱을 만들면서 검증할 분을 찾나봐요! 자세한 사항은 아래 링크로! https://toss.im/career/job-detail?job_id=6272708003

toss.im

토스 개발팀에서 겨울방학동안 샘플 앱 만드실분~

너무나 아름답지 않나요?

모니터와 휴대폰의 네모상자 안에서
하루의 시간 절반 이상을 보내는 저에게는
너무나 소중한 장면 중 하나입니다.

하루가 끝나가는 마무리 시간 쯔음,
저는 기회가 되면 밖으로 나가서 혼자 산책을 합니다.

혼자 걸으면서 무심할 정도로 파란 하늘을 보면 때로는 이런 생각이 듭니다. 우리는 무엇을 위해 이렇게 하늘 아래에서 아둥바둥 살고 있을까?

이런 광경들을 무한히 볼 수 있는 행운을 가지고 산다면,
우리에게는 무엇이 더 필요할까요?

여러분의 세상은 어떤 세상인가요?
지금 제가 사는 세상은 이렇습니다.

너무나 아름답지 않나요? 모니터와 휴대폰의 네모상자 안에서 하루의 시간 절반 이상을 보내는 저에게는 너무나 소중한 장면 중 하나입니다. 하루가 끝나가는 마무리 시간 쯔음, 저는 기회가 되면 밖으로 나가서 혼자 산책을 합니다. 혼자 걸으면서 무심할 정도로 파란 하늘을 보면 때로는 이런 생각이 듭니다. 우리는 무엇을 위해 이렇게 하늘 아래에서 아둥바둥 살고 있을까? 이런 광경들을 무한히 볼 수 있는 행운을 가지고 산다면, 우리에게는 무엇이 더 필요할까요? 여러분의 세상은 어떤 세상인가요? 지금 제가 사는 세상은 이렇습니다.

제가 사는 세상은 이렇습니다

What is Retrieval Augmented Generation (RAG)?   Retrieval Augmented Generation (RAG) is an...

7 AI Open Source Libraries To Build RAG, Agents & AI Search

🎃 검색 증강 생성(RAG)이란 무엇인가?
 * 관련 정보 검색과 응답 생성을 결합한 AI 기술
 * 먼저 외부 소스(문서나 데이터베이스 등)에서 데이터를 검색한 다음 이 정보를 사용하여 보다 정확하고 문맥에 맞는 답변을 생성하는 방식으로 작동
 * AI는 학습된 내용에만 의존하지 않고 사실에 기반한 더 나은 답변 제공 지원

🎃 검색 증강 생성(RAG)은 어떻게 작동하나?
 1. 사용자 질문 > RAG는 데이터베이스, 웹사이트, 문서 등 다양한 데이터 소스를 검색통해 관련 정보 서치
 2. 검색된 정보 + 원래 질문 = 더 많은 정보를 제공하는 프롬프트 생성
 3. 이렇게 향상된 프롬프트 > 언어 모델에 입력 > 질문과 관련성이 높고 검색된 정보가 보강된 답변 생성
 4. 이 프로세스를 통해 AI는 사전 학습된 기능과 함께 외부 지식 소스를 활용하여 보다 정확하고 최신의 문맥 인식 답변 제공
    
    
🎃 검색 증강 생성(RAG)은 AI 모델에 어떤 도움을 주나?
RAG는 실제 세계의 외부 데이터로 내부 지식을 보강하여 AI의 신뢰성과 최신성을 높입니다. 또한 RAG는 몇 가지 주요 방식으로 AI 모델을 개선합니다:
 1. 최신 정보에 대한 액세스: RAG는 문서, 데이터베이스 또는 웹과 같은 외부 소스에서 관련성 있는 실시간 정보 검색. 즉, AI는 학습 데이터가 오래된 경우에도 정확한 응답 제공 가능
 2. 정확도 향상: RAG는 AI의 학습된 지식에만 의존하지 않고 가장 관련성이 높은 데이터를 기반으로 모델이 답변을 생성. 따라서 답변이 더욱 정확하고 사실에 근거함
 3. 문맥 이해도 향상: 검색된 데이터를 사용자의 쿼리와 결합함으로써 RAG는 보다 맥락에 맞는 답변을 제공할 수 있으므로 AI의 답변이 상황에 더욱 맞춤화되고 구체적
 4. 환각 감소: 순수 AI 모델은 때때로 정보를 '환각'하거나 구성하는 경우가 있는데, RAG는 검색된 사실적인 데이터에 근거하여 응답함으로써 부정확하거나 조작된 정보의 가능성 줄임

🎃 검색 증강 생성을 위한 7가지 오픈 소스 라이브러리
RAG를 수행하는 데 도움이 되는 몇 가지 오픈 소스 라이브러리는 문서 색인부터 검색, 언어 모델과의 통합에 이르기까지 RAG 시스템을 효율적으로 구현하는 데 필요한 도구와 프레임워크를 제공합니다.
1. SWIRL
 * https://github.com/swirlai/swirl-search
 * 검색 증강 세대(RAG) 애플리케이션을 구동하는 오픈 소스 AI 인프라 소프트웨어
 * 특징
   * 데이터를 이동하거나 복사하지 않고도 데이터 소스 전반에서 빠르고 안전하게 검색할 수 있게 함으로써 AI 파이프라인 향상
   * SWIRL은 방화벽 내부에서 작동하여 데이터 보안을 보장하는 동시에 구현 간편하여 프라이빗 클라우드 내에서 빠르고 안전하게 AI 배포
   * 20개 이상의 대규모 언어 모델(LLM)과 원활하게 통합
   * 안전한 데이터 액세스 및 규정 준수를 위해 구축
   * 100개 이상의 애플리케이션에서 데이터 가져오기 지원
2. Cognita
 * https://github.com/truefoundry/cognita
 * 프로덕션에 바로 사용할 수 있는 모듈식 검색 증강 세대(RAG) 시스템을 구축하기 위한 오픈 소스 프레임워크
 * 특징
   * RAG 구성 요소를 구성하여 로컬에서 쉽게 테스트하고 대규모 배포
   * 다양한 문서 검색기, 임베딩을 지원하며 완전한 API 기반이므로 다른 시스템과 원활하게 통합
   * 확장 가능한 RAG 시스템을 위한 모듈식 설계
   * 비전문가도 문서 및 Q&A와 상호작용할 수 있는 UI
   * 증분 인덱싱으로 변경 사항을 추적하여 컴퓨팅 부하 낮춤
3. LLM-Ware
 * https://github.com/llmware-ai/llmware
 * 엔터프라이즈급 검색 증강 생성(RAG) 파이프라인을 구축하기 위한 오픈 소스 프레임워크
 * 특징
   * 비공개로 안전하게 배포할 수 있는 소규모의 전문화된 모델을 통합하도록 설계되어 복잡한 엔터프라이즈 워크플로우에 적합
   * 엔터프라이즈 작업에 최적화된 50개 이상의 미세 조정된 소규모 모델 제공
   * 확장 가능한 모듈식 RAG 아키텍처 지원
   * GPU 없이도 실행할 수 있어 경량 배포 가능
4. RAG Flow
 * https://github.com/infiniflow/ragflow
 * 심층적인 문서 이해를 이용한 검색 증강 생성(RAG)에 초점을 맞춘 오픈 소스 엔진
 * 특징
   * 이 엔진을 통해 사용자는 정형 및 비정형 데이터를 통합하여 인용에 기반한 효과적인 질의응답 가능
   * 이 시스템은 간편한 배포 옵션과 함께 확장 가능한 모듈식 아키텍처 제공
   * 복잡한 데이터 형식을 처리할 수 있는 심층적인 문서 이해 기능 내장
   * 환각 위험을 줄인 근거 기반 인용
   * PDF, 이미지, 구조화된 데이터 등 다양한 문서 유형 지원
5. 그래프 RAG
 * https://github.com/microsoft/graphrag
 * 구조화된 지식 그래프를 통합하여 LLM 결과를 향상시키도록 설계된 모듈식 그래프 기반 검색 증강 생성(RAG) 시스템
 * 특징
   * 개인 데이터로 고급 추론을 지원하므로 기업 및 연구 애플리케이션에 이상적
   * 지식 그래프를 사용해 데이터 검색을 구조화하고 향상
   * 비공개 데이터 처리가 필요한 복잡한 엔터프라이즈 사용 사례에 맞게 맞춤화
   * 대규모 배포를 위해 Microsoft Azure와의 통합지원
6. Haystack
 * https://github.com/deepset-ai/haystack
 * 프로덕션에 바로 사용할 수 있는 LLM 애플리케이션을 구축하기 위한 오픈 소스 AI 오케스트레이션 프레임워크
 * 특징
   * 사용자는 모델, 벡터 데이터베이스, 파일 변환기를 연결하여 RAG, 질문 답변, 시맨틱 검색과 같은 고급 시스템 구축 가능
   * 검색, 임베딩, 추론 작업을 위한 유연한 파이프라인
   * 다양한 벡터 데이터베이스 및 LLM과의 통합 지원
   * 기성 모델과 미세 조정된 모델을 모두 사용자 정의
7. Storm
 * https://github.com/stanford-oval/storm
 * 한 주제를 조사하고 인용이 포함된 전체 길이의 보고서를 생성하는 LLM 기반 지식 큐레이션 시스템
 * 특징
   * 고급 검색 방법을 통합하고 다각도의 질문을 지원하여 생성된 콘텐츠의 깊이와 정확성을 향상
   * 근거에 입각한 인용을 통해 위키백과와 유사한 문서 생성
   * 인간과 AI의 협업 지식 큐레이션 지원
   * 외부 검색 소스를 지원하는 모듈식 설계

🎃 검색 증강 생성의 과제
 * 데이터 연관성: 검색된 문서가 쿼리와 관련성이 높은지 확인하는 것은 특히 규모가 크거나 노이즈가 많은 데이터 세트의 경우 문제 가능성
 * 지연 시간: 외부 소스를 검색하면 오버헤드가 추가되어 특히 실시간 애플리케이션에서 응답 시간이 느려질 가능성
 * 데이터 품질: 품질이 낮거나 오래된 데이터는 부정확하거나 오해의 소지가 있는 AI 생성 응답으로 이어질 가능성
 * 확장성: 성능을 유지하면서 대규모 데이터 세트와 높은 사용자 트래픽을 처리하는 것은 복잡 가능성
 * 보안: 특히 기업 환경에서는 데이터 프라이버시를 보장하고 민감한 정보를 안전하게 처리하는 것이 매우 중요

보다 상세한 내용은 원문을 참고하셔도 좋습니다. ^^
 * source: https://dev.to/vectorpodcast/7-ai-open-source-libraries-to-build-rag-agents-ai-search-27bm?context=digest

🎃 검색 증강 생성(RAG)이란 무엇인가?<ul ><li>관련 정보 검색과 응답 생성을 결합한 AI 기술</li><li>먼저 외부 소스(문서나 데이터베이스 등)에서 데이터를 검색한 다음 이 정보를 사용하여 보다 정확하고 문맥에 맞는 답변을 생성하는 방식으로 작동</li><li>AI는 학습된 내용에만 의존하지 않고 사실에 기반한 더 나은 답변 제공 지원</li></ul> 🎃 검색 증강 생성(RAG)은 어떻게 작동하나?<ol ><li>사용자 질문 &gt; RAG는 데이터베이스, 웹사이트, 문서 등 다양한 데이터 소스를 검색통해 관련 정보 서치 </li><li>검색된 정보 + 원래 질문 = 더 많은 정보를 제공하는 프롬프트 생성</li><li>이렇게 향상된 프롬프트 &gt; 언어 모델에 입력 &gt; 질문과 관련성이 높고 검색된 정보가 보강된 답변 생성 </li><li>이 프로세스를 통해 AI는 사전 학습된 기능과 함께 외부 지식 소스를 활용하여 보다 정확하고 최신의 문맥 인식 답변 제공 </li></ol>🎃 검색 증강 생성(RAG)은 AI 모델에 어떤 도움을 주나?RAG는 실제 세계의 외부 데이터로 내부 지식을 보강하여 AI의 신뢰성과 최신성을 높입니다. 또한 RAG는 몇 가지 주요 방식으로 AI 모델을 개선합니다:<ol ><li>최신 정보에 대한 액세스: RAG는 문서, 데이터베이스 또는 웹과 같은 외부 소스에서 관련성 있는 실시간 정보 검색. 즉, AI는 학습 데이터가 오래된 경우에도 정확한 응답 제공 가능</li><li>정확도 향상: RAG는 AI의 학습된 지식에만 의존하지 않고 가장 관련성이 높은 데이터를 기반으로 모델이 답변을 생성. 따라서 답변이 더욱 정확하고 사실에 근거함</li><li>문맥 이해도 향상: 검색된 데이터를 사용자의 쿼리와 결합함으로써 RAG는 보다 맥락에 맞는 답변을 제공할 수 있으므로 AI의 답변이 상황에 더욱 맞춤화되고 구체적</li><li>환각 감소: 순수 AI 모델은 때때로 정보를 '환각'하거나 구성하는 경우가 있는데, RAG는 검색된 사실적인 데이터에 근거하여 응답함으로써 부정확하거나 조작된 정보의 가능성 줄임</li></ol> 🎃 검색 증강 생성을 위한 7가지 오픈 소스 라이브러리RAG를 수행하는 데 도움이 되는 몇 가지 오픈 소스 라이브러리는 문서 색인부터 검색, 언어 모델과의 통합에 이르기까지 RAG 시스템을 효율적으로 구현하는 데 필요한 도구와 프레임워크를 제공합니다.1. SWIRL<ul ><li>https://github.com/swirlai/swirl-search</li><li>검색 증강 세대(RAG) 애플리케이션을 구동하는 오픈 소스 AI 인프라 소프트웨어</li><li>특징<ul ><li>데이터를 이동하거나 복사하지 않고도 데이터 소스 전반에서 빠르고 안전하게 검색할 수 있게 함으로써 AI 파이프라인 향상</li><li>SWIRL은 방화벽 내부에서 작동하여 데이터 보안을 보장하는 동시에 구현 간편하여 프라이빗 클라우드 내에서 빠르고 안전하게 AI 배포</li><li>20개 이상의 대규모 언어 모델(LLM)과 원활하게 통합</li><li>안전한 데이터 액세스 및 규정 준수를 위해 구축</li><li>100개 이상의 애플리케이션에서 데이터 가져오기 지원</li></ul></li></ul>2. Cognita<ul ><li>https://github.com/truefoundry/cognita</li><li>프로덕션에 바로 사용할 수 있는 모듈식 검색 증강 세대(RAG) 시스템을 구축하기 위한 오픈 소스 프레임워크</li><li>특징<ul ><li>RAG 구성 요소를 구성하여 로컬에서 쉽게 테스트하고 대규모 배포</li><li>다양한 문서 검색기, 임베딩을 지원하며 완전한 API 기반이므로 다른 시스템과 원활하게 통합</li><li>확장 가능한 RAG 시스템을 위한 모듈식 설계</li><li>비전문가도 문서 및 Q&amp;A와 상호작용할 수 있는 UI</li><li>증분 인덱싱으로 변경 사항을 추적하여 컴퓨팅 부하 낮춤</li></ul></li></ul>3. LLM-Ware<ul ><li>https://github.com/llmware-ai/llmware</li><li>엔터프라이즈급 검색 증강 생성(RAG) 파이프라인을 구축하기 위한 오픈 소스 프레임워크</li><li>특징<ul ><li>비공개로 안전하게 배포할 수 있는 소규모의 전문화된 모델을 통합하도록 설계되어 복잡한 엔터프라이즈 워크플로우에 적합</li><li>엔터프라이즈 작업에 최적화된 50개 이상의 미세 조정된 소규모 모델 제공</li><li>확장 가능한 모듈식 RAG 아키텍처 지원</li><li>GPU 없이도 실행할 수 있어 경량 배포 가능</li></ul></li></ul>4. RAG Flow<ul ><li>https://github.com/infiniflow/ragflow</li><li>심층적인 문서 이해를 이용한 검색 증강 생성(RAG)에 초점을 맞춘 오픈 소스 엔진</li><li>특징<ul ><li>이 엔진을 통해 사용자는 정형 및 비정형 데이터를 통합하여 인용에 기반한 효과적인 질의응답 가능</li><li>이 시스템은 간편한 배포 옵션과 함께 확장 가능한 모듈식 아키텍처 제공</li><li>복잡한 데이터 형식을 처리할 수 있는 심층적인 문서 이해 기능 내장</li><li>환각 위험을 줄인 근거 기반 인용</li><li>PDF, 이미지, 구조화된 데이터 등 다양한 문서 유형 지원</li></ul></li></ul>5. 그래프 RAG<ul ><li>https://github.com/microsoft/graphrag</li><li>구조화된 지식 그래프를 통합하여 LLM 결과를 향상시키도록 설계된 모듈식 그래프 기반 검색 증강 생성(RAG) 시스템</li><li>특징<ul ><li>개인 데이터로 고급 추론을 지원하므로 기업 및 연구 애플리케이션에 이상적</li><li>지식 그래프를 사용해 데이터 검색을 구조화하고 향상</li><li>비공개 데이터 처리가 필요한 복잡한 엔터프라이즈 사용 사례에 맞게 맞춤화</li><li>대규모 배포를 위해 Microsoft Azure와의 통합지원</li></ul></li></ul>6. Haystack<ul ><li>https://github.com/deepset-ai/haystack</li><li>프로덕션에 바로 사용할 수 있는 LLM 애플리케이션을 구축하기 위한 오픈 소스 AI 오케스트레이션 프레임워크</li><li>특징<ul ><li>사용자는 모델, 벡터 데이터베이스, 파일 변환기를 연결하여 RAG, 질문 답변, 시맨틱 검색과 같은 고급 시스템 구축 가능</li><li>검색, 임베딩, 추론 작업을 위한 유연한 파이프라인</li><li>다양한 벡터 데이터베이스 및 LLM과의 통합 지원</li><li>기성 모델과 미세 조정된 모델을 모두 사용자 정의</li></ul></li></ul>7. Storm<ul ><li>https://github.com/stanford-oval/storm</li><li>한 주제를 조사하고 인용이 포함된 전체 길이의 보고서를 생성하는 LLM 기반 지식 큐레이션 시스템</li><li>특징<ul ><li>고급 검색 방법을 통합하고 다각도의 질문을 지원하여 생성된 콘텐츠의 깊이와 정확성을 향상</li><li>근거에 입각한 인용을 통해 위키백과와 유사한 문서 생성</li><li>인간과 AI의 협업 지식 큐레이션 지원</li><li>외부 검색 소스를 지원하는 모듈식 설계</li></ul></li></ul> 🎃 검색 증강 생성의 과제<ul ><li>데이터 연관성: 검색된 문서가 쿼리와 관련성이 높은지 확인하는 것은 특히 규모가 크거나 노이즈가 많은 데이터 세트의 경우 문제 가능성</li><li>지연 시간: 외부 소스를 검색하면 오버헤드가 추가되어 특히 실시간 애플리케이션에서 응답 시간이 느려질 가능성</li><li>데이터 품질: 품질이 낮거나 오래된 데이터는 부정확하거나 오해의 소지가 있는 AI 생성 응답으로 이어질 가능성</li><li>확장성: 성능을 유지하면서 대규모 데이터 세트와 높은 사용자 트래픽을 처리하는 것은 복잡 가능성</li><li>보안: 특히 기업 환경에서는 데이터 프라이버시를 보장하고 민감한 정보를 안전하게 처리하는 것이 매우 중요</li></ul> 보다 상세한 내용은 원문을 참고하셔도 좋습니다. ^^<ul ><li>source: https://dev.to/vectorpodcast/7-ai-open-source-libraries-to-build-rag-agents-ai-search-27bm?context=digest</li></ul>

DEV Community

[DEV]RAG를 수행하기 위한 7가지 AI 오픈소스 라이브러리

원문 : The Ultimate Guide to Font Performance Optimization 폰트 성능 최적화는 웹사이트의 폰트 로딩 속도를 높이고 더 부드럽게 렌더링 되도록 하는 다양한 웹 개발 기법을 말합니다. 이러한 최적화에는 신중한 폰트 선택, 성능이 우수한 폰트 포맷 사용, 자체 호스팅, 최적화된  선언, 폰트 디스플레이 전략 등이 포함됩니다. 웹사이트에 표시되는 폰트를 최적화하면 페이지 로딩 속도가 빨라지고 사용자 경험이 향상되며, 코어 웹 바이탈(Core Web Vitals…

(번역) 폰트 성능 최적화를 위한 궁극적인 가이드

오늘 소개드릴 글은 42dot의 유경상님이 번역해주신 글입니다.

폰트는 웹사이트의 성능과 사용자 경험에 큰 영향을 미치는 중요한 요소 중 하나임에도 불구하고, 많은 개발자들이 종종 폰트 최적화의 중요성을 간과하곤 합니다. 이 글에서는 웹사이트 폰트 성능 최적화에 대한 포괄적인 가이드를 제공합니다. 글에서는 웹 세이프 폰트와 웹 폰트의 차이점부터 시작하여, 폰트 자체 호스팅의 이점, WOFF2 형식의 중요성,
@font-face
선언 최적화 방법 등을 상세히 다룹니다. 또한 이 밖에도 여러가지 최적화 기법들을 소개하고 있습니다. 폰트 최적화는 비교적 작은 노력으로 큰 성능 향상을 얻을 수 있는 영역이므로, 이 글을 참고하여 여러분의 웹사이트 성능을 한 단계 끌어올리시는 기회가 되시길 바랍니다 :)

글 링크 : https://ykss.netlify.app/translation/the_ultimate_guide_to_font_performance_optimization/

오늘 소개드릴 글은 42dot의 유경상님이 번역해주신 글입니다. 폰트는 웹사이트의 성능과 사용자 경험에 큰 영향을 미치는 중요한 요소 중 하나임에도 불구하고, 많은 개발자들이 종종 폰트 최적화의 중요성을 간과하곤 합니다. 이 글에서는 웹사이트 폰트 성능 최적화에 대한 포괄적인 가이드를 제공합니다. 글에서는 웹 세이프 폰트와 웹 폰트의 차이점부터 시작하여, 폰트 자체 호스팅의 이점, WOFF2 형식의 중요성, <code >@font-face</code> 선언 최적화 방법 등을 상세히 다룹니다. 또한 이 밖에도 여러가지 최적화 기법들을 소개하고 있습니다. 폰트 최적화는 비교적 작은 노력으로 큰 성능 향상을 얻을 수 있는 영역이므로, 이 글을 참고하여 여러분의 웹사이트 성능을 한 단계 끌어올리시는 기회가 되시길 바랍니다 :) 글 링크 : https://ykss.netlify.app/translation/the_ultimate_guide_to_font_performance_optimization/

ykss.netlify.app

폰트 성능 최적화를 위한 궁극적인 가이드

1. 언젠가 백종원 대표는, 성공 비결을 묻는 질문에 ‘척하며 산 것’이라고 말한 적 있다. 착한 사람인 척 살다 보니 착하게 살게 됐고, 열심히 사는 척을 하며 살다 보니 열심히 살게 됐고, 미식가인 척 살다 보니 실제로도 미식가가 되었다는 얘기다.  2. 그래서 백종원 대표는 후배들에게 ‘척하는 인생이라도 살라’고 말한다고. 세상에는 착한 척, 열심히 

백종원 대표와 강백호, 그리고 척하는 삶

1. 언젠가 백종원 대표는, 성공 비결을 묻는 질문에 ‘척하며 산 것’이라고 말한 적 있다. 착한 사람인 척 살다 보니 착하게 살게 됐고, 열심히 사는 척을 하며 살다 보니 열심히 살게 됐고, 미식가인 척 살다 보니 실제로도 미식가가 되었다는 얘기다.

2. 그래서 백종원 대표는 후배들에게 ‘척하는 인생이라도 살라’고 말한다고. 세상에는 착한 척, 열심히 사는 척조차 안 하는 사람들이 많으니.

3. 그런 백종원 대표의 말을 듣고, 바로 슬램덩크의 강백호가 떠올랐다고 한다. 강백호는 스스로 천재라고 착각하며 살지만, 실제로는 농구에 대해 기본도 모르는 어설픈 풋내기.

4. 그럼에도 강백호는 스스로가 천재라고 믿고, 천재인 척을 하며 살다가, 빡센 훈련과 고난의 게임을 이겨내면서 실제로 천재인 모먼트를 독자들에게 선사한다.

5. 비록 만화 캐릭터이긴 하지만, 강백호 역시 ‘척하는 인생’을 살다 진짜 천재가 된 캐릭터랄까?

6. 여담이지만, 최근 고등학생 시절 오타니 쇼헤이에 멘탈 코칭을 해준 것으로 유명한 니시다 하쓰미 씨의 책과 김항기 대표님의 추천으로 영국 작가 제임스 알렌(James Allen)의 사상들을 접하고 있는데,

7. 이 둘을 관통하는 메시지 역시 하나. ‘어떤 생각을 하느냐가 어떤 삶을 사느냐를 결정한다’는 것. 우리의 생각과 사고방식이 우리 삶의 원인이자 뿌리이고, 그 뿌리에서부터 삶의 결과 혹은 열매들이 피어난다는 얘기.

8. 그리고 그들의 책을 읽으면서 문득 이런 생각을 했다. ‘자신의 생각을 관리(manage)하는 것’이 어쩌면 피터 드러커가 말한 ‘자기 경영’의 시작일지 모른다고.

9. 그런 의미에서 지식 노동자로서 해야 할 일의 첫 번째는 수많은 잡념과 혼란한 정보 속에서 자신의 생각을 올바른 방향으로 관리하는 것일 수 있다.

10. 그런 의미에서 백종원 대표가 말하는 ‘척하는 인생’에서의 ‘척’은 가짜나 남을 속이기 위한 척이 아니라, 비록 지금 현실은 그 기대에 미치지 못하더라도, 자기가 옳다고 생각하는 방향으로 자신의 생각을 모아가는 일종의 자기 경영 기술이었던 게 아닐까?

11. 그리고 명확한 방향을 잡았기에 자신의 삶을 거기로 이끌 수 있었던 것 같고. 척이라도 해서 방향을 잡지 않으면, 혼란한 세상에 휩쓸려 생각 없이 살기 쉬우니까.

12. 강백호 역시 스스로가 천재라는 믿음이 없었으면, 무뚝뚝한 고릴라와 얌체 같은 여우와 쉽사리 꺼질 것 같은 촛불처럼 방황하는 부랑아와 함께 호흡을 맞추며 한 팀으로 뛰긴 쉽지 않았을 것 같고.

13. 그런 의미에서 우리 삶의 제 1원칙(first principle)은 ‘어떤 생각을 하느냐’, ‘어디를 바라보느냐’일 수 있다. 그리고 올바른 방향으로 가는 척이라도 해야, 그 방향으로 계속 나아갈 수 있을 것 같고. 어쩌면 그걸 사람들은 꿈이나 목표나 비전이나 미션이라고 부르는지도 모르지. 무튼 나 화이팅 🧏🏼‍♂️

#오늘의아무말

https://brunch.co.kr/@somewonyoon/238

1. 언젠가 백종원 대표는, 성공 비결을 묻는 질문에 ‘척하며 산 것’이라고 말한 적 있다. 착한 사람인 척 살다 보니 착하게 살게 됐고, 열심히 사는 척을 하며 살다 보니 열심히 살게 됐고, 미식가인 척 살다 보니 실제로도 미식가가 되었다는 얘기다. 2. 그래서 백종원 대표는 후배들에게 ‘척하는 인생이라도 살라’고 말한다고. 세상에는 착한 척, 열심히 사는 척조차 안 하는 사람들이 많으니. 3. 그런 백종원 대표의 말을 듣고, 바로 슬램덩크의 강백호가 떠올랐다고 한다. 강백호는 스스로 천재라고 착각하며 살지만, 실제로는 농구에 대해 기본도 모르는 어설픈 풋내기. 4. 그럼에도 강백호는 스스로가 천재라고 믿고, 천재인 척을 하며 살다가, 빡센 훈련과 고난의 게임을 이겨내면서 실제로 천재인 모먼트를 독자들에게 선사한다. 5. 비록 만화 캐릭터이긴 하지만, 강백호 역시 ‘척하는 인생’을 살다 진짜 천재가 된 캐릭터랄까? 6. 여담이지만, 최근 고등학생 시절 오타니 쇼헤이에 멘탈 코칭을 해준 것으로 유명한 니시다 하쓰미 씨의 책과 김항기 대표님의 추천으로 영국 작가 제임스 알렌(James Allen)의 사상들을 접하고 있는데, 7. 이 둘을 관통하는 메시지 역시 하나. ‘어떤 생각을 하느냐가 어떤 삶을 사느냐를 결정한다’는 것. 우리의 생각과 사고방식이 우리 삶의 원인이자 뿌리이고, 그 뿌리에서부터 삶의 결과 혹은 열매들이 피어난다는 얘기. 8. 그리고 그들의 책을 읽으면서 문득 이런 생각을 했다. ‘자신의 생각을 관리(manage)하는 것’이 어쩌면 피터 드러커가 말한 ‘자기 경영’의 시작일지 모른다고. 9. 그런 의미에서 지식 노동자로서 해야 할 일의 첫 번째는 수많은 잡념과 혼란한 정보 속에서 자신의 생각을 올바른 방향으로 관리하는 것일 수 있다. 10. 그런 의미에서 백종원 대표가 말하는 ‘척하는 인생’에서의 ‘척’은 가짜나 남을 속이기 위한 척이 아니라, 비록 지금 현실은 그 기대에 미치지 못하더라도, 자기가 옳다고 생각하는 방향으로 자신의 생각을 모아가는 일종의 자기 경영 기술이었던 게 아닐까? 11. 그리고 명확한 방향을 잡았기에 자신의 삶을 거기로 이끌 수 있었던 것 같고. 척이라도 해서 방향을 잡지 않으면, 혼란한 세상에 휩쓸려 생각 없이 살기 쉬우니까. 12. 강백호 역시 스스로가 천재라는 믿음이 없었으면, 무뚝뚝한 고릴라와 얌체 같은 여우와 쉽사리 꺼질 것 같은 촛불처럼 방황하는 부랑아와 함께 호흡을 맞추며 한 팀으로 뛰긴 쉽지 않았을 것 같고. 13. 그런 의미에서 우리 삶의 제 1원칙(first principle)은 ‘어떤 생각을 하느냐’, ‘어디를 바라보느냐’일 수 있다. 그리고 올바른 방향으로 가는 척이라도 해야, 그 방향으로 계속 나아갈 수 있을 것 같고. 어쩌면 그걸 사람들은 꿈이나 목표나 비전이나 미션이라고 부르는지도 모르지. 무튼 나 화이팅 🧏🏼‍♂️ #오늘의아무말 https://brunch.co.kr/@somewonyoon/238

Brunch Story

저는 왜 개발 문화가 좋은 회사에 가지 못하고, 자꾸 비슷한 회사만 돌게 될까요?

뭔가 공부도 하는 것 같고 노력도 나름 하고 있는데 좋은 회사에는 떨어지고 비슷한 회사만 돌게 되어서 이력서마저도 짧은 이력으로 채워져 누더기 경력이 되어가는 경우가 많습니다.

단기간 이직만을 위한 학습을 하고, 장기간의 내공을 높이기 위한 학습을 하지 않아서인 경우가 많은데요, 이에 대해서 만들어본 영상입니다

https://www.youtube.com/watch?v=Oez86nYw7QQ

저는 왜 개발 문화가 좋은 회사에 가지 못하고, 자꾸 비슷한 회사만 돌게 될까요? 뭔가 공부도 하는 것 같고 노력도 나름 하고 있는데 좋은 회사에는 떨어지고 비슷한 회사만 돌게 되어서 이력서마저도 짧은 이력으로 채워져 누더기 경력이 되어가는 경우가 많습니다. 단기간 이직만을 위한 학습을 하고, 장기간의 내공을 높이기 위한 학습을 하지 않아서인 경우가 많은데요, 이에 대해서 만들어본 영상입니다 https://www.youtube.com/watch?v=Oez86nYw7QQ

프론트엔드 개발자

김의중

패스트캠퍼스 에서 자바스크립트 강의를 만들었어요.
상위1%개발자 멘토링 멘토와 블로그 글을 쓰고 있어요.
bohaesoju@gmail.com

HolyMoly Developer

미리캔버스 프론트엔드 개발자

김재훈

문제해결에 도움되는 기술들을 좋아합니다.
미리캔버스 웹&앱을 개발중이며, 프롬프트 엔지니어링에 관심있습니다 :)

저는 왜 자꾸 비슷한 회사만 돌게 될까요? - 개발자 커리어

쇼핑몰, 홈페이지, 어플리케이션, IT서비스 등 외주 개발

풀스택 개발자

중소기업진흥공단 융자신청시스템 구축

Full Stack Engineer

Maintenancied Web System for weather information (JSP, PHP, TiberoDB, MySQL)
Database Query Performance Tuning(Basic Level)
Meteorological Data Textfile Parsing(Java, Python)
Conduct Project Weather Information MobileWeb & etc.... 

8th Software engineer

하루 2억 요청 REST API 개발 및 관리
- JAVA & Spring
- 성능 튜닝(JVM, 소켓, 캐시, etc..) => 컨테이너 1대당 5000TPS 처리가능
- IDC 이중화
- 표현식을 이용한 다중 레이어 데이터 핸들링 툴 개발

Software Engineer

# Build micro service
- Architecture design
- Developed common module (logging, cache, test, etc..)
- Separate to monolithic server to micro service
- Manage micro service system
- Write micro service guide for developer

# Developed azar application server
- Develop azar application feature (70million match request per one day)
- Trouble shooting

# Developed common infra code
- Distributed lock
- Redis cache module
- Failure alert module
- Customized & optimize jsonrpc4j library

# Tech blog manager
- https://hyperconnect.github.io/2019/10/28/jackson-serialize-for-global-caching.html
- https://hyperconnect.github.io/2019/11/15/redis-distributed-lock-1.html
- https://hyperconnect.github.io/2020/03/24/improve-stomp-client.html
- https://hyperconnect.github.io/2020/03/25/kube-agent.html
- https://hyperconnect.github.io/2020/05/15/azar-mirror-1.html
- https://hyperconnect.github.io/2020/07/01/azar-mirror-3.html

머신 러닝

MySQL

python

javascript

SpringBoot

Kotlin

Java

Docker

Linux

React

typescript

Node.js

Spring

Github

상위 1% 개발자들의 멘토링 플랫폼을 운영하고 있습니다.

- 신입, 경력자들이 더 좋은 커리어를 가질 수 있도록 개발 실력을 트레이닝 시킵니다.
- 회사 타이틀만 멋진 사람이 아닌, 진정한 실력자가 멘토가 될 수 있도록 검증합니다.

저는 왜 자꾸 비슷한 회사만 돌게 될까요? - 개발자 커리어

댓글 0

비슷한 게시물

주간 인기 TOP 10

추천 프로필