#파이프라인

CS 전공 4학년 진로고민 조언 부탁드립니다..!

안녕하세요, 생성형 비전 ai를 연구 중인 전공자 4학년 학부 인턴입니다. 요즘 제가 생각보다 연구에 대한 끈기가 부족하다는 것을 깨달아서 (빨리 성과가 나오지 않으면 답답하고 몇개월을 갈아넣은 연구 성과가 학문/이론에서 그치는 것도 답답하더라구요) 랩실을 나오고 취준을 해볼까 고민 중입니다. 연구 자체가 엄청 거부감 들고 싫은건 아니지만.. 결국은 연구를 해도 나중에 리서처나 개발 직군으로 취업을 해야하는데 회사에서 리서치 직군을 애초에 많이 뽑지는 않는데 저보다 탐구/실험하는 과정을 정말 잘 하는 주변 사람들을 보며 제가 충분히 경쟁력을 가질 수 있을지 잘 모르겠더라구요... 지금 fe be ai 다 한 번씩 건들여봤는데 이 중에서 취업할만큼 전문성을 가진 분야는 없는거 같아요. 그래서 빠르게 결단을 내리고 랩실을 나오고 취준을 할지, 랩실에 계속 있을지 고민 중인데 취준을 한다면 fe/be/데이터분석+데이터 엔지니어 중에 고민 중에 있습니다. (ai 엔지니어도 고려 중인데 학위에 대해서는 의견이 분분하긴 하지만석사를 따는게 유리하다고 하네요. 그리고 MLOps 분야는 신입을 잘 안 뽑는다고 알고 있어서..) 결정을 내린 다음 대학원을 안 가고 취준을 한다면 1~1.5년 정도 한 분야에 더 집중할 생각입니다. 그리고 지금은 학사/석사 취업 모두 어느 분야를 취업하든 다 경쟁이 매우 치열한거 같더라구요... 만약 fe를 하게 된다면 제가 시각적인 것을 좋아해서 장기적으로 보았을 때 인터랙티브 미디어 아트쪽으로 커리어를 쌓고 싶다는 생각이 있긴한데, 이게 현실적으로 가능한 것인지는 잘 모르겠습니다... FE는 제가 얕게나마 react, react native를 파본 경험이 있는데 화면에 보여지는게 즐겁긴 하지만 공들여서 만든걸 많이 수정할 때 좀 마음이 아팠던 경험이... 그리고 쏟아지는 기술들을 계속 배워야 한다는 것에 없지않아 피로감을 느꼈던거 같습니다. (그런데 이건 IT쪽이면 연구/개발 어느 분야든 똑같이 적용되긴 하는거라...) BE는 제가 django나 flask로 CRUD 위주로만 구현한..야매로밖에 경험을 안 해봤고 spring은 김영한님 강의 듣다가 중간에 너무 알아야할게 많은거 같아 포기했던 경험이 있습니다. 데이터 분석 + 데이터 엔지니어 같은 경우에는 통계 베이스/데이터 파이프라인 stack 기반이 부족해서 더 공부를 해봐야 할거 같습니다. 관련 공모전 경험도 아직 없고요.. ai 엔지니어 경험으로는 2~3개 정도 프로젝트 형식으로 flask로 ai 모델 서비스에 야매로 연결해본 경험이 전부입니다. (MLOps 역량을 가진 사람을 뽑으려는 추세인거 같은데 kubernetz, docker, 클라우드는 따로 또 공부를 해봐야 합니다) 결국에는 어떤 분야든 다 넘어야 하는 산이 있는 느낌이라 이에 대한 각오는 되어 있는데, 어떤 분야로 더 나아가는게 현명하고 후회없는 선택일지 너무 고민이 됩니다..ㅠㅠㅠ 어떤 직무든 다 힘들고 고된 점들이 있기에 제 성향을 고려하고 각각의 직무의 현실(?)을 보고 제가 이건 정말 오랫동안 하루종일 못 하겠다 싶은 같은 일들을 위주로 가지치기를 하면 좋을거 같다는 조언을 들었습니다. 그래서 각각 직무의 실제 업무 생활이 어떠한지, 그리고 실제 실무에서는 어떤 역량이 중요할지, 어떤 성향을 가진 사람이 어떤 상황을 감내해야 오래 버틸 수 있을거 같은지 알려주시면 감사하겠습니다! 직간접적으로나마 아시는 각각의 직무에 대한 정보 알려주시면 감사하겠습니다 🙇‍♀️ 조언해주시면 제 스스로 현명한 선택을 하는데 큰 도움이 될 것 같습니다!! :)

AI/ML 엔지니어, 데이터 엔지니어 취업 고민

안녕하십니까 이번 학기를 마지막으로 졸업을 앞둔 대학생입니다. 저는 경영학 전공으로 데이터 분석을 하다가 데이터 엔지니어링, ML 엔지니어링 까지 관심이 확장되었습니다. 그에 맞게 데이터 분석이나, 데이터 파이프라인, CNN 객체 인식 등 관련 프로젝트를 하면서 흥미를 많이 느꼈습니다. (경험: python, C++, AWS, GCP pytorch, kafka, Elasticsearch, langchain, faiss 경험) 이번 하반기에는 백엔드, 데이터 분석, MLOps 직군으로 금융권이던 SI 이던 모두 지원하였습니다. 서류 합격은 약 30프로 정도 되었지만 코딩 테스트, 인적성 검사 단계에서 통과하지 못했습니다. 이번 하반기를 경험하면서 백엔드가 아니라 AI 개발, MLOps, 데이터 엔지니어링 직무를 하고 싶어졌습니다. 이 세가지 직무에 취업하기 위해 석사를 요구하는 회사가 대부분임을 보았습니다. 그에 따라 컨텍없이 AI 대학원을 지원하였는데 입학만 합격한 상태입니다. 그리고 관심 분야(LLM, 추천시스템)의 교수님과 면담을 앞두고 있습니다. 1. 저의 고민은 대학원에 들어가는 것이 좋은 선택일지, 아니면 다음 상반기를 제대로 준비하고 안된다면 작은 회사에서 부터 경력을 빨리 쌓는 것이 좋은 방법일지 고민입니다. 물론 대학원에 들어간다면 열심히 할테지만, 갑작스럽게 결정한 만큼 많은 것을 얻고 나올 수 있을지, 시간만 허비하는 게 아닐 지에 대해 고민이 됩니다. "도피성으로 대학원을 들어가서는 안된다." "대학원에서 배운것이 실무에 쓰이는 일이 생각보다 없고 빨리 현업에 뛰어들어 경력을 쌓는게 더 유리하다." 등의 말을 들어보니 어떤 생각과 자세를 가지고 선택하는 것이 좋을지 고민입니다. 2. 학사 비전공자의 신분으로 이쪽 분야에 취업할 수 있을지 고민입니다. 물론 이쪽 분야의 연합동아리, 교육프로그램 등을 통해 프로젝트 경험이 있지만, 학문적으로는 독학한 것이 전부인지라 채용하는 입장에서 저를 어떻게 생각할지 궁금하네요. 3. 현재 싸피라는 교육 프로그램도 생각 중입니다. 싸피를 통해서 부족한 알고리즘, Spring, java 부분을 공부할 수 있고, 취업하는 과정에서 많은 정보와 기회 측면에서 도움이 될것 같은데 어떻게 생각하시는지도 궁금합니다. 돈을 많이 버는 것이 정말 좋지만, 돈의 욕심보다는 아직 젊은 만큼 원하는 업무를 통해 커리어를 쌓고 싶은 맘이 더 큽니다. 물론 아직 세상을 너무 모르는 것도 있습니다 ㅎㅎ 긴글 읽어주셔서 정말 감사합니다.

프론트엔드인데 AWS, CICD에 대해 몰라요.

3년 차인데 물 경력인 것인 지, 요즘 다들 스펙보면 화려해보이던데 제가 할 줄 아는거라곤, JavaScript(TypeScript), HTML5, CSS3, React정도입니다.. 적고나니 엄청 물경력같네요; 요즘 Next가 핫하기에 Next.js까진 공부하려고 하는데 Vitest도 공부해야할 것 같고.. CICD 파이프라인도 공부해야하는 건 지, AWS도 요즘 스펙에 자주 언급되는 것 같고.. 막막하네여 스펙을 무엇부터 채워야할까요..?

Pre-A 스타트업 데이터 엔지니어 신입 희망 연봉 얼마가 적당할까요?

AI 하는 스타트업이고 최근에 30억 규모의 Pre-A 투자 유치를 마무리했습니다. 해당 회사에 원래 데이터 엔지니어 직군 주니어를 뽑지 않았는데 지인 추천으로 일단 면접을 보았고 6개월 인턴으로 일단 일하게 되었습니다. 당시에는 회사에 데이터 엔지니어링이 필요한 업무가 없어서 없어서 프로덕트 데이터 설계, 프롬프트 엔지니어링, 기획 서포트 등 당장 필요하지만 할 사람이 없는 업무를 담당했고요. 6개월이 끝나고 전환을 논의할 때, 데이터 업무를 주신다면 전환을 하고, 아니라면 나가겠다고 말씀드렸고, 회사에서는 전환을 원하셔서 팀도 바꾸고 본격적으로 데이터 셋 구축, 파이프라인 설계 등의 업무를 담당하게 되었습니다. 곧 처우 관련해서 인사팀과 이야기를 나누게 될 텐데, 희망 연봉을 어느 정도로 말씀 드리는 것이 좋을지 감이 잡히지 않아 조언을 구합니다. 일전에 함께 일하던 PM님은 대기업 수준으로 받으셨었다 말씀 하셨는데 (그 분은 창업 경험도 있으셨습니다) 저는 그 정도는 아니라서요. 그래도 인턴으로 있는 동안에는 포텐셜을 충분히 보인 상황입니다. 간단한 스펙은 인서울 중위권 4년제 영어 및 통계 전공, 자잘한 인턴 경험 2-3번, NLP 학부 연구생 프로젝트 참여, 데이터 엔지니어링 6개월 부트캠프 과정 수료 정도입니다. 감사합니다.

신입 개발자 기술 스택 수준

안녕하세요. 웹 개발 쪽으로 입사한 지 1년 정도 되어가는 신입 개발자입니다. 이전에 "IT 신입 포지션 변경"이라는 질문 글을 쓰고, 많은 관심 가져주셨었는데 그 이후가 현재 상태입니다 ㅎㅎ 약 1년 정도 회사를 다니면서 요즘 궁금한 점이.. 제가 하고 있는, 또는 했었던 것들이 신입 개발자에게 요구되는 당연한 것들인지가 궁금해서 질문드립니다. 먼저, 저희 회사는 중소 기업치고는 사원수가 꽤 있는 편에 속합니다. (2~300전후) 저는 백엔드 공부 후에 어쩌다 보니 프론드 개발자로 입사했고, 추후 백엔드도 같이 맡게 될 거라 듣고 들어왔습니다. 먼저 제가 와서 사용한 기술 스택입니다. (git, postman 등과 같은 툴 또는 라이브러리는 제외) React, Next, Vite, TypeScript, Keycloak, Nginx, Docker, Jenkins, MySQL, MongoDB, Spring, JSP.. 일단.. 생각나는 건 이 정도이고, 막상 적고 보니 많은 걸 했네요.. 지식의 깊이는 물론 신입 입장이기에 깊지는 않지만, 해당 기술들을 사용하고 활용하는 부분에 있어서는 문제 될 정도는 아닌 것 같습니다. 프론트 쪽은 소규모부터 대형 프로젝트(진행 중)까지 거의 혼자? 진행을 했고..(현재 프로젝트의 서버는 시니어분이 하고 계심) 지금도 하고 있습니다. 서버 쪽은 혼자 직접 파이프라인 설계 및 빌드, 배포까지 해봤고 서버에 도커 올리는 것까지도 다 해본 것 같습니다. (물론 정말 힘들었지만 동작은 잘 됨.. 왜 되는지는 그때나 지금이나 저도 모름) 같은 개발자 친구들은 저보고 많이 하는 편이라고는 하는데, 같은 신입이라 정확히 얼마나 많이 하는 건지 감이 잘 안 옵니다. (그냥 하라면 해야지라는 마인드라..) 시니어 분도 조금씩 시키시다가 잘 해내서 점점 업무를 많이 주시는 건 알고 있는데, 현직 자분들의 생각이 궁금합니다.

데이터 엔지니어는 석사 이상만 가능한가요?

진로 고민 중에 데이터 엔지니어 채용 공고를 보고 궁금한 점이 있어서 문의합니다. 닷넷 응용 프로그램 개발 경력만 거의 있는거나 마찬가지이고, 웹은 정말 짧은 기간동안 기존에 구축된 프로그램에서 api 수정 및 기능 추가 정도만 해보았습니다. 기존 경력으론 이직에 한계를 느껴서 웹쪽으로 분야를 잡고, 스터디/이직 준비를 하려고 합니다. 웹 서버에 대한 경험과 지식은 부족하다고 생각되어서 백엔드 개발자로는 이직이 더 힘들지않을까 싶고 기존에 화면 개발할 때 DB 모델링 변경 및 패키지, 프로시저 등 쿼리 작업, 통계 추출, DW에서 데이터 축적용으로 쿼리 생성한 경험을 살려서 데이터 엔지니어에 관심을 가져보려고 하는데요. 데이터 엔지니어는 석사 이상만 뽑는다는 얘기를 들었는데 정말 그런가요? 공고 찾아보면 ETL 개발, 데이터 파이프라인 구축 업무를 한다고 써있는데 관련 스터디나 사이드 프로젝트는 보통 어느 루트로 찾아서 하시는지, 대학원 수료가 정말 필요한지 궁금합니다.

대학교 4학년, 반복적인 CRUD 프로젝트에서 나아가지 못하고 있습니다.

저는 현재 대학교 4학년 컴퓨터공학과 학생입니다. 진로는 java 백엔드 개발자를 희망하고 있습니다. 현재 취업을 앞두고 많은 고민과 걱정이 앞서고 있습니다. 개발을 잘하는 것과 취직을 잘하는 것은 또 다른 문제인 것 같다는 생각이 들기 때문입니다. 취직을 하는 데에 필요하다는 것들, 예를 들면 블로그, 깃허브, 다양한 프로젝트, 알고리즘 공부, 기술 면접 등을 하나 둘 챙기다 보면 방향성을 잃고 집중이 분산되는 느낌이 듭니다. 또 공부를 하다가도 또래 다른 친구들이 저는 모르는 새로운 기술을 프로젝트에 적용하는 것을 보면 제가 하던 것을 멈추고 '저것부터 해야 하나..?' 하는 조급함도 들기도 합니다. 현재까지 웹 개발 프로젝트는 대략 4~5개 정도 진행을 했는데 처음 한 두개 했을 때는 뿌듯함도 느끼고 방향성도 잡히는 듯 했는데 뒤로 갈수록 반복적인 CRUD 코드를 작성하고만 있는 듯한 느낌이 들었습니다. 또 막상 프로젝트에 필요한 기술은 어렵고 복잡한 최신 기술 같은 것이 아니라 결국 기본적인 CRUD 코드 작성과 Open API 연동, 소셜 로그인 구현의 반복이었습니다. 대학생 프로젝트 레벨에서는 인프라 또한 간단한 CI/CD 파이프라인 구축과 기껏해야 Nginx나 AWS의 기본적인 설정 이상으로는 무엇이 더 필요한지 잘 모르겠습니다. 저는 원래도 보수적인 성격이라 이미 잘 돌아가는 코드나 프로젝트를 성공적으로 마치는 데 확실한 방법을 알고 있으면 그 방법을 고수하는 편입니다. 또한 기본기가 가장 중요하다고 생각하여 현재는 java, cs, 데이터베이스, spring 공부를 중점적으로 하는 편이고 제 스스로가 지금은 새로운 기술을 쫓기보다 기본기를 확실히 다져야 할 단계라고 생각을 합니다. 다만 요즘 들어 취업 시기가 다가오고 취업에 필요한 요건들을 하나 둘 챙겨야겠다는 생각이 들다 보니 제가 하고 있는 공부에 의심이 듭니다. 새로운 기술을 프로젝트에 적용하는 것도 능력인 것이 맞는 것 같고 회사에서 요구하는 지원 자격이나 요건을 보면 MSA, kubernetes 같은 기술을 자격으로 거는 회사도 많습니다. 그냥 갈피를 잃은 것 같습니다. 취직을 위해서 어디까지 공부해야 하고 부끄럽지 않은 프로젝트를 이력서에 쓰려면 어떤 기술을 적용해야 하는지도 모르겠습니다.보수는 적어도 좋으니 제가 성장할 수 있는 서비스 회사에 가고 싶습니다. 저는 이 상황에서 무엇을 하면 좋을까요?

devops 희망하는 엔지니어입니다. 조언 부탁드립니다

현재 만 2년이 조금 넘은 엔지니어인데 devops쪽으로 전향하려 합니다 진행하는 업무는 클라우드 쪽 시스템 구축/운영 하고 있고, 물경력이 조금 쌓인 느낌이라 열심히 발버둥 치고 있네요. 열심히 하는 것은 이제 문제가 없는데 잘 하는걸 못하는 것 같습니다. 이력서를 오픈해도 연락 오는 곳은 많지 않고 업계 분위기가 안좋긴 하지만 미래를 위해서 잘 하는 방법을 알고 싶습니다. 현재 AWS SAA, CKA 자격증 보유 중이며 프로젝트 내에서 Jenkins를 이용해 파이프라인을 구성해보기도 하고 주로 AWS를 이용하긴 했지만 대체로 심도있고 깊이있는 고민을 통한 기술 도입이 아니라 수동적으로 업무를 진행 했던 것 같습니다. 그래서 홈 랩을 구축해서 토이 프로젝트 형식으로 devops + front + backend 를 구성해 직접 애플리케이션을 띄워 볼까 생각중에 있습니다. 뭐부터 해야 좋을지 감이 오지 않네요 조언 부탁드립니다..

ML 엔지니어에 대해 현직 선배님들께 여쭤보고싶은게 있습니다,,

안녕하세요 현업에 계신 선배님들께 조언을 구하고자 글을 쓰게 됐습니다. 저는 자대에서 의공학을 전공하고 자대 생체신호펌웨어랩실에서 학부인턴과정을 약 2년간 생활하다 Ai쪽에 관심이 생겨 랩실을 나와 새로운 도전을 하려고 준비중입니다. 저는 Ai분야에서 Ml 엔지니어를 목표 직무로 갖고 있고 해당 직무에 나아가기위해 저만의 커리어를 쌓기위해 많은 고민이 있는데요. 제가 서칭한 바로는 (물론 기업마다 조금씩 다르다고 들었습니다) ML 엔지니어는 AI 모델링 + 데이터 관리 + 배포 + 파이프라인 구축 mlops등 다양한 분야에서의 역량이 필요하다는것을 알게 되었습니다. 하지만 해당 직무에 대해서 아직 뚜렷한 로드맵이 있지 않은것 같아 학습 순서를 어떤식으로 구성해야할지 감이 잘 안잡힙니다. 일부 ML 엔지니어에 종사하시는 선배님들의 이야기를 유튜브나 구글링을 통해 들어보면 백엔드의 역량이 중요하기에 백엔드 개발자에서 직무전환을 하는 경우도 많고 비공자분들께는 이렇게 추천해주시는 경우도 많았습니다. 제가 선배님들께 궁금한 점은 1. 제가 프로젝트 경험과 타이트함이 조성된 환경속에서 학습을 위해 부트캠프를 지원하려고 하는데 선배님들께서는 백엔드 쪽을 선택하실지 데이터분석,엔지니어링쪽을 선택하실지 여쭤보고싶습니다 (국비지원의 경우 1번뿐이라 고민이 길어지게 되었습니다) 2. 또한 선배님들께서 추천해주실 만한 ML 엔지니어의 역량과 앞서 말씀드린 학습 로드맵에 대해 조언 해주실 부분이 있다면 냉철하게 부탁드리겠습니다. 3. 마지막으로 혹시 Ai쪽 석사를 마치고 ml 엔지니어로 현직에 계신 선배님이 계시다면 대학원 랩실의 도메인을 어떤 분야로 진학하셨는지 궁금합니다.. 개인적으로 석사진학도 생각하고 있는데 Ai쪽 석사 랩은 제가 서칭한 바로는 상당수가 nlp , cv 쪽 연구에 특화되어 있고 데이터 엔지니어링은 본적이 없어서 여쭤보고싶습니다 긴글 읽어주셔서 감사합니다.

데이터분석 개발자 로드맵이 궁급합니다.

안녕하세요 현재 웹/앱 서비스 기획자 3년차입니다. 학부생때 컴퓨터공학과에서 인공지능을 학부연구생까지 하며 공부하다가 개인 사정으로 학업을 지속하지 못하고, 인공지능을 하기엔 늦었다는 어린 생각으로 기획으로 일을 시작해서 3년차가 되었습니다. 그럼에도 불구하고 데이터분석, 개발의 일이 하고싶다는 생각에 데이터분석 관련 자격증도 따기 시작하고, 더 늦기전에 공부를 알아보고 있습니다. 제가 C,Python을 주로 했었고 자바는 공부해보지 못했습니다만, 주변에서 기획자 경험이 있으니, 자바로 풀스택을 공부하고 개발자를 시작하고 DB까지 제대로 공부한 후에 자바로 인공지능 파이프라인을 잡아서 이직하는것이 좋다라는 분(인공지능 파트 일은 안해보신 풀스택 개발자)과, 파이썬으로 ADP 자격증을 4년안에 따는것을 목표로 공부해라는 분(인공지능 박사학위-실무경험은 없으심)이 나뉘더라구요. 최종 목표는 재택근무로 일하는 개발자가 목표이고, 데이터나 인공지능 관련으로 가고싶습니다. 당장 회사를 그만 둘 수는 없는 사정이라, 인터넷 강의를 중심으로 듣게 되겠지만 꾸준히 할 자신은 있습니다. 그랬을때의 로드맵을 어떻게 짜야할지가 막막하네요. 어떤 방법으로 공부하는게 좋을지 현직자 분들의 의견을 여쭙고싶습니다.

어떤 걸 먼저 공부하며 취업준비를 해야 좋을까요?

안녕하세요. 저는 비전공자이며 데이터엔지니어를 꿈꾸는 취업준비생입니다. (SQL을 처음 배우게 되었을 때 문법이 재밌어서 데이터베이스에 관심을 가지게 되었고, 데이터엔지니어를 꿈꾸게 되었습니다. 저는 아무리 생각해도, 사이언티스트와 분석쪽은 안맞는 것 같은데 혹시 다른 데이터관련 직무가 있으면 추천해주세요.) 현재 저는, 국비로 데이터분석 및 엔지니어 과정을 수료하였으나 엔지니어링 분야는 거의 배우지 못하고 아주 기본적인 sql과 파이썬 문법을 배웠고, 분석가 파트만 조금 더 접해본 상태입니다. 그래서 데이터 엔지니어링에 관해서는 처음부터 공부를 해야하는 상태입니다. 데이터엔지니어링의 시작도 감을 잡지 못했고, 데이터 파이프라인에 대해서 찾아보았을 때 그림에 나오는 기술들이 어떤 것인지도 아직 모르는 상태입니다. 그리고 비전공자이기 때문에 컴퓨터관련 이론도 잘 모릅니다. 자격증은 취업할 때는 막상 크게 도움이 안된다는 얘기들을 듣긴 했는데, 전혀 감을 못 잡고 있으니 관련 자격증들이라도 계속 공부하다보면 감이 잡히겠지, 도움이 되겠지라는 생각이었지만 막상 또 채용공고들을 찾아보면 기술이 더 중요한 것 같아서 고민이 됩니다. 제가 공부하려고 생각했던 자격증들은 SQLD와 정보처리기사, 더 따게 된다면 데이터 아키텍처정도 입니다. 자격증부터 하나씩 공부해가고 인강과 책을 통해 기술을 배우는 게 맞을까요, 아니면 그냥 처음부터 인강과 책으로 관련 기술들을 배우는 게 맞을까요? 그리고 한가지 더 여쭤보자면, 데이터엔지니어는 신입을 잘 뽑지 않는다고 하던데(실제로도 신입 채용공고가 잘 없구요...) 개발자로 경력을 쌓고 데이터엔지니어로 넘어가는 길이 제일 나은 걸까요..? 장황한 글 읽어주셔서 감사합니다. <요약> 1. 엔지니어,분석가,사이언티스트 외에 데이터관련 직무가 있다면 추천해주세요. 2. 자격증부터 하나씩 공부해가고 인강과 책을 통해 기술을 배우는 게 맞을까요, 아니면 그냥 처음부터 인강과 책으로 관련 기술들을 배우는 게 맞을까요? 3. 개발자로 경력을 쌓고 데이터엔지니어로 넘어가는 길이 제일 나은 걸까요..?

Spark 데이터 파이프라인 클론 코딩 조언 부탁드립니다.

파이썬, Spark로 ETL 파이프라인과 DB연동까지 할 수 있는 클론 코딩을 찾고 있는데 추천해 주실 수 있나요? 데이터 분석 & 엔지니어 교육을 수료했지만, Spark로 ETL 파이프라인에 대해 배우지 않아서, 혼자 클론코딩으로 공부하고, 개인 프로젝트를 진행하려고 합니다. 도움되는 답변 주시면 감사하겠습니다.

주니어 백엔드 개발자 전향

안녕하세요 저는 27살 1년차 개발자입니다. 학부에서 컴퓨터 공학과를 재학하고 재학중 딥러닝 연구실에서 학부 연구생으로 1년 연구 진행했습니다. 현재는 소규모 스타트업에서 머신러닝 엔지니어로 1년간 일하는 중입니다. 현재 머신러닝에 대한 지식이 풍부한 사수는 없는 상태이고 타 분야에서 개발을 오래한 CTO는 있는 상태입니다. 업무는 회사의 머신러닝에 관한 업무를 전반적으로 하고 데이터 전처리, 모델 학습 관리, 데이터 파이프라인 구축 등 업무를 하고있습니다. 해당 업무 이외에도 인력 부족으로 사업 제안서의 기술 문서, 관련된 여러 문서 업무나 자잘한 개발 업무도 병행하고 있습니다. 저는 올해 까지만 재직하고 회사를 퇴사 하려고 합니다. 퇴사를 하려는 이유는 크게 2가지 입니다 첫번째는 머신러닝 직업에 대한 저의 경쟁력 때문입니다. 석사, 박사 출신들과 경쟁하는 AI 라는 분야에서 학사 출신에 저의 경험이 그렇게 경쟁력 있는 인재라고 생각되지 않고 저 또한 더이상 딥러닝 이라는 분야의 개발에 흥미를 느끼지 못하고 있기 때문입니다. 두번째는 서비스 개발로의 전향입니다. 회사에서 2달정도의 서비스 개발 프로젝트(C# 기반)에 참여하여 지능형 모니터링 시스템을 개발하였을때 실시간 처리를 위한 워크 쓰레드 사용등 서비스 개발이 즐거웠습니다. 그 이후 퇴근 후 짬짬히 JAVA 스프링 강의를 들으며 개인 공부중입니다. 누군가는 퇴사후 이직이 아니라 재직하면서 다른 웹 서비스 기업으로 이직하라고 하지만 제가 봤을때 웹 백엔드 개발에서 현재 저는 좋은 주니어 개발자가 아니라고 생각됩니다. 또한 당장의 업무도 AI 관련 업무가 아닌 여러 국가 프로젝트 지원 업무 등 회사의 발전을 위한 업무 이지만 제 커리어적으로 발전되는 느낌이 없어서 퇴사를 하려고 고민하고 있습니다. 그래서 퇴사후 부트캠프나 타 교육을 6개월 정도 공부하고 다시 취업에 도전하거나 최대한 칼퇴 후 개인 공부 후 이직을 하려고 합니다. 선배님들의 생각은 어떠신가요? ※추가로 신입 백엔드 개발자가 가져야할 기본은 어떤 것이 있을까요?

airflow xcom_pull() 이 None 을 리턴합니다 (오류)

api 를 만들고 Airflow 를 사용해서 ETL 파이프라인을 만드는 도중에 생긴 문제인데요, simplehttpOperator 로 api 에서 결과를 가져왔고 (성공), 결과값을 transform 하려고 simplehttpOperator 를 xcom_pull 하는 코드를 짰습니다. (코드는 아래와 같습니다.) def _processing_api(ti): if not len(assets): raise ValueError('empty') assets = ti.xcom_pull(task_ids = 'extract_riot_api') 결과는 ValueError 를 리턴했습니다. 이유를 찾으려고 riot api 에서 테스트를 시작했고 riot api 웹에서 얻어지는 리턴값을 airflow UI 의 simplehttpOperator 의 xcom 에서 key - return_value , value - [{}, {}, ...] json 형식의 값을 확인할 수 있었는데, 역시 xcom_pull 을 한 결과가 ValueError 였습니다. extract_data 는 api 에서 json data 를 가져오는 코드이고 _processing_api 함수는 pythonoperator 에서 쓰려고 만든 코드입니다. stackoverflow, airflow docs 등을 3~4 일 정도 본 것 같은데, 해결하지 못했네요.. 비슷한 경험을 해결하셨던 분 계신가요 ..? 어디 물어볼 곳도 없어서.. 여기에 마지막으로 올려봐요. 아시는 분 도움주시면 감사하겠습니다

프론트엔드 커리어? 질문입니다

신입 프론트엔드입니다. 현 회사 React 와 ReactNative 를 쓰고 있습니다 저가 하는 역할이 프론트엔드로써 퍼블리싱도 충분히 하고 렌더링 최적화도 간간히 진행하는데요. 이 회사의 많은 프로젝트들을 유지보수 하거나 새로운 런칭할 수 있는 좋은 기회들이 많습니다. 일 복이 많은 상황인데.. 전 주로 배포 파이프라인이나 혹은 너무 복잡한 일을 자동화하는데에 머리를 쓰고있는데 이게 프론트엔드로써 경쟁력있는 행동인지.. 두렵습니다.. Next.js나 vue같은 다른 프레임워크도 넓직하게 공부하는게 옳은 길일까요?

서버 트래픽 테스트 방법이 궁금합니다

안녕하세요~~ 서버 개발에 대해 공부하다가 궁금한 것이 생겨서 질문 남깁니다. 현업에서 서버가 트래픽을 감당할 수 있는지 테스트를 하시나요? 하신다면 언제 어느 시점에 어디에 하는게 좋은건지 궁금합니다. Jmeter나 artillery 등에 대해서 알고있고 써본적도 있지만, 특정 상황이 닥쳤을때만 써봐서 실제로 현업에서는 이걸 어느 서버에 어느 시점에 트래픽 부하 테스트를 하는지 문득 궁금하더라구요. 예를 들면, - 배포 파이프라인 스크립트에서 테스트를 해보고 배포를 하는건지 (자동화를 하는건지) - 프로덕션에서도 돌려보는건지, 아니면 개발 서버나 스테이징 서버에서만 돌려보는건지 - 모든 서비스에 대해서 하는건지, 아니면 게이트웨이 성격의 서버에만 하는건지 등이 궁금합니다 ㅎㅎ 최근에 서버 개발에 대해서 공부하다보니 다른 곳들은 트래픽 테스트를 하는지, 한다면 어떻게 하고 있는지 궁금하네요. 긴 글 읽어주셔서 감사합니다.

(빅)데이터 트렌드 뭐부터 파보면 좋을까요?

조금 간절한 마음으로 여쭤봐요. 데이터 분야에서 지금 화두가 되고 있거나 중단기 내 많이들 얘기할 것 같은 키워드/주제는 무엇일까요? 더불어 해외에서 IT 책 기획/편집하는 외국분 또는 한국분 계시면 소개 좀 해주실 수 있을까요? 궁극적으로는 책을 기획할 목적인데 일단 시작점부터 잘 잡고 싶어서 커리어리에도 질문을 올리게 되었어요. 출판된 책들, 인기있는 책들을 보면 데이터 분석, 시각화 분야가 많아요. (아래는 제가 직접 온라인 서점을 비교하며 대충 기록한 자료입니다ㅎㅎ) 이것뿐만 아니라 데이터 파이프라인, 엔지니어링, 데이터옵스 등 정말 전체 분야를 아울러 여쭤봅니다.!