#데이터엔지니어

데이터 수집 시스템 조언 부탁드립니다..

안녕하세요. 현재 데이터분석가 인턴으로 회사에 들어간지가 한달이 조금 넘었습니다. 현재 회사에서 분석이 아닌, 직접 데이터를 수집하는 작업을 하고 있습니다. 제가 분석만 하다보니, 데이터를 수집하고 저장하는 작업을 처음해보고 사수도 따로 없다보니 조언을 구할 곳이 없어서 이렇게 게시물로 조언을 요청드립니다.. 지식이 부족해 다소 어렵게 설명을 드려도 이해 부탁드리며, 제 글을 보고 “저 친구는 왜 저렇게 비효율적으로 하지? 이렇게 하면 좋을텐데”라는 생각이 드신다면 바로 댓글이나 쪽지 부탁드립니다. 제가 처음 올려봐서 쪽지 기능이 있나 모르겠네요.. 먼저, 간단하게 제가 진행하고 있는 데이터 수집 절차를 설명드리겠습니다. 1. 컬럼이 한개인 4GB가 조금 넘는 데이터를 수집 코드에 불러와야 한다. 해당 데이터에는 도메인 주소가 담겨 있다. 2. 내 수집 코드는 불러온 데이터를 한행씩 조회하면서 수집을 진행한다. 3. 한 행에 있는 도메인 주소에 순서대로 http 접속을 해서 해당 도메인 주소가 사전에 설정한 특정 조건을 만족하면, 해당 도메인 주소와 사이트에 접속해서 추출한 정수형 값을 DB에 저장한다. 4. 즉, 4기가의 데이터를 불러와 한 행씩 조회해가면서 실시간으로 데이터를 db에 수집하는 코드다. 5. 24시간 동안 코드를 돌리는 수집 예상 기간은 3개월 정도이다. 다음으로는 조금 구체적인 진행 사항을 말하겠습니다. 밑에서부터 길어지니, 바쁘신 분들은 위에 주요 절차만 보시고 조언 주시면 감사하겠습니다. 1. 파이썬만 사용할 줄 알기 때문에, 파이썬을 사용하여 class로 만들어 수집 코드를 짰다. 2. 데이터의 양이 많아서 메모리 부족 오류가 빈번하게 나타나, 하둡과 아파치 스파크를 이용해봤다. 내가 조회할 데이터 파일을 하둡 HDFS에 업로드 한다음에, 아파치 스파크 클러스터를 구축했다. 그리고, pyspark 모듈을 이용해 파티션을 나눠 데이터를 불러왔다. 파티션으로 받아온 값을 리스트로 변환하여 순서대로 해당 도메인 주소로 접속하는 반복문을 진행하면서 데이터를 수집했다. 즉 파티션으로 데이터를 쪼개서 1번 파티션부터 n번 파티션까지 각각 파티션 내부에 도메인 주소 리스트가 반복문을 진행된다고 보면 된다. 각 파티션이 다른 파티션으로 전환되는 과정도 반복문으로 처리했다. 하나의 파티션 마다 내가 만든 class(도메인 리스트를 인자로 받는다)가 한번씩 실행된다고 보면 된다. 3. 수집 속도가 너무 느려서 class에 있는 수집 메소드를 멀티 스레드 방식을 이용해서 수정해주었다. 수집 속도가 매우 빨라졌다. 4. 기존에는 aws의 클라우드 db(dynamo db)를 사용했지만, 과금 문제로 인해 로컬에 db를 설치하기로 했다. 쓰기 속도가 매우 빠른 redis db를 선택했다 5. 위에서 설명한 반복문을 돌면서 조건에 일치한 도메인 주소와 정수 값은 한 행씩 redis db에 key(도메인주소) value(정수값) 형식으로 저장하도록 코드를 만들었다. 이 과정도 class 내부에 포함되어 있다. 6. redis는 on memory db이기 때문에 대용량 데이터를 영구적으로 저장하고 분석하기에 적합하지 않다고 판단해서 1시간마다 redis에 있는 데이터를 postgresql db로 옮겨주는 코드를 따로 만들었다. postgresql db에 미리 redis에서 옮겨갈 테이블을 생성해두었다. redis의 key였던 도메인 이름을 첫 번째 필드에 프리이머리 키로 저장했고 value인 정수 값을 2번 째 필드에 값으로 넣어줬다. 그리고, 마지막 필드에는 자동으로 데이터가 저장될 때, 현재 시간이 넣어지게 테이블을 만들었다. 총 3개의 열로 구성된 테이블에 1시간에 한번씩 redis에 저장해두었던 데이터가 옮겨간다고 생각하면 된다. 7. 처음 redis에 데이터를 저장할 때 ttl을 설정해서 1시간 10분이 지나면 redis db에서 데이터가 자동으로 소멸되도록 설정했으며, 만약 postgresql에 중복된 데이터가 들어간다면 자동으로 무시하고 다음 작업을 진행하도록 테이블 설정을 해줬다. 즉, 실시간으로 데이터가 수집되고 자동으로 시간이 지나면 데이터가 소멸되는 redis db에서 1시간마다 한번 postgresql로 옮겨주는 코드를 따로 만들었다. 8. 수집 코드를 spark-submit 명령문으로 실행해주었다. spark-submit 명령어 앞에 nohup을 해줘서 백그라운드에서 코드가 실행되게 해줬고, 로그 결과를 따로 파일을 만들어 저장되도록 했다. 그리고 파이썬 실행 파일 내에서도 로그를 입력하는 코드를 만들어서, 도메인의 http 접속이 성공했는지의 여부를 로그 파일에 실시간으로 입력되도록 했다. 예를 들어, http 접속이 잘 된 도메인 주소는 로그에 “INFO 도메인 주소: success” 이렇게 기록하고, 타임아웃 에러, 접속 에러, redirect 오류, db 저장 오류는 모두 종류별로 예외 처리해서 로그에서 기록되도록 코드를 구성했다. 파이썬에서 자체적으로 로그를 기록한 파일은 수집코드를 실행하면서 파티션이 전환될 때마다 하나씩 생성된다. 이제 이렇게 제가 실행할 코드는 24시간 내내 수집을 진행하는 코드 하나와 1시간에 한번 데이터를 옮겨주는 스케줄러 코드로 총 2개가 됩니다. 저는 이 코드와 수집 환경을 만들기 위해 모두 도커를 활용하였으며, 사용한 컨테이너와 부가 설명은 다음과 같습니다. spark-master: 하둡과 스파크 클러스터를 구축하는 컨테이너로 standalone모드로 spark-summit 명령어로 파이썬 파일을 실행해주었다. --conf 옵션으로 메모리, 하트비트 간격, 파티션 수 를 지정해주었다. 스파크와 하둡을 처음 사용해봐서 약간의 개념만 있는 상태에서 돌려보니 아직도 세부 설정을 제대로 이해하지 못했다. 결국 worker를 1개 생성해서 파이썬 파일을 처리하도록 하였다. 현재 대다수의 오류가 이 컨테이너에서 발생한다. redis: spark-master에서 실시간으로 실행되고 있는 수집 코드에서 선별된 데이터들이 redis 컨테이너에 있는 redis db에 저장된다. postgresql: 1시간에 한번 redis에 있는 데이터를 옮기기 위해 postgresql 컨테이너를 생성했다. schduler: 1시간에 한번 postgresql 컨테이너에서 작동하고 있는 postgresql db에 redis 데이터를 옮겨주기 위한 스캐줄러 코드를 실행할 컨테이너다. redis-monitor: 실시간으로 redis db를 모니터링 하기 위해 redis-monitor 컨테이너를 생성하여 웹에서 모니터링 툴인 Redis-Stat에 접속한다. postgre-monitor: 마찬가지로, 실시간으로 postgresql db를 모니터링 하기 위해 생성한 컨테이너로 웹에서 Pgadmin4를 사용할 수 있다. 이렇게 총 6개의 컨테이너를 생성하여 내 수집 코드를 실행했는데, 여기서 많은 문제가 발생했습니다. 제가 가진 의문과 문제를 나열하자면 다음과 같습니다. 1. 먼저, 수집 코드를 실행한 다음에 스케줄러 코드를 실행해주었는데, (서로 독립된 컨테이너에서 실행) 두 코드가 DB에 동시에 접속할 때, 충돌이 일어날 가능성이 있지 않을까? 2. 수집 코드를 실행하고 몇분이 지나면 터미널이 먹통이 되고, 코드가 더 이상 실행이 안되는 일이 빈번하게 발생한다. 너무 많은 자원을 사용하고 있어서 그런건가.. 컴퓨터 사양이 안좋아서 그런건가 원인을 잘 모르겠다.. 3. spark-submit 로그를 보면 내 노트북에서는 안그러는데, 대용량 파일을 불러오는 과정에서 파티션 별로 데이터를 정리할 때 오류가 빈번하게 발생한다 . executor가 통신이 안된다는 경고 메세지도 자주 나오고, 특히, Remote RPC client disassociated 라는 오류가 가장 많이 나온다. 내 컴퓨터보다 높은 사양의 클러스터를 구축하려고 해서 그런가. 검색해보니 네트워크 문제이거나, 컨테이너에 할당한 자원을 초과해서 그런거라고 한다. 대용량 데이터를 불러오는 다른 방법을 강구해봐야되나 고민하고 있다. “그래서 요점이 뭐야” 라고 물어보신다면, 저는 현직에서 활동하고 계신 데이터 엔지니어, 백앤드 개발자 분들이 제 글을 본다면 “아니 굳이 왜 그렇게 하지? 이렇게 쉬운 방법이 있는데” 또는 “저기서 이렇게도 해봤나?, 이러면 안정적으로 코드를 돌릴 수 있을텐데”라는 반응으로 갈릴 것 같다고 생각합니다.

어떤 경력을 갖춘 백엔드 엔지니어가 되어야 데이터 엔지니어로의 직무 전환 가능성이 있을까요?

궁금한 게 생겨 구글링을 하던 중, 커리어리를 알게 돼서 글을 읽어 보다가 최근 생긴 고민에 대한 답을 얻을 수 있을지도 모른다는 생각이 들어 가입하였습니다. 그 고민은 "어떤 경력을 갖춘 개발자를 목표로 할 것인지.." 입니다. 현재는 대학교를 졸업하자마자 it와 관련 없는 회사에서 2년 가까이 재직 중 입니다. (그저 컴퓨터와 프린터가 있다 정도..) 그러다 올해 9월 말 즈음 어떤 계기로 인해 '회사를 그만두게 된다면 현재 경력을 살려 나만의 무기로 다시 취업할 수 있을까?'를 고민하게 되었고 경쟁성이 낮다는 판단 끝에 이직 준비를 시작했습니다. 지금은 프로그래머스에서 얼마 없는 SQL 문제는 다 풀고, 파이썬으로 풀어보고 있는데 다양한 글과 채용 공고를 보다가 입사 최저 조건이 코딩 테스트 합격인 것 같아서 일단 어느 기업이든 최저 합격이나 해보자는 마음으로 풀고 있습니다. 처음 이직을 결심 했을 때 유튜브/구글/인프런을 이용해 잡다하게 따라해 보고 데이터 엔지니어를 목표로 삼았는데 지금 알아보니 데이터 엔지니어가 다른 직군에 비해 신입을 안 뽑는다는 말이 많더라구요. (* 데이터 엔지니어로 정했던 이유는 불규칙적인 것을 규칙적으로 만드는 것, 어떤 데이터든지 간에 누군가가 필요로 하는 방식으로 가공하여 전달한다는 것이 데이터의 흐름을 전체적으로 제어하는 것 같아 매력적으로 보였기 때문입니다.) 신입보다는 백엔드에서 데이터 엔지니어로 전환하는 게 대부분이래서 백엔드를 목표로 공부하게 될 것 같은데 백엔드도 범위가 방대해서 어떤 공부를 해야할지 고민입니다..ㅜ 지금은 그저 막연하게 데이터를 많이 다룰 것 같은 회사에선 어떤 백엔드 역량을 갖춘 신입을 찾는지 채용 공고만 바라보고 있네요.. 여건상 가장 빠르게 고민해야 할 것은 국비교육, 부트캠프의 코스 선택이 아닐까 싶습니다. 데브코스 중 백엔드 코스와 데이터 엔지니어링 코스 사이에서 고민 중인데 아마 백엔드 코스를 신청하지 않을까.. 싶지만 그래도 고민되네요. a. 데이터 엔지니어링 코스를 교육 받아도 백엔드 신입 채용 가능성이 있을까요? (데이터 엔지니어 신입이면 더 좋겠지만..!) b. 얌전히 백엔드 코스를 선택할까요? b-1. 만약 백엔드라면 어떤 부분에서 전문성을 기르면 좋을까요? 해 본 걸 남기는 것도 혹시나 도움이 될까 싶어서 적습니다..! - html, css를 따라 입력해 보며 웹(?) 상에서 출력되는 것 변경해보기 및 아주 간단한 페이지 생성 (제일 재미없었기에 웹에 대한 흥미가 사라졌습니다.) - python, c, java, sql 문법 공부 (문제 풀 수 있는 언어는 사실상 python, sql 두 가지 입니다.) - 간단한 프로그램 리버스 엔지니어링 (얕은 어셈블리 + 자료구조 중 스택에 대한 약간의 이해..? 재밌었어요.) - 파이썬으로 특정 사이트의 리뷰를 크롤링하고 원하는 리뷰만 출력 (조금 엉성했지만 실전에 바로 사용할 수 있어서 그런지 흥미로웠습니다.) - 데이터셋을 내려 받아 pyspark, sparkSQL을 이용하여 스스로 기준을 만들어 임의의 테이블 생성해 보기

데이터 엔지니어 or 데이터 분석가 or 백엔드 개발자 진로 고민

백엔드 준비를 1년간 하다가 쉽지 않아 돈이 궁해 다른 직무로 임시 취업을 했습니다. skill : java, spring 요새 빅데이터쪽에 관심이 생겼고 전망도 좋아 진로 고민에 빠졌습니다. 문제는 각 직업의 티오가 다르고 신입으로서의 역량이 다릅니다. 1. 데이터 엔지니어 최종 목표는 데이터 엔지니어가 될 것이고 엔지니어는 신입보단 경력 위주로 뽑아서 가능성이 미지수입니다. 2. 데이터 분석가 그렇자고 데이터 분석가로 가기엔 통계, 수학 및 도메인 지식이 중요하다고 하다네요. 이 직업으로 가기 위해서는 통계, 수학 지식을 처음부터 파아햐는 리스크가 있어요. 3. 벡앤드 개발자 -> 데이터 엔지니어 그러면 벡앤드 개발자로 취업을 한 뒤에 데이터 엔지니어로 경력 이직하는 것이 나을까요? 최종적으로 데이터 엔지니어의 길을 가게될텐데 백엔드로 가서 시간만 날리지 않을까 걱정이 됩니다. 1. 데이터 엔지니어 or 데이터 분석가 or 백엔드 개발자 어떤 직업으로 밀고나갈지 추천 부탁드립니다. 2. 추천하식 직업을 어떤 방향으로 준비하면 좋을지 말씀 부탁드립니다. 감사합니다.

데이터 엔지니어 취업 관련 질문드립니다.

안녕하세요. 데이터 분야 직무를 희망하고 있는 대학교 3학년 1학기차 컴퓨터공학과 전공생입니다. 먼저 시간내어 글 읽어주셔서 정말 감사합니다. 공공데이터 API등을 사용해 혼자 간단한 프로젝트들을 경험해보면서 데이터를 수집하고 활용할 수 있도록 정제하는 것에 흥미를 느꼈습니다. 이에 데이터 엔지니어와 데이터 사이언티스트에 대해 더 조사해보면서 관련 직무로 취업하고 싶다는 생각을 하게 되었습니다. 하지만 지금까지 해온 경험과 지식이 데이터 엔지니어가 되기 위해 많이 부족하다고 생각해 제가 부족한 부분들과 앞으로 노력해야 할 부분들에 대해 질문드리고 싶습니다. ##현재 상황 1. 프로젝트 경험 - 데이터 엔지니어링(데이터 파이프라이닝 등) 관련 프로젝트 경험 없음 - AWS를 활용해 cloud server와 edge server를 구축하고, 공공데이터 application과의 API 통신을 통해 content caching을 구현하는 프로젝트를 진행했었습니다. 2. 알고리즘 - 백준 골드 4(C++)입니다. 반년 전 컴퓨터 알고리즘 수업을 들은 이후 꾸준히 풀고 있습니다. 3. 오픈소스 경험 - git과 github사용법만 알고, 진행했던 간단한 프로젝트들만 깃허브에 올려놓았는데, 크게 의미가 없는 것 같습니다. 오픈소스에 기여해본적은 없습니다. 4. 학과 공부 인서울 상위권 대학교 다니고 있고, 전체평점 3.97/4.5, 전공평점 4.08/4.5 입니다. 5. 언어 - python은 library 잘 활용하는 정도로만 이해하고 있고, SQL, Go 등의 언어에는 지식이 전무한 상태입니다. 이러한 제 상황을 바탕으로 앞으로의 계획에 대해 질문드리고 싶습니다. 1. 데이터 엔지니어로 취업하기 위해 어떠한 역량과 경험을 더 키워야 할 지 궁금합니다. 2. 프로젝트 경험을 쌓고 싶은데, 관련된 기술 스택을 어느 정도로, 또 어떤 방식으로 공부해야 효율적일지 감이 잘 잡히지 않습니다. 전문가분들께서 추천해주실 만한 책이나 강의가 있을까요? 3. 데이터 엔지니어 채용 공고를 살펴보면, 빅테크나 대기업의 경우 경력 n년 이상을 자격 요건에 걸어두는 경우도 종종 확인할 수 있었습니다. 신입으로 데이터 엔지니어 채용은 많이 힘든가요? (4). 데이터 엔지니어 관련해서 열심히 찾아보고 더 나아가 기여해 볼 만한 오픈소스들이 어떤게 있을지 궁금합니다. 꼭 모든 질문에 대한 답변이 아니더라도, 한두개 정도의 질문에 길지 않은 분량으로 답변 주셔도 저에게는 큰 도움이 될 것 같습니다. 전문가분들의 답변을 토대로 앞으로 더 열심히 노력해보겠습니다. 이상 긴 글 읽어주셔서 감사합니다.

어떤 걸 먼저 공부하며 취업준비를 해야 좋을까요?

안녕하세요. 저는 비전공자이며 데이터엔지니어를 꿈꾸는 취업준비생입니다. (SQL을 처음 배우게 되었을 때 문법이 재밌어서 데이터베이스에 관심을 가지게 되었고, 데이터엔지니어를 꿈꾸게 되었습니다. 저는 아무리 생각해도, 사이언티스트와 분석쪽은 안맞는 것 같은데 혹시 다른 데이터관련 직무가 있으면 추천해주세요.) 현재 저는, 국비로 데이터분석 및 엔지니어 과정을 수료하였으나 엔지니어링 분야는 거의 배우지 못하고 아주 기본적인 sql과 파이썬 문법을 배웠고, 분석가 파트만 조금 더 접해본 상태입니다. 그래서 데이터 엔지니어링에 관해서는 처음부터 공부를 해야하는 상태입니다. 데이터엔지니어링의 시작도 감을 잡지 못했고, 데이터 파이프라인에 대해서 찾아보았을 때 그림에 나오는 기술들이 어떤 것인지도 아직 모르는 상태입니다. 그리고 비전공자이기 때문에 컴퓨터관련 이론도 잘 모릅니다. 자격증은 취업할 때는 막상 크게 도움이 안된다는 얘기들을 듣긴 했는데, 전혀 감을 못 잡고 있으니 관련 자격증들이라도 계속 공부하다보면 감이 잡히겠지, 도움이 되겠지라는 생각이었지만 막상 또 채용공고들을 찾아보면 기술이 더 중요한 것 같아서 고민이 됩니다. 제가 공부하려고 생각했던 자격증들은 SQLD와 정보처리기사, 더 따게 된다면 데이터 아키텍처정도 입니다. 자격증부터 하나씩 공부해가고 인강과 책을 통해 기술을 배우는 게 맞을까요, 아니면 그냥 처음부터 인강과 책으로 관련 기술들을 배우는 게 맞을까요? 그리고 한가지 더 여쭤보자면, 데이터엔지니어는 신입을 잘 뽑지 않는다고 하던데(실제로도 신입 채용공고가 잘 없구요...) 개발자로 경력을 쌓고 데이터엔지니어로 넘어가는 길이 제일 나은 걸까요..? 장황한 글 읽어주셔서 감사합니다. <요약> 1. 엔지니어,분석가,사이언티스트 외에 데이터관련 직무가 있다면 추천해주세요. 2. 자격증부터 하나씩 공부해가고 인강과 책을 통해 기술을 배우는 게 맞을까요, 아니면 그냥 처음부터 인강과 책으로 관련 기술들을 배우는 게 맞을까요? 3. 개발자로 경력을 쌓고 데이터엔지니어로 넘어가는 길이 제일 나은 걸까요..?

졸업을 앞두고 진로 고민중입니다.

현재 컴퓨터공학 관련전공으로 졸업을 앞두고 있습니다. 3학년때 데이터베이스 수업을 들으면서 다른 프로그래밍 언어들과 다른 방식으로 작동하는 SQL에 관심을 가지게 되었고, 데이터를 다루는 직업 중 데이터 엔지니어를 희망하게 되었습니다. 데이터를 깔끔하게 저장하고, 쿼리를 최적화해서 좋은 성능을 뽑아내고, 질 좋은 데이터를 제공하는 과정이 매력적으로 다가왔습니다. 이번 하반기에는 데이터 엔지니어링 관련 부트캠프 / 데브코스를 수강하고, 내년 중으로 취업을 하는 것을 목표로 하고 있었습니다. 큰 기업은 꿈도 꾸지 않고 있구요, 그냥 '내가 어느 방향이든 성장할 수 있을 곳이면 됐다.' 이렇게 생각하고 있습니다. 하지만 요즘 데이터 엔지니어는 신입을 잘 채용하지 않는다는 소식과, 부족한 제 실력들이 불안합니다. 백엔드 개발자로 취업한 뒤 경력과 실력을 쌓은 뒤에 데이터 엔지니어로 전환하시는 경우들이 있는 것은 압니다. 지금까지는 SQL과 파이썬 위주로 공부했는데, 백엔드 개발자를 준비해보려니 JAVA부터 다시 해야하더라구요. JAVA는 학교 수업으로만 수강해보았고, 개발 관련 지식은 거의 없는 편입니다. [질문] 1. 실제로 신입 데이터 엔지니어를 뽑는 곳은 별로 없는 편인가요? 2. 신입이 데이터 엔지니어가 되려면 역시 백엔드 개발자로 취업한 뒤에 경력을 쌓고 전환하는 방법이 제일 가능성이 좋은가요? 그렇다면 부트캠프도 백엔드 위주로 알아보는 것이 좋겠죠?

백엔드 엔지니어와 데이터 엔지니어

안녕하세요. 현재 데이터사이언스 전공 중인 4학년 학생입니다. 대학원에는 뜻이 없어 바로 취업을 하고 싶어서 직무를 찾아보는 중 데이터 엔지니어에 관심을 두게 되었습니다. 그런데, 데이터 엔지니어는 신입을 거의 뽑지 않아 백엔드에서 넘어가는 경우가 많다고 하더라구요! 4학년이지만 경영학과를 재학하다가 데이터학과로 편입을 했기 때문에 학교 수업 듣느라 지식이 많이 부족해서 백엔드를 하나 데이터엔지니어를 공부하나 어쨌든 공부할 것은 많다고 생각합니다. 방향을 확실하게 정해야 관련된 공부를 할 수 있을 것 같은데 어렵네요.. 자격증은 정보처리기사와 컴활1급 보유하고 있습니다. 1. 백엔드 엔지니어에서 경력을 쌓고 데이터 엔지니어로 직무 변경하는 것에 대한 의견 2. 데이터 엔지니어 신입으로 도전하는 것에 대한 의견 3. 백엔드를 하던 데이터를 하던 부트캠프 등의 과정을 밟아볼 생각인데, 학교와 병행은 힘들 것 같아 졸업 후에 할 생각입니다. 졸업 전에 따놓으면 좋을 자격증 있을까요?

국비 관련 질문이 있습니다!

안녕하세요! 저는 전문대 정보통신공학과에 재학 중인 학생으로, 곧 졸업을 앞두고 있습니다. 하지만 학교에서 통신 쪽에 흥미를 느끼지 못하고, 갈수록 데이터 엔지니어 또는 백엔드 개발자에 대한 관심이 커지고 있습니다. 현재 포트폴리오가 부족해 졸업 후 데이터 엔지니어와 백엔드 개발자로 취업하는 것이 현실적으로 어렵다고 생각하고, 그래서 국비 교육을 통해 좀 더 학습하고자 합니다. 개인적으로 CS 지식도 틈틈이 공부하고 있습니다. 그러나 주변에 아는 현직자 한 분이 "국비 교육은 대부분 비전공자들을 위한 것이라고 생각한다, 전공자에게는 시간 낭비일 수 있다. 그 시간에 CS 공부를 더 하는 것이 나을 것 같아"라는 조언을 주셨습니다. 그 말씀에 일부 동의하긴 하지만, 저는 프로젝트 경험이 부족하고 CS 지식이 부족한 비전공자라고 생각하여 국비 교육을 듣기로 마음먹었습니다. 또한, 데이터 관련 직무는 신입 채용이 적다는 이야기를 들었고, 백엔드 개발자가 데이터 엔지니어와 업무가 유사하다는 조언도 받았습니다. 그래서 백엔드(Java) 개발자 국비 교육을 듣는 것이 좋을지, 데이터 엔지니어 국비 교육을 듣는 것이 좋을지 고민하고 있습니다. 마지막으로, 독학으로 공부하는 것이 더 도움이 된다면 국비 교육을 듣지 않고 독학할 생각도 하고 있습니다. 하지만 혼자 공부하다 보면 해이해질까 걱정이 됩니다. 혹시 저의 상황에 대해 조언해주실 수 있는 개발자분들이 계시다면 부탁드립니다! -요약- 1. 정보통신공학 전공, 데이터 엔지니어와 백엔드 개발자로 취업하고 싶음 2. 데이터 관련 직무는 신입 채용이 적은가? 3. 백엔드 개발자 국비 교육 vs. 데이터 엔지니어 국비 교육 4. 독학으로 공부하는 것이 나을까?

CS 전공 4학년 진로고민 조언 부탁드립니다..!

안녕하세요, 생성형 비전 ai를 연구 중인 전공자 4학년 학부 인턴입니다. 요즘 제가 생각보다 연구에 대한 끈기가 부족하다는 것을 깨달아서 (빨리 성과가 나오지 않으면 답답하고 몇개월을 갈아넣은 연구 성과가 학문/이론에서 그치는 것도 답답하더라구요) 랩실을 나오고 취준을 해볼까 고민 중입니다. 연구 자체가 엄청 거부감 들고 싫은건 아니지만.. 결국은 연구를 해도 나중에 리서처나 개발 직군으로 취업을 해야하는데 회사에서 리서치 직군을 애초에 많이 뽑지는 않는데 저보다 탐구/실험하는 과정을 정말 잘 하는 주변 사람들을 보며 제가 충분히 경쟁력을 가질 수 있을지 잘 모르겠더라구요... 지금 fe be ai 다 한 번씩 건들여봤는데 이 중에서 취업할만큼 전문성을 가진 분야는 없는거 같아요. 그래서 빠르게 결단을 내리고 랩실을 나오고 취준을 할지, 랩실에 계속 있을지 고민 중인데 취준을 한다면 fe/be/데이터분석+데이터 엔지니어 중에 고민 중에 있습니다. (ai 엔지니어도 고려 중인데 학위에 대해서는 의견이 분분하긴 하지만석사를 따는게 유리하다고 하네요. 그리고 MLOps 분야는 신입을 잘 안 뽑는다고 알고 있어서..) 결정을 내린 다음 대학원을 안 가고 취준을 한다면 1~1.5년 정도 한 분야에 더 집중할 생각입니다. 그리고 지금은 학사/석사 취업 모두 어느 분야를 취업하든 다 경쟁이 매우 치열한거 같더라구요... 만약 fe를 하게 된다면 제가 시각적인 것을 좋아해서 장기적으로 보았을 때 인터랙티브 미디어 아트쪽으로 커리어를 쌓고 싶다는 생각이 있긴한데, 이게 현실적으로 가능한 것인지는 잘 모르겠습니다... FE는 제가 얕게나마 react, react native를 파본 경험이 있는데 화면에 보여지는게 즐겁긴 하지만 공들여서 만든걸 많이 수정할 때 좀 마음이 아팠던 경험이... 그리고 쏟아지는 기술들을 계속 배워야 한다는 것에 없지않아 피로감을 느꼈던거 같습니다. (그런데 이건 IT쪽이면 연구/개발 어느 분야든 똑같이 적용되긴 하는거라...) BE는 제가 django나 flask로 CRUD 위주로만 구현한..야매로밖에 경험을 안 해봤고 spring은 김영한님 강의 듣다가 중간에 너무 알아야할게 많은거 같아 포기했던 경험이 있습니다. 데이터 분석 + 데이터 엔지니어 같은 경우에는 통계 베이스/데이터 파이프라인 stack 기반이 부족해서 더 공부를 해봐야 할거 같습니다. 관련 공모전 경험도 아직 없고요.. ai 엔지니어 경험으로는 2~3개 정도 프로젝트 형식으로 flask로 ai 모델 서비스에 야매로 연결해본 경험이 전부입니다. (MLOps 역량을 가진 사람을 뽑으려는 추세인거 같은데 kubernetz, docker, 클라우드는 따로 또 공부를 해봐야 합니다) 결국에는 어떤 분야든 다 넘어야 하는 산이 있는 느낌이라 이에 대한 각오는 되어 있는데, 어떤 분야로 더 나아가는게 현명하고 후회없는 선택일지 너무 고민이 됩니다..ㅠㅠㅠ 어떤 직무든 다 힘들고 고된 점들이 있기에 제 성향을 고려하고 각각의 직무의 현실(?)을 보고 제가 이건 정말 오랫동안 하루종일 못 하겠다 싶은 같은 일들을 위주로 가지치기를 하면 좋을거 같다는 조언을 들었습니다. 그래서 각각 직무의 실제 업무 생활이 어떠한지, 그리고 실제 실무에서는 어떤 역량이 중요할지, 어떤 성향을 가진 사람이 어떤 상황을 감내해야 오래 버틸 수 있을거 같은지 알려주시면 감사하겠습니다! 직간접적으로나마 아시는 각각의 직무에 대한 정보 알려주시면 감사하겠습니다 🙇‍♀️ 조언해주시면 제 스스로 현명한 선택을 하는데 큰 도움이 될 것 같습니다!! :)

AI/ML 엔지니어, 데이터 엔지니어 취업 고민

안녕하십니까 이번 학기를 마지막으로 졸업을 앞둔 대학생입니다. 저는 경영학 전공으로 데이터 분석을 하다가 데이터 엔지니어링, ML 엔지니어링 까지 관심이 확장되었습니다. 그에 맞게 데이터 분석이나, 데이터 파이프라인, CNN 객체 인식 등 관련 프로젝트를 하면서 흥미를 많이 느꼈습니다. (경험: python, C++, AWS, GCP pytorch, kafka, Elasticsearch, langchain, faiss 경험) 이번 하반기에는 백엔드, 데이터 분석, MLOps 직군으로 금융권이던 SI 이던 모두 지원하였습니다. 서류 합격은 약 30프로 정도 되었지만 코딩 테스트, 인적성 검사 단계에서 통과하지 못했습니다. 이번 하반기를 경험하면서 백엔드가 아니라 AI 개발, MLOps, 데이터 엔지니어링 직무를 하고 싶어졌습니다. 이 세가지 직무에 취업하기 위해 석사를 요구하는 회사가 대부분임을 보았습니다. 그에 따라 컨텍없이 AI 대학원을 지원하였는데 입학만 합격한 상태입니다. 그리고 관심 분야(LLM, 추천시스템)의 교수님과 면담을 앞두고 있습니다. 1. 저의 고민은 대학원에 들어가는 것이 좋은 선택일지, 아니면 다음 상반기를 제대로 준비하고 안된다면 작은 회사에서 부터 경력을 빨리 쌓는 것이 좋은 방법일지 고민입니다. 물론 대학원에 들어간다면 열심히 할테지만, 갑작스럽게 결정한 만큼 많은 것을 얻고 나올 수 있을지, 시간만 허비하는 게 아닐 지에 대해 고민이 됩니다. "도피성으로 대학원을 들어가서는 안된다." "대학원에서 배운것이 실무에 쓰이는 일이 생각보다 없고 빨리 현업에 뛰어들어 경력을 쌓는게 더 유리하다." 등의 말을 들어보니 어떤 생각과 자세를 가지고 선택하는 것이 좋을지 고민입니다. 2. 학사 비전공자의 신분으로 이쪽 분야에 취업할 수 있을지 고민입니다. 물론 이쪽 분야의 연합동아리, 교육프로그램 등을 통해 프로젝트 경험이 있지만, 학문적으로는 독학한 것이 전부인지라 채용하는 입장에서 저를 어떻게 생각할지 궁금하네요. 3. 현재 싸피라는 교육 프로그램도 생각 중입니다. 싸피를 통해서 부족한 알고리즘, Spring, java 부분을 공부할 수 있고, 취업하는 과정에서 많은 정보와 기회 측면에서 도움이 될것 같은데 어떻게 생각하시는지도 궁금합니다. 돈을 많이 버는 것이 정말 좋지만, 돈의 욕심보다는 아직 젊은 만큼 원하는 업무를 통해 커리어를 쌓고 싶은 맘이 더 큽니다. 물론 아직 세상을 너무 모르는 것도 있습니다 ㅎㅎ 긴글 읽어주셔서 정말 감사합니다.

ML 엔지니어에 대해 현직 선배님들께 여쭤보고싶은게 있습니다,,

안녕하세요 현업에 계신 선배님들께 조언을 구하고자 글을 쓰게 됐습니다. 저는 자대에서 의공학을 전공하고 자대 생체신호펌웨어랩실에서 학부인턴과정을 약 2년간 생활하다 Ai쪽에 관심이 생겨 랩실을 나와 새로운 도전을 하려고 준비중입니다. 저는 Ai분야에서 Ml 엔지니어를 목표 직무로 갖고 있고 해당 직무에 나아가기위해 저만의 커리어를 쌓기위해 많은 고민이 있는데요. 제가 서칭한 바로는 (물론 기업마다 조금씩 다르다고 들었습니다) ML 엔지니어는 AI 모델링 + 데이터 관리 + 배포 + 파이프라인 구축 mlops등 다양한 분야에서의 역량이 필요하다는것을 알게 되었습니다. 하지만 해당 직무에 대해서 아직 뚜렷한 로드맵이 있지 않은것 같아 학습 순서를 어떤식으로 구성해야할지 감이 잘 안잡힙니다. 일부 ML 엔지니어에 종사하시는 선배님들의 이야기를 유튜브나 구글링을 통해 들어보면 백엔드의 역량이 중요하기에 백엔드 개발자에서 직무전환을 하는 경우도 많고 비공자분들께는 이렇게 추천해주시는 경우도 많았습니다. 제가 선배님들께 궁금한 점은 1. 제가 프로젝트 경험과 타이트함이 조성된 환경속에서 학습을 위해 부트캠프를 지원하려고 하는데 선배님들께서는 백엔드 쪽을 선택하실지 데이터분석,엔지니어링쪽을 선택하실지 여쭤보고싶습니다 (국비지원의 경우 1번뿐이라 고민이 길어지게 되었습니다) 2. 또한 선배님들께서 추천해주실 만한 ML 엔지니어의 역량과 앞서 말씀드린 학습 로드맵에 대해 조언 해주실 부분이 있다면 냉철하게 부탁드리겠습니다. 3. 마지막으로 혹시 Ai쪽 석사를 마치고 ml 엔지니어로 현직에 계신 선배님이 계시다면 대학원 랩실의 도메인을 어떤 분야로 진학하셨는지 궁금합니다.. 개인적으로 석사진학도 생각하고 있는데 Ai쪽 석사 랩은 제가 서칭한 바로는 상당수가 nlp , cv 쪽 연구에 특화되어 있고 데이터 엔지니어링은 본적이 없어서 여쭤보고싶습니다 긴글 읽어주셔서 감사합니다.

신입 웹개발자의 커리어 전환과 로드맵 설계에 대한 조언을 부탁드립니다

안녕하세요, 저는 현재 일본의 직원 수 약 500명 규모의 SaaS 관련 벤처기업에서 웹개발자로 근무 중인 학부생입니다. 현재 학부 4학년으로 인턴 신분이며, 3개월 차에 접어들었습니다. 정직원 전환이 확정된 상태이지만, 앞으로의 커리어와 성장 방향에 대해 고민이 많아 조언을 구하고자 합니다. 현재 상황 1. 근무 환경과 업무: 저는 Ruby on Rails(백엔드)와 Vue.js(프론트엔드)를 사용하는 웹개발팀에서 주로 백엔드 업무를 맡고 있습니다. 필요 시 프론트엔드도 다루며, 주로 회사 프로덕트의 버그 수정 업무를 수행하고 있습니다. 하지만, 한국에서 원격으로 근무 중이며, 팀 내에서 저만 원격근무라 즉각적인 질문 및 피드백을 받기 어렵고, 회사의 분위기를 파악하기도 힘든 상황입니다. 2. 전공 및 경력: 전기정보공학과를 졸업 예정으로, CS 전공자라고 보기엔 애매한 학과 출신입니다. 이전에는 컴퓨터 비전, 딥러닝, 머신러닝, LLM 등 웹개발과는 관련이 적은 분야에서 프로젝트를 경험했으나, 웹 개발 경험은 전무합니다. 3. 지식 및 준비 부족: 취업 준비 없이 바로 회사에 입사했으며, 현재 CS 지식, 웹 개발 기본 지식, Ruby on Rails와 Vue.js 같은 프레임워크에 대한 이해도가 부족한 상태입니다. 현재는 GPT, Claude, GitHub Copilot 등의 AI 도구를 사용해 주먹구구 식으로 업무를 해결하고 있지만, 이 방식에 한계를 느끼고 있습니다. 4. 커리어 목표: 저는 현재 백엔드 개발자로서 경력을 시작했지만, 장기적으로는 머신러닝 엔지니어나 데이터 엔지니어로 전환하고 싶습니다. 그러나 현재 웹 개발에 대한 이해 부족으로 인해 커리어 전환은 커녕, 현재 맡은 업무조차 비효율적으로 진행되고 있습니다. 5. 불안한 점: 팀원들과의 거리가 느껴지는 원격 근무 환경에서, 사내 분위기 파악이 어렵고 실질적인 피드백을 받기 힘들어 성장 속도가 느리다고 느끼고 있습니다. 이로 인해 업무 수행에 대한 불안감이 커지고 있습니다. 이런 상황에서 저는 다음과 같은 고민을 하고 있습니다: 1. 현재 맡은 업무를 더 효과적으로 수행하기 위해 어떤 기술이나 지식부터 학습해야 할까요? 2. 백엔드 개발자로서 기본기를 다지는 동시에, 머신러닝/데이터 엔지니어로의 커리어 전환을 준비하기 위한 로드맵은 어떻게 설계해야 할까요? 3. 회사 업무와 병행하며, 원격근무 환경에서도 효율적으로 공부하고 성장할 수 있는 방법이 있다면 공유 부탁드립니다. 경험 많으신 개발자분들의 조언을 듣고 싶습니다. 긴 글 읽어주셔서 감사합니다.

빅데이터 진로 관련 질문

안녕하세요 저는 현재 컴퓨터과학 3학년에 재학중인 학생입니다. 2학년때부터 여러 분야를 경험해봤다고 생각하는데, 이제 제 진로를 구체적으로 설계하는데 고민이 생겨 질문드립니다. 저는 현재 제일 관심있는 분야는 데이터베이스여서 , 후에 데이터 엔지니어링 쪽을 희망하고 있었습니다. 데이터 관련 개발 직무로 나가고 싶은 것은 지금도 명확합니다. 최근에 react native와 node.js를 활용해 앱을 제작하면서 제가 db을 짜다 보니 너무 재밌었고, 최근에 sqld 자격증도 취득하면서 데이터베이스 분야에 흥미가 생겼습니다. 기존에 웹 프론트 개발로 해커톤에서 최우수상을 받은 적이 있어서, react native으로 앱개발 하는것이 어렵지 않았고 자바스크립트가 저에게 잘 맞는다고 생각했습니다. 학부생 수준에서 데이터베이스를 관리할 수 있는 프로젝트를 해보는 것이 백엔드 개발이라고 생각해서 현재 스프링부트를 공부하고 있습니다 .. 하지만 할수록 제 길이 아니라는 생각이 듭니다. node.js와 django도 프로젝트를 통해 공부해 본적이 있는데, 유독 스프링부트가 너무 어렵다고 느껴졌습니다. 그래서 제가 백엔드가 적성에 맞지 않는것 같다고 생각하게 되었습니다. 아직 백엔드 개발을 깊게 해보지 않아서 그런것일까요.. 또한 관련 데이터 동아리에서 활동하면서 자연스럽게 데이터분석/머신러닝 분야를 접하게 되었습니다. 데이터분석 프로젝트는 공모전으로 두번 정도 진행해보았고 , 방학에 공모전에 한번 더 참여할 예정입니다. 지금은 통계와 머신러닝을 더 공부하고 있는데 통계지식이 합쳐지니 머신러닝에 재미가 생겼습니다. 또 지금 학교에서 안드로이드 kotlin으로 앱개발을 하고 있는데요 .. 아마 졸업작품은 안드로이드 앱개발을 할 것 같습니다. 글을 쓰다 보니 두서 없이 작성이 되었는데요.. 여러 분야를 팔수록 다 재미는 있는데 크게 끌리는 건 없는 상태입니다. 데이터베이스 공부를 더 하고 싶은데 어떤 공부를 해야할지 잘 모르겠고 의미있는 프로젝트를 만들어야 한다는 불안감?이 있어서 이것저것 건드리는데 백엔드는 제 길이 아닌 것 같은 .. 그래서 원래 빅데이터 처리 분야는 공부해 보지 않아서 그쪽을 공부해 볼까 생각도 있는데, 보시다시피 지금 벌려놓은 일들이 많기도 하고 새로운 분야를 또 공부하는 것이 도움이 될지 고민이 되네요.. 혹시 제 글을 보신다면 어떤 분야에 집중해야 할지 , 제가 아직 경험이 부족해서 그런것인지 도와주시면 감사하겠습니다! 데이터베이스 개발 및 데이터분석 직군으로 나가려면 제가 정확히 어떤걸 해야하는지 고민이 되어서 이부분도 도와주시면 감사하겠습니다! 긴 글 읽어주셔서 감사합니다.

취준생의 선택에 도움이 되주세요..

금융권의 백엔드 개발자를 꿈꾸는 취준생입니다. 현재까지 백엔드 개발경험은 딱 한번있는 상태이며, 프로젝트 경험이 한번 더 있으면 좋겠다 싶어서 여러 부트캠프에 지원했었습니다. 현재는 백엔드 관련 코스는 모두 떨어지고 프로그래머스의 데이터 엔지니어링 데브코스 과정에 합격을 한 상태입니다. 해당 코스를 지원하는 당시에는 대용량 데이터를 다뤄보는것이 꽤 큰 도움이 될것이라 여겨 지원을 했었습니다. 하지만 5개월동안의 교육 기간이 끝나면 하반기 채용시즌이 시작되는데 그때 데이터 엔지니어링 기술 스택 조금 있는게 도움이 되는걸까..? 하는 고민이 들기 시작했습니다. 백엔드 개발자로 지원하기엔 백엔드 기술 스택이 튼튼하지 않고, 데이터 관련 직종은 초보 개발자를 잘 뽑지 않는다는 얘길 많이 들었고... 금융권의 백엔드 개발자로써 취업하고 싶다면 지금 어떤 선택을 하는게 최선일까요? 해당 코스를 듣는것이 도움이 될지 전혀 안될지에 대해 선배 개발자분들의 의견을 듣고싶습니다!

어설픈 딥러닝 엔지니어, 백엔드 신입으로 전환하고자 합니다.

안녕하세요. 모두 새해 잘 시작하고 계시길 바랍니다. 저도 새해를 잘 시작하고싶어 조언을 부탁드립니다. 저는 현재 4년차 딥러닝 엔지니어로 근무중이며 백엔드(신입)로 직무 변경을 생각하고 있습니다. 현재 재직 기업에서 제가 원하는 업무를 맡지 못했고 앞으로도 그럴 것 같아 내년에는 이직을 꿈꾸고 있습니다. 저는.. 이미 마음을 먹었지만 조금은 마음이 싱숭생숭해서.. 제 상황과 결정에 대해 어떻게 생각하시는지 말씀 부탁드리고자 합니다. * 현재 직무를 떠나려는 이유 0. 실속없는 경력 - 몇 년정도 이력서에 쓸 수 있는 딥러닝 업무, 개발 업무를 맡지 못했습니다. B2C가 아니며 일반적인 웹 서비스를 제작하는 기업이 아닌지라 개발 외적인 업무가 많고 동료들도 비슷한 상태입니다. 1. 실력 부족 - AI 석박사들과 견줄만한 개발자가 아닙니다. 흔한 인공지능 부트캠프를 졸업한 수준이라고 생각합니다. 간간히 해본 캐글은 은메달 2개 상태입니다. 주어진 문제를 분석하고 나은 방법을 찾기보다는 '이렇게 하면 더 잘 되겠지'라는 상상력으로 문제를 풀어보는 형식입니다. 학습은 바텀업으로 하려다보니 수학에서 번번히 지구력없이 질질 끌어버렸고.. 제자리입니다. 2. AI에 대한 흥미 저하 실력이 없다보니 점점 AI의 발전 속도를 따라가기 힘들고, 캐글 등에서 컴패티션을 하면 즐겁기는 하지만 가진 컴퓨팅 자원의 차이가 굉장히 커보이니 점차 흥미가 떨어집니다. >> 올 한해 열심히 공부한다고해서 프로젝트 경력없이 캐글 은메달만으로 AI 석박사들과 경쟁이 가능할만한 성과를 이루기에는 제 능력이 부족하다는 판단이 들었습니다. * 왜 백엔드를 0. 데이터 엔지니어, MLOps를 지망합니다. AI에 흥미가 떨어져도 여전히 재미있기에 그 주변을 멤돌고 싶어 조금 다른 방향으로 진로를 생각하고 있었습니다. 백엔드를 전혀 모르면서 위 직무가 가능하리라 생각지않아 백엔드 개발자부터 시작하려 합니다. 1. 웹 서비스 개발자로 일해보고 싶습니다. 한정된 범위에서 한정된 유저만을 위한 제품 개발에 참여하다보니 많은 사람들이 사용하는 서비스, 더 큰 규모의 서비스 개발에 대한 동경이 생겼습니다. * 출근 전, 퇴근 후 공부하면서 다른 백엔드 구직자들과 경쟁이 가능하리라 생각하는지 0. 잘 모르겠어서 해보려합니다. 너무 무식한 생각이지만... 그래도 열심히 해보면 되지 않을까요? * 직무 변경시 0. 연봉 감소 신입으로 다시 시작하는 점, AI 직군에 비해 평균적인 급여가 적은 직군이라는 점, 취업 시장이 얼어붙은 점을 생각하면 연봉 감소는 굉장히 클 것으로 생각합니다. 현재 5천 조금 넘는 상태인데 1년 공부해서 들어가면 2천 중반 ~ 3천 초반정도가 되지 않을까 싶습니다. 1. 개발 업무 그래도 지금보다 즐겁게 일할 수 있지 않을까요. * 그래서 어떻게 출근 전, 퇴근 후 공부를 하고 있습니다. 자바 & 스프링을 공부할 계획이고 현재는 자바 언어부터 보는 상태입니다. 웹개발 부분은 패스트캠퍼스 등 강의를 들으면서 계획을 다듬을 예정입니다. 아직까지는 명확하게 1년 플랜을 짜지는 못했습니다. 여기까지 귀한 시간 할애해주셔서 감사합니다. 혹시 해주실 말씀이 있으시다면 댓글 부탁드립니다. 감사합니다.

데이터 엔지니어는 석사 이상만 가능한가요?

진로 고민 중에 데이터 엔지니어 채용 공고를 보고 궁금한 점이 있어서 문의합니다. 닷넷 응용 프로그램 개발 경력만 거의 있는거나 마찬가지이고, 웹은 정말 짧은 기간동안 기존에 구축된 프로그램에서 api 수정 및 기능 추가 정도만 해보았습니다. 기존 경력으론 이직에 한계를 느껴서 웹쪽으로 분야를 잡고, 스터디/이직 준비를 하려고 합니다. 웹 서버에 대한 경험과 지식은 부족하다고 생각되어서 백엔드 개발자로는 이직이 더 힘들지않을까 싶고 기존에 화면 개발할 때 DB 모델링 변경 및 패키지, 프로시저 등 쿼리 작업, 통계 추출, DW에서 데이터 축적용으로 쿼리 생성한 경험을 살려서 데이터 엔지니어에 관심을 가져보려고 하는데요. 데이터 엔지니어는 석사 이상만 뽑는다는 얘기를 들었는데 정말 그런가요? 공고 찾아보면 ETL 개발, 데이터 파이프라인 구축 업무를 한다고 써있는데 관련 스터디나 사이드 프로젝트는 보통 어느 루트로 찾아서 하시는지, 대학원 수료가 정말 필요한지 궁금합니다.

직무전환에 대한 현실적인 고민

데이터엔지니어로 커리어를 더 쌓을 것인지, ux라이터에 도전해볼것인지 고민입니다. 현실적으로 해야하는 일이라고 생각이 드는 직무와 이상적으로 해보고 싶은 일이라고 생각이 드는 직무네요 3년째 데이터엔지니어 일을 하고 있지만 제가 원하는 방향의 업무는 할 수 없는 상황이라 이직 또는 퇴사하려고 합니다. 커리어를 유지해서 제가 하고 싶었던 데이터엔지니어 업무를 하는 회사로 이직을 할지 이왕 이렇게 된거 오래전부터 해보고 싶었던 ux라이터쪽으로 직무전환을 하기 위해 퇴사를 할지 고민입이다. 섣불리 선택하지 못하는 이유는 현실적인 문제인데요 우선 연봉이죠. 개발쪽에서 기획 또는 디자인쪽으로 직무전환을 한다면 최소 앞자리가 바뀔것 같아요. 낮은숫자로. 다음으로 경력입니다. 물론 물경력이라고 생각이 들지만 지금까지 해온 개발경력이 물거품일것 될것 같아요. 같은 IT업계인건 다행이지만요. 마지막으로 미래전망입니다. 개인적으로 아직까지 전문성은 데이터엔지니어가 크다고 생각이 듭니다. 앞으로 전망도 기대되는 분야라 섣불리 놓아주기 어렵네요. 사실 퇴사하고 준비하기 위한 공백은 두렵지 않은데 라이터를 선택 했음에도 지금처럼 또 다른 직무를 고민할까 싶어 확실함이 부족한 제가 조금 두렵기도 하네요 긴글 읽어주셔서 감사드리며 직무전환에 대한 현실적인 고민을 하는 저에게 많은 조언 부탁드립니다. 감사합니다.

Pre-A 스타트업 데이터 엔지니어 신입 희망 연봉 얼마가 적당할까요?

AI 하는 스타트업이고 최근에 30억 규모의 Pre-A 투자 유치를 마무리했습니다. 해당 회사에 원래 데이터 엔지니어 직군 주니어를 뽑지 않았는데 지인 추천으로 일단 면접을 보았고 6개월 인턴으로 일단 일하게 되었습니다. 당시에는 회사에 데이터 엔지니어링이 필요한 업무가 없어서 없어서 프로덕트 데이터 설계, 프롬프트 엔지니어링, 기획 서포트 등 당장 필요하지만 할 사람이 없는 업무를 담당했고요. 6개월이 끝나고 전환을 논의할 때, 데이터 업무를 주신다면 전환을 하고, 아니라면 나가겠다고 말씀드렸고, 회사에서는 전환을 원하셔서 팀도 바꾸고 본격적으로 데이터 셋 구축, 파이프라인 설계 등의 업무를 담당하게 되었습니다. 곧 처우 관련해서 인사팀과 이야기를 나누게 될 텐데, 희망 연봉을 어느 정도로 말씀 드리는 것이 좋을지 감이 잡히지 않아 조언을 구합니다. 일전에 함께 일하던 PM님은 대기업 수준으로 받으셨었다 말씀 하셨는데 (그 분은 창업 경험도 있으셨습니다) 저는 그 정도는 아니라서요. 그래도 인턴으로 있는 동안에는 포텐셜을 충분히 보인 상황입니다. 간단한 스펙은 인서울 중위권 4년제 영어 및 통계 전공, 자잘한 인턴 경험 2-3번, NLP 학부 연구생 프로젝트 참여, 데이터 엔지니어링 6개월 부트캠프 과정 수료 정도입니다. 감사합니다.

데이터 엔지니어가 되기 위한 여정 관련 조언을 구합니다!

안녕하세요. 최근 취업 및 진로에 관련된 고민을 겪고 있는 4학년 소프트웨어학과 전공생입니다. 최근 데이터 엔지니어 커리어에 관심이 생겼는데 주변에 이와 관련해서 조언을 구할 분들이 없더군요... 주된 고민은 '데이터 엔지니어로서 커리어를 시작하려면 어떻게 해야 하는가?' 인데 제 백그라운드를 고려한 조언은 아닌지라 저에게 맞는 조언을 받으면 좋을 것 같아 글을 남기게 되었습니다. [활동이력 및 계획] - 대학교 2학년 때, 연구에 흥미가 생겨 데이터 마이닝 관련 연구에 참여했었고 3학년 때는 해외 연구도 관심이 생겨 1~2개월 정도 해외 대학에서 진행하는 NLP 관련 연구에 참여해 보기도 했었습니다. - 개발 경험도 해보고 싶어 작년 겨울 기회가 되어 인공지능 관련 AI 스타트업에서 퍼블릭 클라우드 서비스 구현 관련 프로젝트의 백엔드 인턴으로 활동했습니다. - 최근 계획으로는 학교에서 지원해주는 단기 부트캠프에 참가하려고 합니다.(데이터 관련 부트캠프는 아니라서 다른 기회가 생기면 어떨지는 모르겠습니다) 그리고 관심이 가는 오픈소스 SQL, DB 프로젝트를 발견해 여유가 되면 기여를 해보려고 합니다. [사용 가능한 기술 스택] - 언어: python, rust - DB: MySQL, PostgreSQL - 개발환경: Ubuntu - 인프라: docker, aws - 프레임워크: Django, Serverless, 더 있긴 하지만 자신이 없거나 프로젝트 및 실무에 적용해본 경험은 없어서 이 정도네요... 위와 같은 상황에서 다음과 같은 의문 및 고민들이 생기더군요. 1. 데이터 엔지니어가 되기 위해서는 어떤 활동을 해야 하고 어떻게 포트폴리오를 준비해야는지 2. 4학년 졸업과 동시에 취업을 하는 것을 목표로 하고 있는데 현실적으로 어려운 것인지 3. 시니어 엔지니어가 주니어들에게 요구하는 가장 중요한 역량이 무엇인지 4. 데이터 엔지니어는 일에 관점에서 주로 어느 부분에서 어려움을 느끼는지 5. 차후 데이터 사이언티스트로 커리어를 이직하는 케이스가 있는지 그리고 많이 어려운지 6. 어느 정도 연구의 성격도 띄는 일이 존재하는지(사실 개발도 하면서 연구 느낌의 일도 해볼 수 있다고 생각되어 관심을 갖게 된건데 만약 아니라면 음....) 현재 저와 같이 데이터 엔지니어가 되기 위해 고군분투 중이신 분들의 조언도 좋고 현직에 계신 엔지니어의 분들의 조언은 해주시면 정말 감사하겠습니다!

이직에 대해서 질문이 있습니다.

데이터 분석(ML,DL 엔지니어, 데이터 엔지니어, 데이터 분석가) 분야에 관심이 있으나 현재 직장에서는 전혀 다른 업무를 하고 있어 1-2년 내 이직을 고려하고 있습니다. 저는 대학교(산업경영공학부) 학부연구실에서 산업인공지능, 데이터 마이닝을 공부했고 데이콘 경진대회를 통해서 알고리즘 개발 경험을 쌓았습니다. 그리고 경진대회에서는 시각인공지능을 주력으로 3차례 수상을 한 적이 있습니다. 졸업과 동시에 취업을 해서 현재는 데이터 분석(시각화)쪽의 Tableau도 공부를 하고 있는 상황입니다. (그만큼 이 분야에 대한 관심과 애정이 많습니다.) (왜 당장 이직을 하지 않고 ??)1-2년 내로 이직을 고려하는 이유는 저희 회사가 현재 ERP를 변경하는 중이며 향후 데이터를 사용한 신규 사업발굴등이 향후 계획에 있기 때문입니다. 이 계획에 제가 참여해 주도할 수 있는 기회가 있다면 남을 예정이고 그렇지 않다면 이직을 할 예정입니다. 궁금한 점은 1) 이 상황에서 이직을 고려하는 기간이 1-2년이 타당한 것인지? 2) 이직을 하기 위해서 준비를 해야 하는 부분은 어떤게 있는지? - ML/DL 엔지니어와 데이터 Analystics 각각 궁금합니다. 3) 이직을 한다면 서울과 경기도권으로 이직을 생각중입니다. 대학원이라는 선택지는 어떻게 생각하지는지 궁금합니다. (확인을 원하신다면 제 포트폴리오를 보내드릴 수 있습니다.) 커리어리에서 많은 조언을 구할 수 있기를 바랍니다. 감사합니다.

[신입]Next.js로 백엔드 없이 작업 중인데 업무 범위와 연봉이 고민

처음에는 리액트로 작업을 시작하려 했지만, 작업을 시작해보니 db만 덩그러니 있는 상태였고, API나 명세서 같은 기본적인 개발 환경이 전혀 갖춰지지 않은 상태였습니다. 통상적인 방법으로는 리액트만으로 구현이 어렵다고 판단해 Next.js로 전환하여 데이터를 받아와 사용하고 있습니다. 업무를 진행하며 백엔드 개발자 구인 여부를 문의했으나, 회사에서는 당장 백엔드 개발자를 채용할 계획은 없고, 데이터 엔지니어 한 명으로 충분할 것 같다는 답변을 받았습니다. 이에 따라 현재는 Next.js를 메인 기술 스택으로 사용하며, 추후 로그인/회원가입 같은 기능도 작업하려고 계획 중입니다. 궁금한 점 Next.js로만 프로덕트를 구성한 사례가 있는지 현재 별도의 백엔드 언어를 사용하지 않고 Next.js만으로 작업 중입니다. 이런 방식으로 프로덕트를 운영하는 사례가 있는지 궁금합니다. 업무 범위에 대한 의문 당초 프론트엔드 개발 업무로 시작했지만, API 구성 등 사실상 백엔드 작업에 가까운 업무 범위까지 포함되어 있는 상황입니다. 이를 고려할 때, 제가 맡게 된 업무가 일반적인 프론트엔드 업무 범위를 넘어선다고 생각되는데, 이 점에 대한 다른 분들의 의견이 궁금합니다. 연봉 및 근로 조건 연봉 적정성: 한달 전 쯤 이곳에서 프리로 일하면서 최소 연봉 3,000만 원 이상은 받아야겠다고 말했었고, 현재 계약서에는 식대 포함 연봉 3,000만 원으로 명시되어 있습니다. 추가적으로 5인 미만 사업장의 조건으로, 연차, 공휴일, 연장 근무 시 가산 수당에 대한 언급이 없습니다. 이런 조건에서 연봉 3,000만 원이 적절한 수준인지 궁금합니다. 요약 Next.js로만 프로덕트를 구성하는 사례에 대한 정보 업무 범위가 확대된 상황에 대한 타당성 연봉과 근로 조건의 적정성

데이터 엔지니어 신입

안녕하세요. 현재 4학년을 앞두고 있는 인서울 중위권 소프트웨어 전공생입니다. 저는 데이터 엔지니어 진로를 희망하고 있는데요. 학부 시절 열심히 학교생활에 참여했으나 막상 결과적으로 이룬 것은 스프링부트를 이용한 앱개발(졸업작품) 하나입니다. 그래서 휴학 후, 데이터 엔지니어링 부트캠프도 수료하려고 합니다. 1. 신입 데이터 엔지니어의 수요가 많이 적은데 경력이 없이도 취업을 시도할 만 한지 2. 둘다 어렵지만 상대적으로 따지면 신입 기준 데이터 분석가가 엔지니어보다 수요가 많은지 궁금합니다. 아무래도 학교 과정에서는 경험해보기 힘든 분야이다보니 조금 막막한 감이 있네요..

첫 직장의 중요성 및 연봉

안녕하세요, 24년 2월에 컴공 졸업했습니다. AI 엔지니어로 대기업에서 인턴을 한 경험을 살리기 위해 인공지능 분야로 취준을 하다 데이터 엔지니어링에 관심이 생겨 부트캠프를 듣고 있습니다 . 부트캠프를 들으면서 현재도 여러 회사에 지원 중인 상황입니다. 면접도 여러군데 봤고 합격한 곳도 여러 군데 있었지만, 그 당시에 제가 하고 싶은 AI나 데이터 관련 직무가 아니라 거절을 했습니다. 하지만, 요즘 여러가지 생각이 듭니다. 전공생인데 취업 안하고 부트캠프 끝나면 11,12 월인데 이래도 되나? 부트캠프 들어서 원하는 데이터 엔지니어로써 중견, 대기업에 바로 들어갈 수 있을까? 전공생인데 부트캠프 듣는 것에서 오는 현타, 그리고 취업 시장이 안좋은 만큼 경력을 6개월~1년 쌓아서 중고신입으로 지원하는 것이 더 낫나? 등등 데이터에 관심이 있어 부트캠프를 듣고 있지만, c++에 흥미가 있고 제어에도 관심이 있다보니 제어 관련 중소에서 제안한 포지션 면접을 봤습니다. 위에서 말한 여러 생각들에 의해 그냥 중소에 들어갈까 고민이 됩니다. 근데 막상 합격한 중소에 들어가자니 연봉이 낮아 문제입니다. 개발자는 첫 직장, 연봉이 중요하다 들었는데 중소에 연봉이 식비 포함 3천 중반입니다. 합격했지만 거절했던 회사들은 연봉이 한 곳이 3천 후반 나머지가 4천 중 후반이였는데, 이러면 관심있는 직무만으로 이 회사에 들어가는 것에 현타? 비슷하게 옵니다. 데이터 엔지니어링에 관심이 있어 합격했던 회사들을 포기한 만큼 부트캠프에서 열심히 준비하고 취업하는 것이 좋을까요? 아니면 지금이라도 경력을 쌓으며 중고 신입을 준비하는 것이 좋을까요? 물론 사람마다 생각하는 방식이 달라 정해진 답변이 없다는 것을 알고 있습니다. 하지만, 결정하는데 조금이라도 도움이 된다고 생각합니다... 선배님들의 의견 부탁드립니다.

안녕하세요 데이터 엔지니어분들께 질문드립니다. 데이터 플랫폼을 구축하려고 하는데 데이터 수정이 생길 경우는 어떻게 대응을 해야할까요?

어떤 설정 값을 유저들이 많이 사용하는지를 알려는 대시보드를 만들려고 합니다. 설정값이다보니 업데이트에 대한 로그가 많이 나올텐데 그렇다면 데이터를 누적시키는 데이터 플랫폼의 특성상 처리하기가 좀 까다로울 것 같습니다. 데이터 엔지니어분들은 업데이트가 될 수 있는 데이터를 따로 처리하실 때 어떤 방식으로 하시는지 궁금합니다.

데이터 엔지니어에 대해서

현재 AI학부 2학년 재학중인 학생입니다. 3학년 때 AI와 빅데이터 중에서 빅데이터로 전공을 정하고 나중에 데이터 엔지니어에 대해 생각이 있는데 지금은 기초가 다져진 것이 없어서 백엔드 먼저 시작해도 될지 궁금합니다. 저의 전공을 살리기에 데이터 분석, 엔지니어 중 무엇이 더 적합한지도 궁금합니다. 또 혼자 공부하는 법을 잘 몰라 과외에 대해 어떻게 생각하시는지 궁금합니다..!

빅데이터 직무 관련 대학생 3학년의 고민입니다

안녕하세요 저는 현재 대학교 3학년 2학기를 다니고 있는 컴퓨터학부 복수전공하는 학생입니다 커리어리에 진로를 고민하며 2년전에 질문글을 남겼었는데, 진로 고민을 끝내고 빅데이터로 진로를 정하였습니다. 그 때의 답변이 많은 도움이 되어서 진로 고민을 확정한 이 시점에 또 다른 고민이 생겨서 다시 한번 질문을 남겨봅니다. 현재까지 저는 운영체제, 네트워크 등 강의를 수강하고, 백준을 꾸준하게 풀며, 안드로이드 프로젝트 하나, 스프링 프로젝트 하나 이렇게 진행 중에 있습니다. 그리고 현재 저는 바이오 관련해서 데이터 사이언티스트 혹은 데이터 엔지니어 쪽을 희망합니다. 데이터 직무를 꿈꾸게 된 계기는 다음과 같습니다. 방학동안에는 반도체 공정관련해서 간단한 데이터 품질 예측 모델 대회에 참가하며 흥미를 느꼈었습니다. 어느정도 도메인에 대한 전문성을 가지고, 본인만의 로직과 AI 기술까지 다룰 줄 알아야 한다는 점이 제가 바라는 직업의 모습과 일치하였고, 생명공학에서 일하고 싶다는 저의 작은 꿈을 합칠 수 있다는 점에서 이 진로를 최근에서야 꿈꾸게 되었습니다. 다만 이 직업이 대학원을 가는 것이 추천되기도 하고,그렇다면 대학원 컨택하기에는 늦은 감이 있나 싶기도 하고, 캐글 대회에 자주 참여하는 것이 좋은 것인지 이 직무 관련하여 활동이 많이 없어서 걱정되기도 합니다. 바이오 도메인을 원하지만 필요로 하는 기업이 많지 않아보이기도 해서, 전망이 어두울까봐 고민입니다 그럼에도 불구하고 이 길을 선택해도 되는지, 현직자분들께서는 어떻게 생각하시는지 궁금하여 질문을 남깁니다. 더불어 어떻게 준비해야 좋을지도 간략하게 알려주시면 정말 감사할 것 같습니다

혹시 로봇업계에서 데이터 엔지니어,데이터 분석가 직무를 채용하마요?

대학에서 통계학을 전공했습니다. 데이터 엔지니어, 데이터 분석가로 일을하고 싶습니다. 관심있는 도메인이 로봇업계인데 로봇업계에서 데이터 엔지니어, 분석가 직무를 채용하나요?? 알아본 결과는 석박 이상의 ai, 머신러닝만 조금 있네요

데이터분석가를 준비하는데 있어서

데이터분석가라는 직무를 이번에 알게되서 준비하려고합니다. 데이터분석가를 준비하는데 학력이 중요하다고 하는데 전문대컴공학력이 전부입니다. 학점은행제를 통해서 학사학위를 취득하는게 맞을까요 아니면 ADSP자격증을 준비하면서 데이터분석관련 공부를 하는게 맞을까요? 데이터분석가중에 데이터 엔지니어와 데이터사이언티스트도 있던데 검색하면 할수록 이해가 잘 안되는데 셋다 비슷한 직무일까요?

데이터 엔지니어 경로 질문 신입 vs 경력

안녕하세요. 현업 데이터엔지니어 분들은 직무 또는 공부를 어떻게 시작하셨는지 궁금하여 질문을 남깁니다. 저는 데이터 엔지니어를 지원하고 있는 중인데, 관련 SQL, java를 활용하여 데이터 관리 시스템을 개발한 경험이 있습니다. 궁금한건 취업준비시 데이터 품질 업무도 관련 경력이라 인정을 해줄까요?? 아니면 아예 처음부터 토이프로젝트를 다시 시작해야될까요. 현재 제 상황은 이렇습니다. - 경력이 it솔루션 기업에서 5년정도 데이터 관리시스템을 개발함. - 데이터 엔지니어로 취업하기 위해 강의를 듣고 있음 - 데이터 엔지니어 프로젝트 경험은 없음 조언 감사드립니다!

취준 개발알바를 해보는게 나을까요?

올해 2월에 졸업을 하고 현재 취업 준비중입니다. 가고싶은 분야는 딱 정한건 아니지만 웹크롤링에 관심이 많아서 관련 데이터 수집이나 크롤링 관련 분야로 가고 싶은데요. 크롤링이라 데이터, 백엔드랑도 연관이 어느정도 있는데 벡엔드로는 지식이 부족하고, 부트캠프는 ai, 데이터쪽을 경험해서 어쩌면 데이터 엔지니어 분야를 선택하는게 맞는건가 싶은 생각도 듭니다. 어찌됐건 현재 크롤링 관련 경험을 더 쌓고싶긴 한데 마침 한 곳에서 한 달 정도 크롤러 개발 프로젝트를 진행한다는 공고가 올라와서 들어가서 경험해보는게 좋을까요, 아니면 준비한대로 계속 다른곳 이력서를 넣는게 나을까요 한달밖에 안하는 기간이라 괜히 했다가 준비기간을 날릴까, 이것도 개발 경험이라고 한번 해보는게 나은지 고민되네요. 주변에 이런 고민을 털어놓을 사람이 없어서 올려봅니다.