#airflow

대학원에서 개발자로 커리어 고민

공학계열 대학원 다니다가, 현제 중소기업에서 유일한 데이터 /IT 팀으로 근무 중입니다. 대학원에서는 C++, C#으로 계측기기 GUI 만들고, 임베디드 개발, 비전(SLAM)관련 연구하다가 연구 비중 보다는 개발 비중은 많이 높은데 반해 연구자로 일할 수 있는 분야가 좁기도 하고, 졸업하면 지방 근무 확정이라눈 생각에 석박 과정 중 석사 전환하고 지금 석사 수료인 상태입니다. 한 3 년 가까이 GUI 개발하면서 CS 수업 온라인으로 수료도 했습니다. 타과 CS 수업 듣기도 했고요. 그러면서 개발자에 대한 열망이 더 커진것 같습니다. 어찌하다가 데이터팀 없는 제조업? 농업?회사에 취업하게 됐는데 (지인 추천+주도적으로 일 할 수 있는 분위기), 아무래도 개발 쪽 인력이 한 명도 없다 보니 1 년 가까이, 전략, 기획, 서류, 개발, 인프라까지 다 도 맡아서 하고 있습니다. 지금 한 프로젝트로는 Django이용한 수발주사이트 개발, 배포, 공정 데이터 분석, Airflow 구축, 경매 데이터 수집 정도 했습니다. 혼자서 일을 많이 하면서 지치기도 했지만, 혼자 하면 배울게 많다는 생각에 꾸역꾸역하고는 있습니다. 하지만, 최근에 쫌 말도 안되는 신 산업(전사 IT 구조 개선, 스마트팜 솔류션 개발) 설계하고 경영진 한테 보고 작업을 하면서 지속적으로 PM 역할을 요구하시는데, 잘 해내기 어려울 것 같기도 하고. 이전 프로젝트들이 마무리 안된 상태에서 새로운 프로젝트하기가 버겁습니다... 더구나, 개발을 하고 싶어서 도전한 상황에서, 첫 6개월은 개발 쪽에 집줄하다가 전략, 기획 쪽 업무를 하다보니 개발보다 PPT 엑셀 업무가 더 많아진 상황입니다. 물론 중요하긴 하지만, 제가 잘하는 것도 아니고 해 봤던 것도 아니라 부담감이 큽니다. 그래서 앞으로 어떻게 할지 전략을 새우려고 하는데, 여러분의 생각이 궁금합니다. 1. 최대한 현재까지 한 프로젝트+실력 기반으로 저년차 경력직 혹은 중고 신입 개발자로 이직. 2. 버티면서, 개발자는 혼자니 이직에 도움되는 프로젝트만 중심으로 수행하면서 실무 경력 쌓기 3. IT 전략 기획으로 직무 생각해서 아애 PM으로 전문성 기르기. 정도일 것 같습니다. 아무래도 새로운 걸 배우고, 실제 문제에 적용하는걸 좋아하다보니 지속해서 머리로 일할 수 있는 전문가되고 싶습니다.

airflow ui 에서 mysql connection 시 오류발생 (도와주세요 ㅠㅠ)

airflow ui 에서 mysql 을 connection 하면 "Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)" 오류가 발생하는데 구글링, stackoverflow, chat-gpt 에서 나온 온갖 방법들을 다 동원해도 해결하지 못하고 있습니다. airflow 는 docker 에서 실행중이고 mysql 은 local 에서 실행 중 입니다. 윈도우 환경입니다 ㅠㅠ 관련해서 해결하신 경험 있으신 분 계신가요 ..? 도움 받을 곳이 없어서 질문 올립니다 ㅠㅠ

airflow xcom_pull() 이 None 을 리턴합니다 (오류)

api 를 만들고 Airflow 를 사용해서 ETL 파이프라인을 만드는 도중에 생긴 문제인데요, simplehttpOperator 로 api 에서 결과를 가져왔고 (성공), 결과값을 transform 하려고 simplehttpOperator 를 xcom_pull 하는 코드를 짰습니다. (코드는 아래와 같습니다.) def _processing_api(ti): if not len(assets): raise ValueError('empty') assets = ti.xcom_pull(task_ids = 'extract_riot_api') 결과는 ValueError 를 리턴했습니다. 이유를 찾으려고 riot api 에서 테스트를 시작했고 riot api 웹에서 얻어지는 리턴값을 airflow UI 의 simplehttpOperator 의 xcom 에서 key - return_value , value - [{}, {}, ...] json 형식의 값을 확인할 수 있었는데, 역시 xcom_pull 을 한 결과가 ValueError 였습니다. extract_data 는 api 에서 json data 를 가져오는 코드이고 _processing_api 함수는 pythonoperator 에서 쓰려고 만든 코드입니다. stackoverflow, airflow docs 등을 3~4 일 정도 본 것 같은데, 해결하지 못했네요.. 비슷한 경험을 해결하셨던 분 계신가요 ..? 어디 물어볼 곳도 없어서.. 여기에 마지막으로 올려봐요. 아시는 분 도움주시면 감사하겠습니다

Airflow로 selenium 덱 생성 시 driver.quit()을 하면 무한 running 현상

안녕하세요. 혼자 airflow로 연습을 하던 중 문제가 발생하여 질문드립니다. 하나의 테스크로 selenium을 이용한 크롤링 코드를 구현했습니다. 크롤링 코드를 하나의 파이썬 파일로 실행하게 되면 이상없이 작동이 됩니다. 하지만 task로 등록하여 실행을 할 경우 driver.quit()을 만나면 break로 이동하지 않고 그 상태에서 계속 running인 현상이 일어납니다. 이 이유에 대해서 알고 계신분 도와주세요 !!

데이테 엔지니어가 되고 싶은데 어떻게 준비해야할까요…

1년 8개월 정도 소프트웨어 엔지니어 경험을 마치고 데이터 엔지니어로 진로를 잡아보려고 합니다 근데 막연히 준비하려니 어렵네요…경력이 꽤나 데이터 엔지니어랑 연관이 있다고 생각했지만 이력서에서 번번히 탈락하기에 도움을 구하고 싶어 적었습니다… 어떤 걸 준비해야할 지 또 경력으로 했던 기술 스택들이 도움이될까 질문해봅니다! 경력) 1) Elasticsearch를 통한 자사 솔루션 테스트 환경 및 테스트 데이터 수집 2) 통합검색 서비스 elasitcsearch를 통해 구현 3) Airflow 자사 솔루션 테스트를 위한 사용경험(데이터 마트 생성) 자격증) 데이터 분석 준 전문가 Cka