#크롤링

텍스트 전처리 및 분류 태스크에서의 LLM 활용 방법

안녕하세요 현재 Text classification 을 진행해야 하는 상황입니다. 단순히 아웃풋만 가져오기보다는 나중에 아이템이 새로 생겼을 때 인퍼런스도 진행해야 되는데요. 현재는 크롤링된 글 1200개 가량 정도 보유하고 있지만 지속적으로 늘어날 것입니다. 이 부분에서 LLM을 활용하는 것이 좋을지 판단해주시면 좋겠습니다. 아래는 저의 고민사항들입니다. 1. 기술적 역량을 기르기 위해 시작하는 프로젝트인데 LLM에게 텍스트 전처리, 분류까지 맡기는게 맞을까요? 2. 제가 생각하는(알고 있는) 방법은 LLM API를 호출해서 처리하는 방법인데 그렇게 한다면 속도나 비용 측면에서 손해를 보지 않을까? (Batch 형식으로 하지는 못할까?) 3. 회사들 중에 LLM을 활용하여 어떠한 태스크를 진행하고 있다는 글들은 자체적으로 Fine Tuning한 LLM을 활용하고 있는 것인지? 4. 물론 어느 정도의 전처리가 들어가겠지만 프롬프트로 input 관리부터 output 까지 관리할 수 있는지? llm을 처음 활용하는 것인데 개념이 잡히지 않은 것 같아 이런 고민들이 생기는 것 같습니다. 많은 조언 주시면 감사하겠습니다!

백엔드 개발자 다른 언어로 이직

안녕하세요. 자바를 공부하고 있는 신입 백엔드 개발자입니다. 취업을 하고자 하는 회사의 업무가 백엔드 개발자라고는 하지만 마케팅팀에 속해 파이썬으로 웹 크롤링하거나 자동화 툴을 만드는 업무를 하는 것 같습니다. 만약 이 회사를 다니다 추후에 이직을 하게 될 때, 경력이 자바도 아닌 파이썬을 사용했고, api 개발도 아닌 크롤러나 자동화 툴을 개발했는데 경력이 인정이 되고 이직이 될까? 라는 고민이 생겼습니다.. 이직을 할 때, 다른 프로그래밍 언어이고 웹 개발이 아니라 많이 어려울까요? 어떻게 해야할지 모르겠어요..

프론트엔드 공부중인 취준생이 백엔드 공부해도 될까요?

프론트엔드 공부중입니다. 사용하는 스택은 react, next, typescript 정도구요. 현재 진행되는 개인 프로젝트는 supabase 라는 서버리스 서비스를 이용해서 백엔드를 대체하고 있습니다. 근데 문득 드는 생각이 제가 나이도 좀 있고, 공백기도 제법 길어서 단순히 crud 되고, 몇 개의 추가적 기능(ex. 크롤링을 통한 데이터 수집, 웹소캣 활용한 채팅기능)을 추가해도 뭔가 경쟁력이 없는 지원자로 보일 거 같더라고요. 그래서 프론트가 백의 흐름을 어느정도 알 필요성이 있기도 하고, 그런 이유를 내포해서 백 공부를 한 번 해볼까 생각해보았습니다. 다만 심도깊은 프로젝트는 프론트 쪽 구현만으로도 벅찰 거 같아서 단순한 프로젝트를 풀스택개발로 진행해볼까 생각하고 있는데요. 괜찮은 생각일까요? 취준기간에 괜히 다방면으로 건들여서 괜히 귀중한 시간을 낭비하는 건 아닐지...이런 부분때문에 고민이 됩니다.. 또 만약 공부를 한다면 개인적으로는 noSQL 보다 SQL 쪽으로 공부해나가는게 맞다고 생각하는데 그러면 언어를 또 새로 배워야하는지요 ? (보통 대중적인 java 를 많이 쓰더라고요)

인턴 6개월 vs 인턴 3개월 + 부트캠프

현재 인턴 3개월 끝나가고 있고 재계약 앞둔 상황입니다. 업무가 순수 자바코드로 크롤링하는 것이라,,,, 백엔드가 아니에요. 저는 이제까지 모든 준비를 백엔드로 했었고요. 인턴을 지금 끝내고 부트캠프를 들어갈 지 3개월 더 할 지 고민중이에요. 부트캠프는 합격했는데 면접도 없고 코테도 없고 그냥 자소서?만 쓰면 붙더군요;; 그래서 이 부트캠프가 맞는 길인지 더 고민됩니다. https://deepdive.goorm.io/backend?fbclid=PAZXh0bgNhZW0BMAABpjHIZRMHewb7dfAqO232ku-XBNrgUg5l2Nj_FyKu76ShzzC9Nj8d3KqaIQ_aem_sqfdO-beJ_ku9rfoTBGJkw 현재 구름톤 카카오 딥다이브 백엔드 과정을 합격한 상태입니다. 전에 구름톤에서 진행했던 구름톤 트레이닝은 사람들 인프런 강의만 주고 방치했었단 얘기도 있어서 불안하네요. 그냥 인턴 더 하는게 좋을까요? 아니면 부트캠프를 하는게 좋을까요? 차라리 다른 인턴을 하는게 나을지,,,, 어떤 선택을 해야 더 매력적인 이력서를 가질 수 있을까요ㅠㅠ

신입 백엔드 개발자 이력서 질문 및 피드백 요청드립니다!

백엔드 개발자로 근무하길 희망하는 취업준비생입니다! 이력서 작성에 왕도는 없겠지만, 선배님들이 어떻게 작성했는지 혹은 채용자 입장에서 괜찮은 이력서를 찾는 기준이 무엇인지를 많이 찾아보다보니까 오히려 머리가 복잡해지는 것 같아서 최대한 제 얘기를 담은 이력서를 작성하려고 노력중입니다. 다만, 제가 작성하는 방법이 채용자가 원하는 방법이 아닐 수 있기에 몇가지 질문과 가능하시다면 피드백 해주실 수 있는 선배님들이 계실까 해서 글 남겨봅니다. Q1. 이력서 내 프로젝트에서 기여 혹은 개선사항을 작성할 때 사용한 기술을 상세히 적으며 풀어나가는 것이 좋을까요 혹은 어떤 점을 어떻게 개선했는지 포괄적으로 작성하는게 좋을까요? ex) 사용자 인증 정보를 RedisTemplate의 opsForValue 메소드를 통해 캐싱하여 DB 호출 횟수 4회 -> 1회로 최적화 vs Redis를 활용한 사용자 인증 정보 캐싱으로 DB 호출 횟수 4회 -> 1회로 최적화 (적절한 예시일지 모르겠지만 생각나는대로 적어봤습니다,,ㅎ) Q2. 직무와 연관되지 않았지만 활용될만한 기술스택은 작성하는 것이 좋을까요 아니면 제외해도 괜찮을까요? ex)Scrapy, Selenium등의 크롤링 툴, 프론트엔드 기술 Q3. 이력서 외에 자기소개서 내용에서 기술적인 얘기를 많이 담는 것이 좋을지 항목에 맞는 에피소드로 자신을 드러내는 것이 좋을지 궁금합니다! (자기소개서를 읽는 채용자는 기술에 대해 자세히 모를 수 있다는 얘기도 들어봐서 고민되는 부분입니다. 1번 질문의 의도와 비슷한 내용일 것 같네요.) 이외에도 혹시 개인적으로 피드백 해주실 수 있는 분이 계시다면, 이력서 공유 해드리도록 하겠습니다! 요즘 힘든 시간을 보내고 있는데 도움 주실 수 있으시다면 정말 감사할 것 같습니다. https://drive.google.com/file/d/1LFqNNNQ3skF26xInwbYzxjZOGIlzE0lQ/view?usp=drive_link 링크 첨부를 했는데 반영이 안돼서 다시 질문 드립니다..! 감사합니다!

신입 백엔드 개발자 이력서 관련 질문

백엔드 개발자로 근무하길 희망하는 취업준비생입니다! 이력서 작성에 왕도는 없겠지만, 선배님들이 어떻게 작성했는지 혹은 채용자 입장에서 괜찮은 이력서를 찾는 기준이 무엇인지를 많이 찾아보다보니까 오히려 머리가 복잡해지는 것 같아서 최대한 제 얘기를 담은 이력서를 작성하려고 노력중입니다. 다만, 제가 작성하는 방법이 채용자가 원하는 방법이 아닐 수 있기에 몇가지 질문과 가능하시다면 피드백 해주실 수 있는 선배님들이 계실까 해서 글 남겨봅니다. Q1. 이력서 내 프로젝트에서 기여 혹은 개선사항을 작성할 때 사용한 기술을 상세히 적으며 풀어나가는 것이 좋을까요 혹은 어떤 점을 어떻게 개선했는지 포괄적으로 작성하는게 좋을까요? ex) 사용자 인증 정보를 RedisTemplate의 opsForValue 메소드를 통해 캐싱하여 DB 호출 횟수 4회 -> 1회로 최적화 vs Redis를 활용한 사용자 인증 정보 캐싱으로 DB 호출 횟수 4회 -> 1회로 최적화 (적절한 예시일지 모르겠지만 생각나는대로 적어봤습니다,,ㅎ) Q2. 직무와 연관되지 않았지만 활용될만한 기술스택은 작성하는 것이 좋을까요 아니면 제외해도 괜찮을까요? ex)Scrapy, Selenium등의 크롤링 툴, 프론트엔드 기술 Q3. 이력서 외에 자기소개서 내용에서 기술적인 얘기를 많이 담는 것이 좋을지 항목에 맞는 에피소드로 자신을 드러내는 것이 좋을지 궁금합니다! (자기소개서를 읽는 채용자는 기술에 대해 자세히 모를 수 있다는 얘기도 들어봐서 고민되는 부분입니다. 1번 질문의 의도와 비슷한 내용일 것 같네요.) 이외에도 혹시 개인적으로 피드백 해주실 수 있는 분이 계시다면, 이력서 공유 해드리도록 하겠습니다! 요즘 힘든 시간을 보내고 있는데 도움 주실 수 있으시다면 정말 감사할 것 같습니다. 감사합니다!

[백엔드 개발자] 계약직vs취직 준비 고민입니다.

현재 보안관련 중소기업에서 3개월 인턴이 끝나는 시점에 놓여진 백엔드 개발자입니다. 3개월동안 홈페이지 제작(Q&A 기능 및 기본적인 홈페이지 CRUD), 보안 모듈 포팅 작업, 크롤링 기능 추가 및 서버 구축과 같은 업무를 하였습니다. 인턴이 끝나는 시점에 정규직이 아닌 계약직 권유를 받았는데요. 찾아보니 중소기업은 계약직과 정규직이 큰 차이가 없다는 얘기가 있기도 하고, 커리어적으로 이 회사를 좀 더 다니면서 이직 준비를 천천히 하는 것이 맞을까 아니면 인턴 끝나고 바로 취직 준비를 하는 것이 맞을까하는 고민이 생겼습니다. 만약 계약직 근무를 하게 된다면 프로젝트는 최소 2개정도 진행할 것 같고(현재 맡은 프로젝트가 2개입니다), 1개에선 단순 보안모듈 포팅 작업, 1개는 어플리케이션의 메인 백엔드 개발자로 들어갈 것 같습니다. 1년간 계약직으로 일하는 것이 커리어적으로 도움이 될까요? 아니면 인턴 끝나고 바로 취직준비를 들어가야할까요?

이력서에 첨삭할 진행했던 프로젝트들 내용을 보다 더 잘 적고 싶어요.

이력서에 첨삭할 지금까지 진행했던 프로젝트들 내용을 적고 있는데 한눈에 보기 쉽게 큰 범주로 적기에는 너무 포괄적으로 적는것 같고 개발한 기능들을 세부적으로 적거나 해당 프로젝트 진행 후 낸 성과들을 다 나열하면 내용이 너무 길어지는것 같아서 어느정도로 구체화해서 적어야될지 헷갈려서 조언을 구해 봅니다. 아래는 지금 작성된 내용입니다. 현재는 프로젝트별로 포괄적으로 적거나 좀 더 디테일하게 적거나 기준점을 못찾은 상황입니다. [ 2022. 12 ~ 2022. 01 • 프로젝트 명 : 집 클릭 • 주요 설명 : 전세임대 지원 사이트로 권리분석을 의뢰할 수 있는 사이트 • 담당 업무 : 자사 서비스 웹 크롤링 기능 개발 -puppeteer 사용 등기부등본 발급 자동화 웹 크롤링 작업 • 기술 스택 : Node.js 2023. 06 ~ 2023. 07 • 프로젝트 명 : 브릭 인프라 • 주요 설명 : 자사 서비스 종합 관리 사이트 • 담당 업무 : 자사 어드민 프론트엔드 개발 • 기술 스택 : React 2023. 08 ~ 2024. 06 • 프로젝트 명 : 키오 솔루션 • 주요 설명 : QR 주문 결제로 보다 편리한 결제 시스템을 이용할 수 있는  솔루션 • 담당 업무 : 자사 솔루션 "키오" 활용 서비스 개발 및 운영 유지 보수 - 메뉴형 결제 서비스 "키오브릭" 프론트엔드 유지 보수 - 금액입력형 결제 서비스 "스마트 노점" 프론트엔드 개발 및 - 해당 서비스 관련 어드민 풀스택 유지 보수 - 자사 어드민 풀스택 유지 보수 • 기술 스택 : React, GraphQL, Node.js, MySQL 2023. 09 ~ 2024. 06 • 프로젝트 명 : 오늘 우리 가게 • 주요 설명 : 자영업자 대상 매출, 리뷰, 주문 현황, 광고 현황 분석 앱 • 담당 업무 : 자사 서비스 오늘 우리 가게 기능 개발 및 운영 유지 보수 - React Native 앱 메인 화면 개발 - 전체 React Native 앱 기반 프로젝트 WebView 기반 프로젝트로 전환 작업 진행 - 리뉴얼 된 WebView 구성 화면 프론트엔드 개발 - 우리 가게 리뷰 듣기 TTS 하이브리드 기능 개발 - 네이버 클라우드 이용 카카오 알림톡 서비스 벡앤드 유지 보수 - 앱 테스트 및 배포, CodePush 작업 진행 • 기술 스택 : React Native, MobX, React, Redux, TypeScript, Next.js, Node.js, MySQL 2023. 11 ~ 2024. 02 • 프로젝트 명 : 빌딩 CAS • 주요 설명 : 건물 내 입주사들을 위한 공지, 관리비 결제 및 장터 커뮤니티 기능을 제공하는 앱 • 담당 업무 : 외주 서비스 빌딩 CAS 프론트엔드 및 앱 개발 - WebView 기반 프로젝트 초기 환경 구축 및 아키텍처 설계 - React Native 앱 메인 화면 개발 - WebView 주요 기능 프론트엔드 개발(소셜로그인, 회원 정보 관리, 관리비 결제, 문의하기, 중고장터 게시판) - 앱 테스트 및 배포, CodePush 작업 진행 • 기술 스택 : React Native, React, MobX, Node.js, PostgreSQL *** 포트폴리오 링크를 통해 더 자세한 내용을 확인 하실 수 있습니다. ]

취준 개발알바를 해보는게 나을까요?

올해 2월에 졸업을 하고 현재 취업 준비중입니다. 가고싶은 분야는 딱 정한건 아니지만 웹크롤링에 관심이 많아서 관련 데이터 수집이나 크롤링 관련 분야로 가고 싶은데요. 크롤링이라 데이터, 백엔드랑도 연관이 어느정도 있는데 벡엔드로는 지식이 부족하고, 부트캠프는 ai, 데이터쪽을 경험해서 어쩌면 데이터 엔지니어 분야를 선택하는게 맞는건가 싶은 생각도 듭니다. 어찌됐건 현재 크롤링 관련 경험을 더 쌓고싶긴 한데 마침 한 곳에서 한 달 정도 크롤러 개발 프로젝트를 진행한다는 공고가 올라와서 들어가서 경험해보는게 좋을까요, 아니면 준비한대로 계속 다른곳 이력서를 넣는게 나을까요 한달밖에 안하는 기간이라 괜히 했다가 준비기간을 날릴까, 이것도 개발 경험이라고 한번 해보는게 나은지 고민되네요. 주변에 이런 고민을 털어놓을 사람이 없어서 올려봅니다.

크롤링 하는 데이터가 많을때는 어떻게 하나요?

데이터 분석 프로젝트 진행중인 대학생입니다 코드 자체는 문제 없이 잘 되는데 가져와야할 데이터가 많아서 실행시간이 너무 길어지는데 분산처리나 병렬처리를 통해 해결할 수 있을까요? 해결할 수 있다면 어떤걸 공부해야할까요?

스프링 부트에서 웹 크롤링 파이썬 코드 호출

스프링 부트에서 웹 크롤링 파이썬 코드를 호출하고 싶은데 호출하려면 따로 장고로 API를 분리하여 스프링 부트에서 장고 웹 크롤링 파이썬 코드를 호출하여야 하나요? 아니면 jyton을 사용하여야 하나요? 추후 웹 크롤링을 하여 해당 데이터로 추천 모델링을 만들어 확장시킬려고 합니다

군인인데 코딩 공부를 하고 싶어요..

기계공학과 1학년까지 다니다가 군입대를 한 상태입니다. 군입대하고 자대배치까지 받으니 짬 시간이 좀 나서 공부를 하고자 '혼자 공부하는 C언어'로 C언어를 공부하고 있어요. 대학교 1학년 때는 파이썬으로 데이터 웹크롤링하는 초보적인 수준까지만 했었구요. 그 외에 들은 수업들은 전부 기초교양이라 전문적인 코딩과는 전혀 연관없었던 거 같아요. 저는 유학을 가서 엔지니어가 되는 게 제 꿈이예요. 기계과지만 코딩 실력도 출중한 사람이 되고 싶어 조금 늦었지만 C언어부터 시작해보고 있어요. 현재 혼공씨는 거의 다 공부했고, 뒷부분을 여러번 읽어보며 공부하는 중입니다. 공부할 만한 책이나 아니면 그 어떤 조언이라도 좋으니 댓글을 남겨주세요

css나 canvas같은데 효과이름을 모르겠습니다.

https://www.does.kr/# 안녕하세요. 읽어주셔서 감사합니다. 이 웹사이트를 보는데 스크롤링 할 때마다 다음 페이지가 넘어오기 전에 잠깐 화면을 가렸다가 다시 나타나는 효과를 뭐라고 찾아봐야 할지 아시는 분 계실까요? 저 효과가 마음에 들어서 한번 따라 만들어보고 싶어서요. canvas로 이루어져 있는 것 같은데 .. 자세히 보면 그 화면 가리는 레이어의 위와 아래쪽이 살짝 일렁이는 것도 있고요. GSAP로 비슷하게 구현이 가능한 것 같던데 유료인거같아서요. 하루 종일 찾아봐도 뭐라고 찾아봐야 하는지 몰라서 여쭈어봅니다!

퇴사한지 반년 넘은 3년차 java 개발자 입니다..

전 회사에서 크롤링으로 혹사당한 후 대상포진까지 걸리고 더는 안되겠다 싶어 퇴사하고 3개월정도 휴식기를 가지고 3개월째 준비하고 있습니다. 총 반년.. 사이드프로젝트도 계속 만들고 있는데 어디까지 손봐야 하는지 감이 잡히지 않습니다.. 코딩테스트는 사실상 준비하지 않아서 과제테스트를 보는 곳으로 생각하고 있는데 3년차로 들어가게 된다면 어떤 것을 해야하는지 혼란합니다. 현재는 spring security, jwt, oauth2 를 이용해 로그인 기능을 구현해 놓은 상태에 docker, aws, jenkins를 이용해 서버에 올리는 정도까지만 진행한 상태입니다.. 찾아보니 redis, kafka 같은 것들도 해야 할 것만 같은데 시간이 없는 상태에서 진행하는게 맞을까요? 테스트코드도 습관이 되어 있지 않아서 혼자서 작성하려니 너무 벅찬 느낌이 듭니다.. 현재하고 있는 것에서 마무리하고 구직을 해도 상관없을지, 더 배우고 채워야 할지 모르겠습니다,,

뉴스 크롤링 질문드립니다.

찾아보니 네이버뉴스 크롤링 이런 정보는 많은데 저는 msn뉴스를 크롤링하고 싶은데 msn쪽은 정보가 없더라구요.. 혹시 msn뉴스 크롤링하는데 참고될만한 자료가 있을까요?

데이터 모음 사이트 기술 원리

안녕하세요, 앱을 이용하다가 문득 궁금한 게 생겼습니다! ‘슥삭’이란 앱이 대외활동, 인턴십 등 대학생들을 위한 정보를 한 곳에 정리해서 제공해주는데요. 어떻게 곳곳에 흩어진 정보들을 가져올 수 있는건가요?? 해당 정보가 올라오는 각각의 웹사이트에서 크롤링 해오는 건지.. 단순 무식한 질문에 답해주셔서 미리 감사합니다!!

파이썬 개발자 취업

스타트업에서 개발 시작해서 2년 채유고 나왔습니다 서버관리, 크롤링 작업, 웹 배포 등등 업무 담당했고 경력 기술서, 포트폴리오, 이력서 준비해서 닥치는대로 지원 넣고 있는데 넣는 족족 떨어지는데 자바를 배우러 학원에 가야되는걸까요

틱톡 해시태그 크롤링 문의

틱톡 해시태그 크롤링을 하려는데 An error occurred: Trending() takes no arguments 계속 이런 오류가 나오네요 뭐가 문제인지 모르겠습니다 from TikTokApi import TikTokApi def crawl_tirtir_hashtag(count=10): try: api = TikTokApi() # Get trending videos for 'tirtir' hashtag tiktoks = api.trending(count=count, hashtag='tirtir', lang='en') for tiktok in tiktoks: print("Username:", tiktok['author']['uniqueId']) print("Video URL:", tiktok['video']['playAddr']) print("Description:", tiktok['desc']) print("Hashtags:", tiktok['challenges']) print("\n---\n") except Exception as e: print(f"An error occurred: {e}") # Example usage crawl_tirtir_hashtag(count=5)

Python 개발자 커리어 고민

현재 python 개발자로 근무하고있습니다 매우 간단한 정도의 장고,플라스크 그리고 AI,크롤링 정도를 업무로 진행해왔습니다. AI 가아닌 백엔드 쪽에 관심이 더 생겼는데 장고 심화과정을 좀 더 공부하면서 JAVA 쪽에 좀 더 집중하여 공부를 해보려고합니다. 자바는 사용안한지 매우 오래되어 기초부터 다시공부할예정인데 그냥 파이썬에 집중해 커리어를 쌓는게 더 효율적일까요? 현 근무지에선 자바를 쓸일이 없습니다. 차라리 nodejs를빠르게 공부하는게 나을까 고민입니다

대학생 2학년 컴퓨터 전공학생입니다

방학이 지나면 3학년이 되는데 이번 방학엔 무엇인가.. 성장을 하기에 적기인것 같아서 무엇을 해볼까 하는 방향성이 고민이 됩니다.. 항상 하고싶은것은 많아서 1학년때나 군대에 있을때 대부분 얇게 배웠던것 같습니다 한창 웹개발에 관심이 있었을때는html,css,js,php,mysql등  생활코딩같은 유뷰브 채널을 많이 보면서 얇게 배우다가 백엔드가 적성에 맞나보다 하여 파이썬을 배우고 나서 크롤링도 해보고.. 장고를 좀 배워보자 하다가 말았구요..  올해는 학점에 신경을 좀 써야겠다고 해서 자료구조,알고리즘,운영체제,유닉스시스템,C++,Java를 열심히 했습니다 자바 재밌더라구요 ㅋㅋ 본론으로 들어가서 이제 무엇을 할까 고민중에있는데 목표를 두가지중 하나로 잡고싶습니다 첫번째로 대학생이 전공을 살려서 알바를 하는 방법이있느냐 입니다.  예전에 sns에서 컴퓨터전공으로 알바하시는 분을 본적이있는데 멋있더라구요 저도 지금 몸쓰는 알바하지않고 전공을 살릴수있으면 배움의 기회도 생기고 얼마나 좋을까 싶은데  어느정도 능력을 쌓고 어떤일을 해야하는지 감이 안잡히고 그래서 대학생이 전공알바를 할 수 있는지도 궁금하고 할 수 있다면 어떻게 하는지도 궁금합니다. 두번째로 생각하고 있는건 아무거나 하자는 생각인데요.. 백준을 시작해서 골드를 찍어보자, 장고나 스프링을 배워서 웹이나 앱개발을 들어가보자, DB공부를 해보자, 고민을 더 해보자(인공지능이니.. 보안이니..블록체인이니 데이터과학이니 등등) 여러분야를 넓게 조사해볼까 하는 생각이고요 하고싶은건 되게 많습니다 ㅋㅋ 막연하네요.. 게임 전직하듯이 빠르게 레벨업하고 전직하고 그런느낌으로 인생살고싶은데 뭘해야할까요.. 방금생각난건데 자격증도 조사해봐야겠네요

안녕하세요 개발자를 꿈꾸는 회계업무 종사자입니다

안녕하세요? 제목과 같이 저는 현재 29살이고 회계직무 종사자입니다. 몇 년간 회계업무만 보다 파이썬을 이용하면 업무자동화가 가능하다고 하여 독학으로 공부를 했습니다. 제가 파이썬을 이용하는 걸 보고 재직 중인 회사 부장님께서 이런 저런 업무 요청을 많이 하며 현재 회계관련 업무보단 파이썬을 이용한 업무를 더 많이 하고 있습니다 현재 나이로 도전하기엔 너무 늦었다는 걸 알고 있습니다. 몸은 계속 아니라고 하지만 머리로는 지금이라도 도전을 안하면 후회가 되겠다는 생각을 많이 하고 있습니다. 그리고 제가 사용하는 파이썬은 다른 언어보다 많이 쉽다는 것도 알고 있고요 최근에 집 근처 중견기업에 제가 파이썬으로 작업한 내용과 진심이 담긴 이력서를 같이 넣었는데 운좋게 서류와 1차합격이 되어 최종면접을 보고왔습니다. 그 회사 대표님도 개발자 출신이다 보니 비전공자 및 흔한 국비지원 수료도 안한 사람이 지원을 한 점과 이러한 이력서를 붙인 채용담당자와 1차 면접관도 이해가 안간다고 하면서 면접 시간 내내 훈수를 받다 끝났습니다. 고용주 입장에서는 당연하다고 생각하지만 제가 조금이라도 지식이 있었다면 어땠을까 라는 후회가 너무 들었습니다. 현재 다니는 회사는 1월중순~2월에 퇴사할 예정이며 그때까지는 "면접을 위한 CS 전공지식 노트" 책과 관련 영상을 보다 퇴사하고는 국비지원 교육을 받아볼까 생각중입니다. 제가 파이썬 및 기타 작업 내용입니다. 1. 네이버 블로그 크롤링 및 자동 협찬 제안 메일 발송 2. 기x총 엑셀 쿠팡 아이템위너 추출기(대표님 요청) 3. 네이버 스스 리뷰 및 사진 추출후 자사몰 리뷰 입력 4. 네이버쇼핑 내 자사제품 노출 순위 5. 인스타그램 당첨자 추출기(PYQT 이용) 6. 자사몰 홈페이지 수정 (html,css,js 이용) 크게 보면 이정도 했고 챗gpt의 도움을 받은 내용도 물론 많습니다. 내용이 너무 주절주절 길어졌네요.. 도전해봐도 괜찮을까요?

어떤 경력을 갖춘 백엔드 엔지니어가 되어야 데이터 엔지니어로의 직무 전환 가능성이 있을까요?

궁금한 게 생겨 구글링을 하던 중, 커리어리를 알게 돼서 글을 읽어 보다가 최근 생긴 고민에 대한 답을 얻을 수 있을지도 모른다는 생각이 들어 가입하였습니다. 그 고민은 "어떤 경력을 갖춘 개발자를 목표로 할 것인지.." 입니다. 현재는 대학교를 졸업하자마자 it와 관련 없는 회사에서 2년 가까이 재직 중 입니다. (그저 컴퓨터와 프린터가 있다 정도..) 그러다 올해 9월 말 즈음 어떤 계기로 인해 '회사를 그만두게 된다면 현재 경력을 살려 나만의 무기로 다시 취업할 수 있을까?'를 고민하게 되었고 경쟁성이 낮다는 판단 끝에 이직 준비를 시작했습니다. 지금은 프로그래머스에서 얼마 없는 SQL 문제는 다 풀고, 파이썬으로 풀어보고 있는데 다양한 글과 채용 공고를 보다가 입사 최저 조건이 코딩 테스트 합격인 것 같아서 일단 어느 기업이든 최저 합격이나 해보자는 마음으로 풀고 있습니다. 처음 이직을 결심 했을 때 유튜브/구글/인프런을 이용해 잡다하게 따라해 보고 데이터 엔지니어를 목표로 삼았는데 지금 알아보니 데이터 엔지니어가 다른 직군에 비해 신입을 안 뽑는다는 말이 많더라구요. (* 데이터 엔지니어로 정했던 이유는 불규칙적인 것을 규칙적으로 만드는 것, 어떤 데이터든지 간에 누군가가 필요로 하는 방식으로 가공하여 전달한다는 것이 데이터의 흐름을 전체적으로 제어하는 것 같아 매력적으로 보였기 때문입니다.) 신입보다는 백엔드에서 데이터 엔지니어로 전환하는 게 대부분이래서 백엔드를 목표로 공부하게 될 것 같은데 백엔드도 범위가 방대해서 어떤 공부를 해야할지 고민입니다..ㅜ 지금은 그저 막연하게 데이터를 많이 다룰 것 같은 회사에선 어떤 백엔드 역량을 갖춘 신입을 찾는지 채용 공고만 바라보고 있네요.. 여건상 가장 빠르게 고민해야 할 것은 국비교육, 부트캠프의 코스 선택이 아닐까 싶습니다. 데브코스 중 백엔드 코스와 데이터 엔지니어링 코스 사이에서 고민 중인데 아마 백엔드 코스를 신청하지 않을까.. 싶지만 그래도 고민되네요. a. 데이터 엔지니어링 코스를 교육 받아도 백엔드 신입 채용 가능성이 있을까요? (데이터 엔지니어 신입이면 더 좋겠지만..!) b. 얌전히 백엔드 코스를 선택할까요? b-1. 만약 백엔드라면 어떤 부분에서 전문성을 기르면 좋을까요? 해 본 걸 남기는 것도 혹시나 도움이 될까 싶어서 적습니다..! - html, css를 따라 입력해 보며 웹(?) 상에서 출력되는 것 변경해보기 및 아주 간단한 페이지 생성 (제일 재미없었기에 웹에 대한 흥미가 사라졌습니다.) - python, c, java, sql 문법 공부 (문제 풀 수 있는 언어는 사실상 python, sql 두 가지 입니다.) - 간단한 프로그램 리버스 엔지니어링 (얕은 어셈블리 + 자료구조 중 스택에 대한 약간의 이해..? 재밌었어요.) - 파이썬으로 특정 사이트의 리뷰를 크롤링하고 원하는 리뷰만 출력 (조금 엉성했지만 실전에 바로 사용할 수 있어서 그런지 흥미로웠습니다.) - 데이터셋을 내려 받아 pyspark, sparkSQL을 이용하여 스스로 기준을 만들어 임의의 테이블 생성해 보기

신입 백엔드 준비생 질문

컴퓨터 관련 학과에 들어오게 된 이유는 어렸을때부터 게임을 하는것이 재미있었지 특별하게 난 미래에 어떤 사람이 되고싶다! 이런것은 없었습니다. 그래도 학교에 들어와서 코딩이라는것을 해보고 학교 수업도 적당하게 들어서 졸업시점인 지금 평균 성적은 3.3정도 되네요. 대학교에 입학할 때 주식을 권하셨던 아버지덕분에 주식과 관련하여 뉴스 기사를 크롤링하여 알림을 날려주거나 재무제표를 크롤링하는 그런것들을 만들어봤습니다. 그렇다고 난 이걸로 나중에 취업해야겠다. 이런느낌은 또 아니었습니다. 결국 4학년이 되어버렸고 점점 취업을 해야한다는 약간의 압박이 느껴지더라구요. 더 나은 내일 더 나은 세상을 만들기 위해 코딩을 통해 새로운 프로그램을 만드는 것은 참 좋다고 생각합니다. 그런데 프로그래머도 분야가 다양하고 언어도 다양하다보니 제가 좋아하는? 이런것은 별로 없는 것 같았습니다. 주변 친구에게 이런 고민들에 대해서 이야기했더니 수요가 그나마 많은 웹 백엔드를 이야기해줬습니다. 그래서 그와 관련된 강의를 인프런에서 여러개 들어보았습니다. 스프링부트를 활용하는 김영한님 강의를 여러개 들은 상황입니다. 이제는 유튜브에서 게시판을 만드는 강의?가 있어서 그것들을 보면서 본인이 나중에 코드를 봤을 때 해당 코드에 대한 이해를 못할듯한 코드들에 대하여 주석으로 설명을 달아가며 진행하고 있습니다. 팀으로 하나의 프로젝트를 한 경험은 아직은 없지만 곧 시작할 예정입니다. 곧 졸업을 하게되는 시점이고 이제 취업을 준비하는 상황에서 신입 백엔드 지망생이 어느정도의 능력치를 가지면 좋을지, 능력치가 없다면 어떻게 해야할지가 궁금합니다.

스프링부트 서비스 코드 작성 기법

현재 학교에서 웹서비스를 만드는 프로젝트를 진행하고있습니다 진행하는 프로젝트의 코드 중 일부분이 저로서는 이해가 잘 안되는 코드가 있어서 질문드립니다 Service부분의 일부 코드입니다 웹 크롤링 api를 사용하여 시장정보를 가져와 mapper의 두가지 기능(delete와 insert)를 사용하고 있는데 제가 이해한 바로는 스케쥴링을 통해 api를 호출할 때마다 delete쿼리를 실행하고 다시 insert쿼리를 실행시키는 방식인데 정말 이방법 밖에 없는지 궁금합니다 또한 mapper interface에서 정의한 기능 여러개가 service interface에서 하나의 기능으로 합쳐지는 코드로 작성하는 방법에 대한 의견도 궁금합니다 많이 가르쳐주시면 감사하겠습니다

[질문] 구글맵 한국에서 평점이 가장 많은 곳 1~100위 뽑는 법이 궁금합니다.

구글맵 한국에서 평점이 가장 많이 달린 곳 1~100곳을 리스팅하라는 미션을 받았는데요.. 혹시 크롤링으로 하면 될까요? 어떻게 하면 좋을지 방향만 알려주시면 열심히 시도해보려고합니다 아예 방법을 모르겠어서요..ㅠㅠ 형님들 꼭 좀 조언 부탁드립니다.. 나중에는 지역을 정해 서울시에서 가장 많은 평점이 달린 곳을 리스팅하고 더 나아가 시간대를 추가해 이번 달에 평점이 가장 많이 달린 곳 리스팅 하는 것이 목표입니다. 만약 외주를 맡긴다면 어느 곳에 맡기는 것이 좋을까요? 감사합니다 형님들.. 오늘도 좋은 하루 되세요!

express + mongoDB를 사용해서 서버 관리

mern stack(express+mongoDB+react+nods js)를 이용해서 출시 목적으로 프로젝트를 하나 만들려고 합니다. 프로젝트의 주요 기능은 사용자마다 사이트에 대한 정보를 크롤링해서 데이터를 관리하는 용도인데요. 실제로 출시하고 서비스를 운영한다했을 때 과연 mongoDB와 express로 대용량 데이터들을 효율적으로 관리가 가능할 수 있을지가 의문입니다. 아직 서버에 대한 기반 지식이 부족하여 대용량 데이터 부하를 관리할 수 있을지가 감이 안잡히는데요. 이런 대용량 데이터를 관리한다고 했을 때 해당 스택으로 가능할지 아니면 백엔드 개발자분을 모셔서 같이 작업을 하는게 좋을지 문의드립니다!

다른 사이트의 정보를 긁어오는 방법

토이 플젝 하는중에 궁금한게 있습니다. Api를 개발중인데 예를들어 프론트단에서 "사과"라는 데이터를 싣어서 api를 쏴주면 백(스프링부트)에선 사과를 판매하는 특정 사이트( 이 사이트는 제가 명시 할 예정 입니다. ) 에서 사과를 얼마에 판매하는지 가격을 가져와서 리스펀스로 던져주고 싶은데 ( 특정사이트 진입-> 사과검색 -> 가격 긁어오기 ) 이런걸 만들려면 파이썬 크롤링을 해야하는걸로 알고 있습니다. 파이썬은 경험이 없고 스프링부트로 해결하고싶은데 이런식으로 특정 사이트를 뒤져서 값을 긁어오는 방법이 있을까요??

5년 물경력 진로 고민있습니다 조언 부탁드립니다

현재 만 5년 좀 넘은 개발자입니다. 객관적으로봐도 물경력이긴합니다만 회사에서 일도 별로없고 체계적이지도 않고 일하면서 배울수있는 것도 없고 전체적으로 연봉인상을 안해주기도하고 이직을 하고 싶은데 고민이 있습니다 지금까지 상황을 말씀드리자면 학원에서 스프링을배우고 회사에 들어와서는 파이썬 배우고 1~2년동안은 장고로 웹개발하고 크롤링도 했습니다 3~4년 동안은 크롤링만 했고 최근 1년 동안은 텔레그램 봇과 chatgpt api연동해서 하는 답변하는 그런 서비스를 만들었습니다 5년동안 사수없이 거의 혼자했다고 보면됩니다 체계적이지 않은 회사이고 그냥 이거 만들어라 하면 혼자 알아서 만들어야되는 그런 회사입니다 웹개발할때는 딱 개발만하고 배포 그런거는 사수가 하고 크롤링도 인터넷 찾아보면 누구나 할수있는 수준의 그런 크롤링만 하고 뭐 지금하는것도 누구나 할수있는 수준입니다 처음 2년동안은 퇴근하고서도 열심히 파이썬 웹 공부하면서 지냈는데 시간이 지날수록 회사에 일도 별로없고 나태해지면서 공부는 거의 안했습니다. 5년동안 2번의 연봉인상이 있었고 2번중의 한번마저도 100만원인상에 거래 거의 없고 1~2년동안 하락밖에 안하는 코인 10만원치 입니다 처음엔 회사에 12명정도 있었는데 현재 회사에는 대표님 포함 4명이고 개발자는 저와 사수1명입니다 이런 상황에서 이젠 진짜 이직을 해야될거같아서 정신을 차리고 하고싶은데 막상 하려니 물경력이라 뭐부터 해야될지 감이 안옵니다. 회사를 그만두고 다시 처음부터 국비말고 돈내고하는 부트캠프 같은 학원을 가서 제대로 배울지 아니면 퇴사하고 혼자 공부하면서 해야될까 생각이드는데... 혼자하면 뭐부터 해야될지도 모르겠고 고민이 많습니다... 조언 부탁드립니다

동적 크롤링에 관하여

네이버 지도에서 정보를 크롤링 하고 싶은데 어떻게 해야 할지 잘 몰라서 올려봅니두ㅠㅠ

Airflow로 selenium 덱 생성 시 driver.quit()을 하면 무한 running 현상

안녕하세요. 혼자 airflow로 연습을 하던 중 문제가 발생하여 질문드립니다. 하나의 테스크로 selenium을 이용한 크롤링 코드를 구현했습니다. 크롤링 코드를 하나의 파이썬 파일로 실행하게 되면 이상없이 작동이 됩니다. 하지만 task로 등록하여 실행을 할 경우 driver.quit()을 만나면 break로 이동하지 않고 그 상태에서 계속 running인 현상이 일어납니다. 이 이유에 대해서 알고 계신분 도와주세요 !!