spark python vs scala

제목 그대로 입니다. 기존 파이토치를 통해 개발하던 사람이라 파이썬에 익숙한데 네이버나 카카오에서 spark를 사용하는데 scala를 쓰길래 현재 스칼라 공부중입니다. 스파크, 파이썬과 스칼라중에 뭐로 사용하는게 더 좋을까요?

리액트 일렉트론에서 파이썬 파일 실행

안녕하세요, 일렉트론 리액트를 이용해서 주식매매를 만들고 있는 대학생입니다. 현재 저희가 파이썬으로 주식정보 api를 받아와서 가공을 한 상태인데, 이를 리액트에서 받아서 사용하고 싶은 상황입니다. 그래서 저희가 현재 파이썬 플라스크와 pyqt5를 쓰려고 시도하고있지만, PyQt5를 인식하는데 없다고 뜨고 있습니다.. 혹시 이와 같은 문제를 해결해보신 분 계실까요ㅠㅠ 아니면 다른 좋은 방법이 또 있을까요 조언부탁드립니다..!

코딩언어 선택 때문에 질문드립니다!

현재 보안학과 대학교 3학년으로 재학중입니다.. 이전에 C언어 파이썬 자바를 깊이있게 공부하지는 않았지만 배웠던 경험이있습니다. 후에 프론트, 백엔드 쪽으로 진로를 잡고자하는데 C언어를 다시 공부하고 파이썬과 자바를 해야할지 고민되어 조언을 구하고자 글을 써봅니다..ㅠㅠ

Django 개발 공부를 하고 있는데 어느 정도까지 이해를 하고 다음 챕터로 넘어가야 할까요?

안녕하세요. Django 개발 공부 중인 학생입니다. 강의를 통해 공부를 진행 중인데 강의를 듣다 보면 이해가 가지 않는 부분들이 있습니다. 강의를 듣고 지나온 부분들 중에서도 이해가 가지 않고 어떻게 코드를 짜야 하는지 모르는 섹션들도 있고요.. 프로젝트를 시작하기 전에 어느 수준까지 학습을 해야 할까요? 모든걸 다 알긴 어렵겠지만 최소한의 수준은 있을 것 같은데 그 수준을 모르겠습니다. 프로그래밍 공부를 하는 학생에게 공부 방법 혹은 방향성에 대해 조언을 해주실 수 있을까요? 선배님들의 고견을 얻고 싶습니다..

안녕하세요 코딩 공부하는 대학생입니다!

조언을 구할 곳이 없어 여기에 글을 씁니다..! 개발자를 목표로 하고 코딩 공부를 하고 있습니다. 막연하게 백엔드를 목표로 하여 대학 수업 내용 외로 독학이 필요하다고 느껴져서 자바 공부를 하고 있습니다. 파이썬은 학교에서 배우고 있습니다. 확실하게 방향성을 잡지 못해 자바 공부를 선택했는데 실무에서는 자바 말고 다른 언어가 뜨고 있다는 얘기도 주워 듣고 제 스스로도 너무 막연하게 공부하는 것 같아서 이렇게 공부를 하면 되나 싶을 때가 있습니다.. 공부하면서도 혼란스럽습니다..ㅜ 최근에는 ai가 뜬다는 소리를 들으니 파이썬을 위주로 해야하나 하는 생각도 들고 갈피를 못 잡겠습니다.. 독학으로 공부하신 분들 어떤식으로 공부했는지 궁금합니다..

백엔드 신입 수준은 어느정도가 적당한가요?

현재 비전공자 백엔드 취준생입니다. 독학으로 준비한 취준기간이 반년이 넘어가는데 여러 언어를 손대보다가 결국 하나에 집중하자 생각이 들었습니다. 지금까지 배운 언어는 python, javascript, java입니다. 너무 언어만 공부했다고 생각하기에는 기본적인것 말고는 할수있는게 없어요. 지금이라도 정신차리고 준비하자 싶지만 생활이 빠듯해져 조급한 상태입니다. 신입 백엔드 개발자의 수준은 어느정도 해야하나요? 그리고 뭐를 준비해야 할까요?

딥러닝 아키텍쳐의 직관적 이해는 어떻게 하는 걸까요?

최근 커리어리에서 활동하기 시작하면서 QnA를 통해 적지 않은 사람들에게 답변으로 도움을 드렸습니다만, 정작 저는 그럴만한 사람이 아닌 것이라는 생각이 들어 질문을 시작하려고 하게 되었습니다. 저는 컴퓨터공학과 학사 출신으로, 졸업 프로젝트를 운 좋게 잘 마친 덕에 비전 딥러닝 쪽에서 종사하고 있습니다. 신입 때부터 당장 회사의 생존을 위해 이미지 데이터 라벨링 작업부터, 어노테이터 서버 관리, 데이터셋 세팅, object detection이나 semantic segmentation의 결과를 이용한 각종 교통안전 관련 플랫폼, 스마트 팩토리 등의 프로젝트를 완수해오며 제 커리어가 깎여나갔을지언정 지금까지 자리해 왔습니다. 이제서야 회사의 재정적 상황이 당분간은 버틸 수 있게 되어, 앞으로의 먹거리를 고민할 수 있게 되었고 이제 저의 임무는 리서치하는 작업이 주라고 생각하고 있습니다. 그동안 어플리케이션 완성에 치중하느라 번아웃이 왔을 뿐만 아니라, 딥러닝 프로젝트 사이클의 전체적인 흐름만 알 뿐 딥러닝에 필요한 지식이 기초 외에는 많이 증발했고, 연구원다운 리서치는 제대로 해보지 못했기 때문이지요. 그래서 아키텍쳐에 살을 붙여 어플리케이션을 만드는 현재에만 그치지 않고, 아래의 것들에 대한 이해를 하고 싶습니다. 1.아키텍쳐는 왜, 어떤 요소로 구성되었는지와 2.loss function이 왜 이런 식으로 작성되었는지 3.어떻게 이 아키텍쳐가 경량화 되었는지 4.etc 무작정 부딪히면서 저는 결국 아무리 면밀히 파악한다고 하더라도 아키텍쳐에 대한 이해가 바로 와닿지를 않는다는 것이 문제였습니다. 어거지로 이해를 한다고 한들, 마음으론 받아들이지 못하는 느낌이라고 할까요. 현재 저는 이러한 문제점을 극복하기 위해 프로그래머를 위한 확률과 통계라는 책과, 프로그래머를 위한 선형대수학 이라는 책을 가지고 기초 지식을 다지려고 합니다. 현재 1.제가 하려는 행동이 우선인 것인지, 다른 것이 우선인 것인지? 2.다른것이 우선이라면 어떤 것을 해야 하는지? 3.그 이후에 혹시 하면 도움이 되는 것들이 더 있는지 이 세 가지에 관하여 조언 부탁드립니다. 긴 글 읽어주셔서 감사합니다.

보안질문 중학교3학년인데 알려주실수 있나요?

재가 보안이랑 어플쪽에 관심이 많아서 게임으로 보안을 접하게 되었는데 지금 공부한 것들은 linux/SQLyog/docker/C/python/html/css/js 이것들을 배우고 있는데 보안쪽으로 갈려면 뭘하는게 좋을까요?

인스타그램 글쓰기 API 구현

학교에서 인스타그램 글쓰기 API를 이용하여 자동 게시하는 기능을 구현중인데 게시물 글쓰기/수정/삭제 권한을 받는 검수과정이 오래 걸려서 기한내에 완성이 안될거 같아.. 검수가 완료된 Access_token을 제공해 주실분 있으신가요?

비전공 파이썬 수료생

안녕하세요 국비지원 6달 장고/파이썬으로 웹 풀스텍 교육 수료생입니다. 수료 후 취업 공고를 알아보면서 파이썬도 별로 없고 제 실력이 많이 부족한 것 같아서 계속 학습(알고리즘, MySQL, DRF)하고 있는데 백엔드 개발로 취업하려면 어떤 기술스텍을 추가로 익히는 것이 좋을까요?? 그리고 어떤 식에 프로젝트를 준비하는 것이 나을지 선배님들 조언을 듣고 싶습니다.

은행권 코테 시험 언어로 자바로만 제한하는 추세인가요???

파이썬으로 계속 준비하고 있었는데 전에 다른 은행권에서 코테 시험을 볼 때 자바만 볼 수 있게 되어있는 걸 확인하고 잘 풀지 못했거든요 ㅠㅠ 파이썬에서 자바로 언어 변경을 해야할지 고민입니다..

python 으로 신입개발자 취업 많이 힘든가요?

비전공자입니다 현재 국비지원 으로 5개월째 듣고 있구요 배운건 python, 프레임워크는 django 를 배웠구요 sql 살짝 그리고 웹크롤링 등등…크게 말씀 드리면 이정도 입니다..(현재 django 로 간단한 CRUD 프로젝트를 만들고있습니다) 일단 정해진 커리큘럼을 따라가기가 너무 힘들었어서 항상 뒤쫓아가느라 바빳습니다 그마저도 힘들어서 따로 집에서 인강 도 들어가면서 열심히 하긴했으나.. 지금 제 코딩실력을 봐서는 회사를 들어갈 역량이 한참 떨어지는거같습니다 사실 6개월 한다고 바로 취업이 되는것도 정말 웃긴얘기이긴 한데 나이도 있고..취업을 하긴해야하는 상황이라 많이 심란합니다.. 근데 또 우리나라 it계열 회사 에서는 java 를 많이 쓴다고 하더라구요 잡코리아 나 사람인을 봐도 python 보다 월등히 많더라구요..배운건 python 인데 지금도 배우고있는 단계인데 다시 또 java를 배워야 하나 싶고.. 뭐 여러 개발자분들이 말씀하시길 한 우물만 파라 그러면 다른 언어는 배우기 쉽다 이런말도 많이 하시더라구요 근데 지금 현재 저에겐 해당사항이 없는거같습니다ㅠ 취업을 위해서 과감하게 java 쪽으로 넘어가야할까요? 착잡하네요ㅠㅠ 현업에서 뛰고있는 개발자 분들 좋은 답변 부탁드립니다

python 주석의 차이

따옴표 세 개로 이루어진 주석과 따옴표 한 개로 이루어진 주석의 차이는 무엇인가요? 따옴표 세 개로 이루어진 건 enter를 입력가능한 것밖에 차이를 모르겠어요. 혹시 다른 차이점이 있나요

스프링부트에서 소켓통신

안녕하세요 스프링부트로 작업하던 중 어려움이 있어 여쭙습니다. 상황은 이렇습니다. 소켓통신을 하는 서버가 있습니다. 이 서버는 간단한 파이썬 코드로 작성되어 있구요~ 받은 메시지를 돌려주는 역할을 합니다. 스프링부트는 비즈니스 로직을 처리하고 프론트에서 받은 액션에 따라 동작합니다. 상황에 따라 소켓으로 메시지를 보내야 합니다. 문제는 이렇습니다. 클라이언트가 소켓연결을 끊지 않고 항상 연결되어 있어야 합니다. 로그인 후 사용하는 동안은 연결되어 있어야 합니다. 그런데 어떻게 항상 연결 시켜야 하는지 감도 잡히지 않네요... 간단히 루프를 돌려서 연결을 유지하는건 알겠는데 이미 짜여진 비즈니스 로직은 또 따로 동작하고 있어야 합니다. 개념적인 부분이 전혀 정리가 되지 않아 난해 합니다. 실은 지금 제대로 된 질문을 하고 있는 건지도 의심스럽습니다. 선배님들의 해안으로 많은 조언 부탁드립니다. 감사합니다.

파이썬을 활용하여 뉴스크롤링, 매일 일정시간에 메일로 받는 방법

파이썬으로 뉴스를 크롤링하였고 이 코드를 활용하여 매일 23시에 메일로 받고 싶습니다. 방법을 알아보니 구글 스프레드 시트에서 트리거를 활용하여 받는 방법이 있었습니다. 이 방법은 코랩의 코드와 app script를 활용하는데 selenium이 코랩에 내장되어있지 않은 문제가 있습니다. digital ocean을 활용하는 방법도 있다고 들었는데 효과적인 방법을 알고 싶습니다.

파이썬 개발자가 하고싶습니다

안녕하세요 고등학교 재학중이며 현재 파이썬을 사용하는 기능 직종에 소속돼 있습니다. 파이썬을 2년정도 동안 하면서 파이썬 관련으로 하는 직종에서 종사하고 싶어서 여러가지 찾아봤는데 부트캠프나 이것저것 너무 뭔가 많아서 제가 이 길을 가는게 맞는지 혼란이 오는 것 같습니다. 파이썬으로 개발 직종에서 종사하려면 지금 어떤 것을 먼저 준비하는게 좋은지 여쭤보고 싶습니다

국비지원교육 커리큘럼 추천

안녕하세요 제 소개를 먼저 하자면 지방대 IT융합학부 2학년 중퇴 고졸입니다. 개인적인 사정으로 대학교를 다닐수 없게 되었고 국비지원교육에 관심이 생겨서 발품 팔아 면접보고 알아보던 와중 두군데에 합격하게 되었습니다. 한 곳은 자바 기반 풀스택, 한 곳은 빅데이터/AI 커리큘럼인데 현실적으로 제 상황에서 어떤 커리큘럼을 선택하는것이 좋을까요? 대학교에서는 C언어, 웹프로그래밍(HTML, CSS, JavaScript) 배웠었는데 비록 지방대지만 성적은 전공 과목 모두 A 이상이었고 교육도 성실하게 받을 자신은 있지만 워낙 빅데이터,AI 쪽이 어렵다는 소리를 듣기도 했고, 고졸이 취업이 잘 될까 하는 걱정도 있어서 그냥 풀스택을 배워서 빠르게 취직을 할까 생각중이기도 합니다. 물론 취직 후에 학위는 학점은행제나 야간학교를 통해서 나중에라도 취득할 생각입니다. 제 상황에서 어떤 결정을 해야하는지 선배님들의 의견이 필요합니다.

웹 크롤러 코드 관리

요즘 웹 크롤러, 스크래핑 스크립트들을 많이 짜는데요. 코드 관리하기가 어려워서 질문합니다! 쓰고 있는 기술은 python과 beautifulsoup이구요. 기능 자체는 여러 사이트에서 공모주 정보를 긁어오는 기능입니다. 코드의 큰 흐름은 main -> crawl pages -> crawl page 느낌이고 crawl page라는 영역에서 site A crawler, site B crawler, site C crawler 처럼 각 사이트에 맞는 crawler 클래스가 있는 형태입니다. 크롤러 특성상 타 사이트 ui에 의존하고 있는데, 이런것들에 대한 의존성 관리는 어떻게 하시나요? 사이트별로 ui가 다 다른데 각 사이트에 맞는 크롤링 코드를 어떻게 관리하나요? 만약 의존하고 있던 사이트의 ui가 변경되면 그거에 맞게 크롤러 코드도 수정을 하시나요? 코드를 짜다보니 다른 분들은 어떻게 하고 계신지 궁금해서 질문 올립니다~~~

부트캠프 파이널 프로젝트 할 때

AI 부트캠프를 진행중에 있는 수강생입니다. 파이널 프로젝트로 기업연계, 캐글 등 선택할 수 있는데 저는 기본적인 파이썬도 부족해서 혼자 캐글로 조금씩 공부하려 했습니다.(개인사정으로 혼자 프로젝트를 하게 되었습니다.) 그런데 강사님께서 나중에라도 취업하려면 기업연계가 훨씬 나으니 고민해보라 하셨는데 저도 기업연계는 하고싶었지만 시도하려면 기본 역량이 pandas, numpy, 그래프까진 쉽게 할 수 있을 정도(해당 프로젝트 기준)여야 한다는데 사실 저 기능들을 갖고 놀 수준은 전혀 되질 않습니다. 기간은 한 달하고 반정도, 이 기간 안에 해당 기업에 폐를 끼쳐가면서라도 해야할지 아니면 그냥 캐글로 공부하며 실력을 쌓아야할지 도무지 감이 안잡힙니다… 전문가분들의 소중한 의견 부탁드립니다.

데이터 수집 시스템 조언 부탁드립니다..

안녕하세요. 현재 데이터분석가 인턴으로 회사에 들어간지가 한달이 조금 넘었습니다. 현재 회사에서 분석이 아닌, 직접 데이터를 수집하는 작업을 하고 있습니다. 제가 분석만 하다보니, 데이터를 수집하고 저장하는 작업을 처음해보고 사수도 따로 없다보니 조언을 구할 곳이 없어서 이렇게 게시물로 조언을 요청드립니다.. 지식이 부족해 다소 어렵게 설명을 드려도 이해 부탁드리며, 제 글을 보고 “저 친구는 왜 저렇게 비효율적으로 하지? 이렇게 하면 좋을텐데”라는 생각이 드신다면 바로 댓글이나 쪽지 부탁드립니다. 제가 처음 올려봐서 쪽지 기능이 있나 모르겠네요.. 먼저, 간단하게 제가 진행하고 있는 데이터 수집 절차를 설명드리겠습니다. 1. 컬럼이 한개인 4GB가 조금 넘는 데이터를 수집 코드에 불러와야 한다. 해당 데이터에는 도메인 주소가 담겨 있다. 2. 내 수집 코드는 불러온 데이터를 한행씩 조회하면서 수집을 진행한다. 3. 한 행에 있는 도메인 주소에 순서대로 http 접속을 해서 해당 도메인 주소가 사전에 설정한 특정 조건을 만족하면, 해당 도메인 주소와 사이트에 접속해서 추출한 정수형 값을 DB에 저장한다. 4. 즉, 4기가의 데이터를 불러와 한 행씩 조회해가면서 실시간으로 데이터를 db에 수집하는 코드다. 5. 24시간 동안 코드를 돌리는 수집 예상 기간은 3개월 정도이다. 다음으로는 조금 구체적인 진행 사항을 말하겠습니다. 밑에서부터 길어지니, 바쁘신 분들은 위에 주요 절차만 보시고 조언 주시면 감사하겠습니다. 1. 파이썬만 사용할 줄 알기 때문에, 파이썬을 사용하여 class로 만들어 수집 코드를 짰다. 2. 데이터의 양이 많아서 메모리 부족 오류가 빈번하게 나타나, 하둡과 아파치 스파크를 이용해봤다. 내가 조회할 데이터 파일을 하둡 HDFS에 업로드 한다음에, 아파치 스파크 클러스터를 구축했다. 그리고, pyspark 모듈을 이용해 파티션을 나눠 데이터를 불러왔다. 파티션으로 받아온 값을 리스트로 변환하여 순서대로 해당 도메인 주소로 접속하는 반복문을 진행하면서 데이터를 수집했다. 즉 파티션으로 데이터를 쪼개서 1번 파티션부터 n번 파티션까지 각각 파티션 내부에 도메인 주소 리스트가 반복문을 진행된다고 보면 된다. 각 파티션이 다른 파티션으로 전환되는 과정도 반복문으로 처리했다. 하나의 파티션 마다 내가 만든 class(도메인 리스트를 인자로 받는다)가 한번씩 실행된다고 보면 된다. 3. 수집 속도가 너무 느려서 class에 있는 수집 메소드를 멀티 스레드 방식을 이용해서 수정해주었다. 수집 속도가 매우 빨라졌다. 4. 기존에는 aws의 클라우드 db(dynamo db)를 사용했지만, 과금 문제로 인해 로컬에 db를 설치하기로 했다. 쓰기 속도가 매우 빠른 redis db를 선택했다 5. 위에서 설명한 반복문을 돌면서 조건에 일치한 도메인 주소와 정수 값은 한 행씩 redis db에 key(도메인주소) value(정수값) 형식으로 저장하도록 코드를 만들었다. 이 과정도 class 내부에 포함되어 있다. 6. redis는 on memory db이기 때문에 대용량 데이터를 영구적으로 저장하고 분석하기에 적합하지 않다고 판단해서 1시간마다 redis에 있는 데이터를 postgresql db로 옮겨주는 코드를 따로 만들었다. postgresql db에 미리 redis에서 옮겨갈 테이블을 생성해두었다. redis의 key였던 도메인 이름을 첫 번째 필드에 프리이머리 키로 저장했고 value인 정수 값을 2번 째 필드에 값으로 넣어줬다. 그리고, 마지막 필드에는 자동으로 데이터가 저장될 때, 현재 시간이 넣어지게 테이블을 만들었다. 총 3개의 열로 구성된 테이블에 1시간에 한번씩 redis에 저장해두었던 데이터가 옮겨간다고 생각하면 된다. 7. 처음 redis에 데이터를 저장할 때 ttl을 설정해서 1시간 10분이 지나면 redis db에서 데이터가 자동으로 소멸되도록 설정했으며, 만약 postgresql에 중복된 데이터가 들어간다면 자동으로 무시하고 다음 작업을 진행하도록 테이블 설정을 해줬다. 즉, 실시간으로 데이터가 수집되고 자동으로 시간이 지나면 데이터가 소멸되는 redis db에서 1시간마다 한번 postgresql로 옮겨주는 코드를 따로 만들었다. 8. 수집 코드를 spark-submit 명령문으로 실행해주었다. spark-submit 명령어 앞에 nohup을 해줘서 백그라운드에서 코드가 실행되게 해줬고, 로그 결과를 따로 파일을 만들어 저장되도록 했다. 그리고 파이썬 실행 파일 내에서도 로그를 입력하는 코드를 만들어서, 도메인의 http 접속이 성공했는지의 여부를 로그 파일에 실시간으로 입력되도록 했다. 예를 들어, http 접속이 잘 된 도메인 주소는 로그에 “INFO 도메인 주소: success” 이렇게 기록하고, 타임아웃 에러, 접속 에러, redirect 오류, db 저장 오류는 모두 종류별로 예외 처리해서 로그에서 기록되도록 코드를 구성했다. 파이썬에서 자체적으로 로그를 기록한 파일은 수집코드를 실행하면서 파티션이 전환될 때마다 하나씩 생성된다. 이제 이렇게 제가 실행할 코드는 24시간 내내 수집을 진행하는 코드 하나와 1시간에 한번 데이터를 옮겨주는 스케줄러 코드로 총 2개가 됩니다. 저는 이 코드와 수집 환경을 만들기 위해 모두 도커를 활용하였으며, 사용한 컨테이너와 부가 설명은 다음과 같습니다. spark-master: 하둡과 스파크 클러스터를 구축하는 컨테이너로 standalone모드로 spark-summit 명령어로 파이썬 파일을 실행해주었다. --conf 옵션으로 메모리, 하트비트 간격, 파티션 수 를 지정해주었다. 스파크와 하둡을 처음 사용해봐서 약간의 개념만 있는 상태에서 돌려보니 아직도 세부 설정을 제대로 이해하지 못했다. 결국 worker를 1개 생성해서 파이썬 파일을 처리하도록 하였다. 현재 대다수의 오류가 이 컨테이너에서 발생한다. redis: spark-master에서 실시간으로 실행되고 있는 수집 코드에서 선별된 데이터들이 redis 컨테이너에 있는 redis db에 저장된다. postgresql: 1시간에 한번 redis에 있는 데이터를 옮기기 위해 postgresql 컨테이너를 생성했다. schduler: 1시간에 한번 postgresql 컨테이너에서 작동하고 있는 postgresql db에 redis 데이터를 옮겨주기 위한 스캐줄러 코드를 실행할 컨테이너다. redis-monitor: 실시간으로 redis db를 모니터링 하기 위해 redis-monitor 컨테이너를 생성하여 웹에서 모니터링 툴인 Redis-Stat에 접속한다. postgre-monitor: 마찬가지로, 실시간으로 postgresql db를 모니터링 하기 위해 생성한 컨테이너로 웹에서 Pgadmin4를 사용할 수 있다. 이렇게 총 6개의 컨테이너를 생성하여 내 수집 코드를 실행했는데, 여기서 많은 문제가 발생했습니다. 제가 가진 의문과 문제를 나열하자면 다음과 같습니다. 1. 먼저, 수집 코드를 실행한 다음에 스케줄러 코드를 실행해주었는데, (서로 독립된 컨테이너에서 실행) 두 코드가 DB에 동시에 접속할 때, 충돌이 일어날 가능성이 있지 않을까? 2. 수집 코드를 실행하고 몇분이 지나면 터미널이 먹통이 되고, 코드가 더 이상 실행이 안되는 일이 빈번하게 발생한다. 너무 많은 자원을 사용하고 있어서 그런건가.. 컴퓨터 사양이 안좋아서 그런건가 원인을 잘 모르겠다.. 3. spark-submit 로그를 보면 내 노트북에서는 안그러는데, 대용량 파일을 불러오는 과정에서 파티션 별로 데이터를 정리할 때 오류가 빈번하게 발생한다 . executor가 통신이 안된다는 경고 메세지도 자주 나오고, 특히, Remote RPC client disassociated 라는 오류가 가장 많이 나온다. 내 컴퓨터보다 높은 사양의 클러스터를 구축하려고 해서 그런가. 검색해보니 네트워크 문제이거나, 컨테이너에 할당한 자원을 초과해서 그런거라고 한다. 대용량 데이터를 불러오는 다른 방법을 강구해봐야되나 고민하고 있다. “그래서 요점이 뭐야” 라고 물어보신다면, 저는 현직에서 활동하고 계신 데이터 엔지니어, 백앤드 개발자 분들이 제 글을 본다면 “아니 굳이 왜 그렇게 하지? 이렇게 쉬운 방법이 있는데” 또는 “저기서 이렇게도 해봤나?, 이러면 안정적으로 코드를 돌릴 수 있을텐데”라는 반응으로 갈릴 것 같다고 생각합니다.

파이썬 pip 다운이 안돼요

디스코드 봇을 만들고 싶어 pip을 다운받으려고 하는데 다운 명령어를 치면 사진과 같이 Python이라고만 뜹니다. 어떻게 해결해야하나요? 파이썬은 가장 최신 버전을 사용하고있습니다

스프링기반 웹서비스 개발 과정&스마트팩토리 융합 개발 과정

1. 스프링 기반 웹서비스(aws) 개발과정과 2. 스마트팩토리 융합개발 양성 과정 중에 어떤 교육과정을 들어야할지 고민이에요.. 1번은 java언어 2번은 C#언어 파이썬활용입니다 비전공자/신입 취업이랑 미래를 생각했을 때 어떤 교육과정을 들을지 감이 안잡히네여..🥲

Detection model RetinaNet 학습 오류

FileNotFoundError: [Errno 2] No such file or directory: '\ufeff/ RetinaNet 학습 돌리려고 했는데 위와 같은 오류가 났습니다.. 어떻게 해결해야 할까요..? 간절합니다.. Python에서 \ufeff/를 없애주려고 했는데 잘 안되서 질문드렸습니다. 해결방법과 코드를 같이 공유해주시면 감사드리겠습니다!!

데이터 직무와 백엔드 개발자 직무 중 어느 곳이 더 맞을지 고민입니다.

안녕하세요. 스타트업에서 ERP를 다루다가 6개월 정도 데이터 & Tableau를 하고 퇴사한 29살 비전공자 재취준생입니다. 데이터 업무를 하면서 배운 SQL이 재미있고 자연스레 개발쪽도 흥미가 생겨서 파이썬 기초 과정을 독학 중입니다. 금번 기회에 데이터 직무 부트캠프 또는 백엔드 개발자 부트캠프를 가고 싶은데 직무변경을 이젠 하고 싶지 않아서 고민이 많습니다. 어느 직무를 갈지 가장 좋은 건 직접 해보는 것인데 시간은 많지 않아 조급합니다. 주위에 개발과 데이터 직무 현업자가 없다보니 수소문 끝에 개발자 한분에게 여쭈어 보니 개발 직무가 데이터 직무보단 취업 시장이 넓으니 추천하시고 지인은 데이터 직무를 해보았으니 데이터 직무가 더 나을 것이다라며 여러 현실적인 조언 탓에 결정을 쉽사리 하지 못하겠습니다. 데이터 직무와 개발자 직무 중 어느 것이 더 현실적으로 저에게 적합할지.. 현업 실무자분들의 의견이 궁금합니다. - 비전공자 - 29살 - SQL 할 줄 알음 - 파이썬 독학 중

자바 vs 파이썬 언어 선택

안녕하세요 이번에 it쪽으로 커리어 전환을 목표로 하고 있습니다. 사실 빠른 취업이 우선이라서 백엔드 자바를 배우려고 하는데, 파이썬 관련한 괜찮은 교육과정이 눈에 들어와서 고민입니다. 1년 안으로 빠른 취업이 목표라고 할 때, 1. 자바와 파이썬 중 어떤 것이 취업률이 좋은지/지원 할 수 있는 회사 종류가 많은지 2. 언어를 두 개 다 배우는게 나은지, 아니면 하나를 집중 공략 하는 것이 나은지 고민 상담 좀 해주시면 감사하겠습니다 ㅠ

데이터 분야에 관심있는 IT전공 4학년입니다

안녕하세요. 진로에 대한 고민을 가지고 커리어리에 처음 글을 써보는 4학년 휴학생입니다. 데이터 분야쪽으로 제대로된 관심을 가지게 된 건 1년 정도 된 것 같습니다. 2학년때부터 융복합 전공으로 데이터분석을 이수했는데 당시에 처음 생긴 과정이다보니 이론만으로 수업을 해서 프로젝트는 경험해보지 못했습니다. 흐지부지 졸업을 앞두고 있던 4학년 1학기에 정말 내가 하고 싶은게 무엇인지에 대해 고민하게 되었습니다. 그러다 우연히 데이터 청년인재 양성 사업 중 하나를 참여하게되었고, 거기서 진행했던 프로젝트가 너무 재밌었고 운 좋게 본선까지 진출해서 장려상도 받게 되었어요. 계속 이 분야로 나아가고 싶어서 1년 휴학을 신청했고, 작년 하반기에는 sqld, 빅데이터분석기사 자격증을 취득했습니다. 지금은 데이터 분석 소모임을 하나 하고 있습니다. 항상 느꼈던 것이지만 어떤 데이터를 가지고 어떤 식으로 분석을 해야할 지 떠올리는 과정이 제일 힘든 부분입니다. 오히려 머신러닝 모델링쪽은 그런 고민은 하지 않아도 되다보니 더 재밌게 느껴집니다. 제 수준은 빅데이터분석기사 실기시험(전처리-예측/분류 기본 모델링)정도는 쉽게 할 수 있습니다.(그때그때 필요한 메소드만 검색해보는 정도) 최근에는 장고를 시작해볼까 하는 생각도 들고, 딥러닝 쪽으로 더 공부를 해볼까 하는 생각도 있습니다. 아직 이렇다 할 결과물이 딱히 없는 거 같아서 어떤 준비를 더 해야할 지 알고자 저에대한 이야기를 정신없이 늘어놔봤습니다. 현직자분들, 인생 선배로써 가감없이 질타와 조언 해주시면 너무 감사할 것 같습니다 .ᐟ

제가 지금 가진 기술로 어떤 직무를 할 수 있을까요?

안녕하세요, 이전에 모 기업에서 1년 좀 넘게 계약직으로 일한 4학년 대학생입니다. 그 회사에서 사용한 스킬들이 linux(CentOS) & bash & shell script , C , makefile , jenkins , python 정도입니다. 그 이외에 제가 추가적으로 배운것은 sql, aws ec2정도가 있습니다. 위에 언급한 정도를 할 줄 압니다. java, spring, react 등 요즘 핫한 웹, 앱 등의 분야는 하나도 모릅니다. 이런 스킬셋을 가지고 어느 직무로 제가 뛰어들 수 있을까요? 아직도 제 진로에대한 갈피를 못잡겠습니다.