#데이터

데이터 수집 시스템 조언 부탁드립니다..

안녕하세요. 현재 데이터분석가 인턴으로 회사에 들어간지가 한달이 조금 넘었습니다. 현재 회사에서 분석이 아닌, 직접 데이터를 수집하는 작업을 하고 있습니다. 제가 분석만 하다보니, 데이터를 수집하고 저장하는 작업을 처음해보고 사수도 따로 없다보니 조언을 구할 곳이 없어서 이렇게 게시물로 조언을 요청드립니다.. 지식이 부족해 다소 어렵게 설명을 드려도 이해 부탁드리며, 제 글을 보고 “저 친구는 왜 저렇게 비효율적으로 하지? 이렇게 하면 좋을텐데”라는 생각이 드신다면 바로 댓글이나 쪽지 부탁드립니다. 제가 처음 올려봐서 쪽지 기능이 있나 모르겠네요.. 먼저, 간단하게 제가 진행하고 있는 데이터 수집 절차를 설명드리겠습니다. 1. 컬럼이 한개인 4GB가 조금 넘는 데이터를 수집 코드에 불러와야 한다. 해당 데이터에는 도메인 주소가 담겨 있다. 2. 내 수집 코드는 불러온 데이터를 한행씩 조회하면서 수집을 진행한다. 3. 한 행에 있는 도메인 주소에 순서대로 http 접속을 해서 해당 도메인 주소가 사전에 설정한 특정 조건을 만족하면, 해당 도메인 주소와 사이트에 접속해서 추출한 정수형 값을 DB에 저장한다. 4. 즉, 4기가의 데이터를 불러와 한 행씩 조회해가면서 실시간으로 데이터를 db에 수집하는 코드다. 5. 24시간 동안 코드를 돌리는 수집 예상 기간은 3개월 정도이다. 다음으로는 조금 구체적인 진행 사항을 말하겠습니다. 밑에서부터 길어지니, 바쁘신 분들은 위에 주요 절차만 보시고 조언 주시면 감사하겠습니다. 1. 파이썬만 사용할 줄 알기 때문에, 파이썬을 사용하여 class로 만들어 수집 코드를 짰다. 2. 데이터의 양이 많아서 메모리 부족 오류가 빈번하게 나타나, 하둡과 아파치 스파크를 이용해봤다. 내가 조회할 데이터 파일을 하둡 HDFS에 업로드 한다음에, 아파치 스파크 클러스터를 구축했다. 그리고, pyspark 모듈을 이용해 파티션을 나눠 데이터를 불러왔다. 파티션으로 받아온 값을 리스트로 변환하여 순서대로 해당 도메인 주소로 접속하는 반복문을 진행하면서 데이터를 수집했다. 즉 파티션으로 데이터를 쪼개서 1번 파티션부터 n번 파티션까지 각각 파티션 내부에 도메인 주소 리스트가 반복문을 진행된다고 보면 된다. 각 파티션이 다른 파티션으로 전환되는 과정도 반복문으로 처리했다. 하나의 파티션 마다 내가 만든 class(도메인 리스트를 인자로 받는다)가 한번씩 실행된다고 보면 된다. 3. 수집 속도가 너무 느려서 class에 있는 수집 메소드를 멀티 스레드 방식을 이용해서 수정해주었다. 수집 속도가 매우 빨라졌다. 4. 기존에는 aws의 클라우드 db(dynamo db)를 사용했지만, 과금 문제로 인해 로컬에 db를 설치하기로 했다. 쓰기 속도가 매우 빠른 redis db를 선택했다 5. 위에서 설명한 반복문을 돌면서 조건에 일치한 도메인 주소와 정수 값은 한 행씩 redis db에 key(도메인주소) value(정수값) 형식으로 저장하도록 코드를 만들었다. 이 과정도 class 내부에 포함되어 있다. 6. redis는 on memory db이기 때문에 대용량 데이터를 영구적으로 저장하고 분석하기에 적합하지 않다고 판단해서 1시간마다 redis에 있는 데이터를 postgresql db로 옮겨주는 코드를 따로 만들었다. postgresql db에 미리 redis에서 옮겨갈 테이블을 생성해두었다. redis의 key였던 도메인 이름을 첫 번째 필드에 프리이머리 키로 저장했고 value인 정수 값을 2번 째 필드에 값으로 넣어줬다. 그리고, 마지막 필드에는 자동으로 데이터가 저장될 때, 현재 시간이 넣어지게 테이블을 만들었다. 총 3개의 열로 구성된 테이블에 1시간에 한번씩 redis에 저장해두었던 데이터가 옮겨간다고 생각하면 된다. 7. 처음 redis에 데이터를 저장할 때 ttl을 설정해서 1시간 10분이 지나면 redis db에서 데이터가 자동으로 소멸되도록 설정했으며, 만약 postgresql에 중복된 데이터가 들어간다면 자동으로 무시하고 다음 작업을 진행하도록 테이블 설정을 해줬다. 즉, 실시간으로 데이터가 수집되고 자동으로 시간이 지나면 데이터가 소멸되는 redis db에서 1시간마다 한번 postgresql로 옮겨주는 코드를 따로 만들었다. 8. 수집 코드를 spark-submit 명령문으로 실행해주었다. spark-submit 명령어 앞에 nohup을 해줘서 백그라운드에서 코드가 실행되게 해줬고, 로그 결과를 따로 파일을 만들어 저장되도록 했다. 그리고 파이썬 실행 파일 내에서도 로그를 입력하는 코드를 만들어서, 도메인의 http 접속이 성공했는지의 여부를 로그 파일에 실시간으로 입력되도록 했다. 예를 들어, http 접속이 잘 된 도메인 주소는 로그에 “INFO 도메인 주소: success” 이렇게 기록하고, 타임아웃 에러, 접속 에러, redirect 오류, db 저장 오류는 모두 종류별로 예외 처리해서 로그에서 기록되도록 코드를 구성했다. 파이썬에서 자체적으로 로그를 기록한 파일은 수집코드를 실행하면서 파티션이 전환될 때마다 하나씩 생성된다. 이제 이렇게 제가 실행할 코드는 24시간 내내 수집을 진행하는 코드 하나와 1시간에 한번 데이터를 옮겨주는 스케줄러 코드로 총 2개가 됩니다. 저는 이 코드와 수집 환경을 만들기 위해 모두 도커를 활용하였으며, 사용한 컨테이너와 부가 설명은 다음과 같습니다. spark-master: 하둡과 스파크 클러스터를 구축하는 컨테이너로 standalone모드로 spark-summit 명령어로 파이썬 파일을 실행해주었다. --conf 옵션으로 메모리, 하트비트 간격, 파티션 수 를 지정해주었다. 스파크와 하둡을 처음 사용해봐서 약간의 개념만 있는 상태에서 돌려보니 아직도 세부 설정을 제대로 이해하지 못했다. 결국 worker를 1개 생성해서 파이썬 파일을 처리하도록 하였다. 현재 대다수의 오류가 이 컨테이너에서 발생한다. redis: spark-master에서 실시간으로 실행되고 있는 수집 코드에서 선별된 데이터들이 redis 컨테이너에 있는 redis db에 저장된다. postgresql: 1시간에 한번 redis에 있는 데이터를 옮기기 위해 postgresql 컨테이너를 생성했다. schduler: 1시간에 한번 postgresql 컨테이너에서 작동하고 있는 postgresql db에 redis 데이터를 옮겨주기 위한 스캐줄러 코드를 실행할 컨테이너다. redis-monitor: 실시간으로 redis db를 모니터링 하기 위해 redis-monitor 컨테이너를 생성하여 웹에서 모니터링 툴인 Redis-Stat에 접속한다. postgre-monitor: 마찬가지로, 실시간으로 postgresql db를 모니터링 하기 위해 생성한 컨테이너로 웹에서 Pgadmin4를 사용할 수 있다. 이렇게 총 6개의 컨테이너를 생성하여 내 수집 코드를 실행했는데, 여기서 많은 문제가 발생했습니다. 제가 가진 의문과 문제를 나열하자면 다음과 같습니다. 1. 먼저, 수집 코드를 실행한 다음에 스케줄러 코드를 실행해주었는데, (서로 독립된 컨테이너에서 실행) 두 코드가 DB에 동시에 접속할 때, 충돌이 일어날 가능성이 있지 않을까? 2. 수집 코드를 실행하고 몇분이 지나면 터미널이 먹통이 되고, 코드가 더 이상 실행이 안되는 일이 빈번하게 발생한다. 너무 많은 자원을 사용하고 있어서 그런건가.. 컴퓨터 사양이 안좋아서 그런건가 원인을 잘 모르겠다.. 3. spark-submit 로그를 보면 내 노트북에서는 안그러는데, 대용량 파일을 불러오는 과정에서 파티션 별로 데이터를 정리할 때 오류가 빈번하게 발생한다 . executor가 통신이 안된다는 경고 메세지도 자주 나오고, 특히, Remote RPC client disassociated 라는 오류가 가장 많이 나온다. 내 컴퓨터보다 높은 사양의 클러스터를 구축하려고 해서 그런가. 검색해보니 네트워크 문제이거나, 컨테이너에 할당한 자원을 초과해서 그런거라고 한다. 대용량 데이터를 불러오는 다른 방법을 강구해봐야되나 고민하고 있다. “그래서 요점이 뭐야” 라고 물어보신다면, 저는 현직에서 활동하고 계신 데이터 엔지니어, 백앤드 개발자 분들이 제 글을 본다면 “아니 굳이 왜 그렇게 하지? 이렇게 쉬운 방법이 있는데” 또는 “저기서 이렇게도 해봤나?, 이러면 안정적으로 코드를 돌릴 수 있을텐데”라는 반응으로 갈릴 것 같다고 생각합니다.

컴퓨터공학전공 2학년입니다. 진로 고민에 조언 부탁드립니다.

안녕하세요. 컴퓨터공학을 전공하는 2학년 학생입니다. 1학년을 마친 지금, 진로에 대해 고민이 많아 이렇게 글을 남기게 되었습니다. 저는 고등학교 때 문과였다가 컴퓨터공학과로 교차지원해 진학했습니다. IT에 관심은 있었지만 구체적인 진로를 설정하지 못한 채 전공을 선택했어요. 당시에는 경영학과에서 데이터 분석 관련 직무를 하고 싶었으나 컴공이 더 전문적이라고 판단해 결국 컴공에 진학하게 되었습니다. 막상 전공을 공부하다 보니 컴공에서 하는 데이터 관련 분야와 문과(상경)의 데이터분석은 많이 다르더군요.. 다르다는 건 알았지만 좀 더 심화를 하겠지... 하는 생각은 정말 틀린 생각이었습니다. 그냥 다른 분야였습니다. 컴공에서의 데이터 관련 분야는 수학적 역량이 많이 필요하다고 하더군요. 대학원이 필수라는 얘기도 들리고요. 저는 수학에 자신이 없어서 데이터 분석은 현실적으로 어려운 길일 수도 있겠다는 생각이 들었고, 현재는 다른 분야를 탐색해보고 싶습니다. 지금 관심 있는 분야는 백엔드, 프론트엔드, 그리고 임베디드 개발입니다. 다만 이 분야들에 대해 자세히 모르다 보니 막막합니다. 사실 가장 큰 문제는 제가 완벽한 이해를 바란다는 점 같습니다. 제가 모든 것을 완벽히 이해하고 나서야 진로를 선택하고 공부를 시작할 수 있다는 강박에 빠져 있는 것 같아요. 각 분야에 대해 대략적인 설명은 찾아봤지만 그 정도로는 부족하다는 생각이 들어요. 경험자 수준으로 완벽히 그 차이를 이해해야 비로소 진로를 선택하고 공부를 시작할 수 있을 것 같다는 생각에 빠져 있습니다. 스스로도 '완벽하게 이해한 후에 선택하는 건 불가능하다. 대부분 잘 모르는 상태에서 시작한다'고 생각하려 노력하지만, 남들이 말하는 '조금 알고 시작한다'는 기준과 제가 가진 지식 수준이 다르다면 어떡하나 걱정이 앞섭니다. 추가로, 이번에 자동차소프트웨어 관련 학과 복수전공을 신청했습니다. 전공 공부만으로도 벅찬데 복수전공까지 시작한 게 과연 잘한 일인지 불안합니다. 이 학과는 전과나 부/복수전공 학생들로만 운영되는데, 2학년 과목 일부가 컴공과 겹쳐서 일단 도전해보기로 했습니다. 만약 맞지 않으면 부전공으로 전환할 생각도 있지만, 지금은 두 분야 모두 잘 해낼 자신이 없어서 걱정됩니다. 사실 제가 가장 힘든 건 제가 너무 모른다는 생각 때문입니다. 뭔가를 시도해보려고 해도 스스로가 부족하다고 느껴 두려움이 앞서요. 특히, 학교 커리큘럼만 따라가기엔 다른 친구들에 비해 뒤처지는 것 같아 조급합니다. 제 주변에는 입학 전부터 프로그래밍 언어를 익혀서 지금은 공모전이나 프로젝트를 활발히 하는 친구들이 많거든요. 다음은 현재 제가 하려고 하는 것들과 학교 커리큘럼입니다. 1. 자동차소프트웨어 복수전공 2. 선배의 권유로 동아리에서 사용하는 언어 공부용 웹 이어받아서 운영하기 - 동아리에서 언어를 공부하기 위해 만들어서 운영하고 있는 웹이 있습니다. 프로그래머스 같은 느낌인데 동아리에서 공부하기 더 좋도록 한.. 것입니다. 운영은 좀 먼 이야기이고 일단은 자바 공부를 시작할 것입니다. 어떤 책으로 어떻게 공부해야 할지 모르겠네요.. 이런 것도 많이 고민되는 걸 보면 결정에 대한 두려움일까요? 3. 공부할 겸 타이머 앱 만들어보기 - 친구들과 하기로 했습니다. 자바나 코틀린으로 할 것 같은데 교수님께서는 따라할 수 있는 예제가 많은 것으로 선택하라고 하셨습니다. 그런데 프로젝트는 어떻게 운영해야 하는지 잘 모르겠습니다. 4. 여름방학 때 C공부: 자료구조와 알고리즘을 대비해서 더 깊게 공부할 예정입니다. 교수님의 조언이 있었습니다. 5. 학교 커리큘럼: 선배들로부터 학교의 컴퓨터공학과 커리큘럼이 좋지 않다는 이야기를 들었습니다. 1학년 때는 전공 과목 없이 파이썬과 C 언어의 기초만 배웠습니다. 스스로 미리 공부해야 한다는 압박감을 느끼고 있습니다. 2-1: 논리회로, C++, 이산수학, 오픈소스sw이해 2-2: 자료구조, 자바, 마이크로프로세서, 데이터통신, 시스템프로그래밍보안 3학년부터는 트랙이 나뉘지만 졸업학점을 채우려면 열리는 거의 모든 과목을 들어야 한다고 합니다. 3-1: 오픈소스sw설계, 컴퓨터그래픽스, 알고리즘, 운영체제, 컴퓨터네트워크, iot임베디드소프트웨어 3-2: 컴퓨터구조, 데이터베이스, 소프트웨어공학, 모바일프로그래밍, 데이터분석머신러닝, 컴퓨터비전 저는 지금 뭘 해야 할지, 어디서부터 시작해야 할지 막막합니다. 저의 문제점과 앞으로 어떻게 해나가야 할지 조언 부탁드립니다.

대학생 4학년의 인생 및 진로 고민

안녕하세요 현재 지방대에서 소프트웨어학과 4학년에 재학중이고 현재 자바 백엔드를 지망하고 있는 25살 대학생입니다. 제 인생 이야기를 들어주고 조언을 받을 사람이 없어 여기에 글을 써봅니다. 굉장한 장문이고 한탄하고 부정적인 글이라 이 글을 무시하고 지나가셔도 됩니다. 개발과 무관한 내용이 많지만 개발자 분들이 자기 계발을 좋아하시고 똑똑한 분들이 많으시기에 여기에 글을 올려봅니다.. 저는 현재 제 진로와 앞으로 어떻게 살아갈 것에 대한 고민과 현재 저의 상황에 대하여 저의 과거에 대한 한탄과 후회가 굉장히 많습니다. 먼저 저의 과거 가족과 관련된 인생이야기를 말씀드리면 저는 경기도의 한 지역에 중산층 집안에서 태어났습니다. 아버지가 대기업 생산직에 다니시기에 빚걱정은 하지않고 자라났습니다. 하지만 어렸을때부터 아버지가 술을 마시거나 화가 나면 물건을 집어 던지고 때려부수곤 했었습니다. 어머니가 그 과정에서 아들 둘을 보호하느라 많이 맞고 계신 것을 기억합니다. 심지어 중3때 맞아 죽을까봐 가정폭력으로 신고를 했다가 아버지가 감옥에 들어가면 돈을 벌기회가 없어 그냥 경찰서까지가서 진술서만 쓰고 풀어준것도 기억이 나고 어머니와 제가 같이 가출해서 근처 모텔에서 자고 찜질방에서 자고 어렸을땐 엄마가 아는 사람의 집에 얹어서 잤던것이 기억에 남습니다. 심지어 애들 보는 앞에서 대학가 거리에서 부부싸움을 하다가 아빠가 엄마를 팬 적이 있구요.. 그 첫 번째 기억이 불과 5살입니다. 그때 이후로도 성인이 되고나서도 아버지의 횡포는 계속되었고 3살 터울의 형이 그걸 닮아 어머니를 무시하고 저를 패고 목소리가 높아지기 시작했습니다.. 저녁밥을 먹을때마다 자격증 하나없이 들어간 전체 직원수가 5명인 규모의 중소기업에서 영업을 뛰면서 불만을 토해내고 너는 사회생활 안해봐서 모른다며 잔소리를 듣고 있습니다. 현재는 1년 다니고 퇴사하고 집에서 워드 프로세서를 따고 다시 잔소리 모드를 시작하고있습니다.. 얼마전에 새해전에 싸웠다가 25살의 나이에 또 맞고 가출을 해서 10일 정도 친구 자취방에서 신세지며 살았습니다. 아버지는 오직 자신의 말을 듣지 않고 바로 집에 다시 돌아오지 않았다는 이유로 저의 잘못이겠지 라며 저의 말을 들어볼 생각도 안하고 뭐라안할테니까 그냥 지내라고 하시고 어머니는 언제나 그렇듯 너가 참아 학교졸업하면 괜찮아 형도 취업하고 밖에 나가 살겠지 였습니다. 어머니는 항상 고등학교가면 공부하느라 널 신경안쓰겠지, 대학교가면 밖에서 노느라 널 신경안쓰겠지 군대가면 집에 없으니까 괜찮겠지 취업하면 나가서 살겠지 라며 형을 감싸고 혼내지 않고 오히려 형에게 폭언을 듣고 살으셨습니다. 저는 이때 느꼈습니다. 이 집에서 나가지 않으면 30살 이전에 자살할 것 같다고.. 친구들은 잘 이해를 못하였습니다. 왜냐하면 제 주변은 외동이 많고 가족끼리 여행가는 화목한 집안에서 자라고 있는 친구들이 많았기 때문입니다. 그러나 친구들은 말없이 여행 가주고 전화를 꼬박 1시간넘게 들어주었습니다. 그것은 정말 다행입니다. 여기까지가 저의 가족 이야기 입니다. 이제부터는 저의 학창시절 이야기 입니다. 화목하지 않은 가정인 만큼 저의 학창시절도 평탄하지 않았습니다. 초등학생때는 잘지냈지만 중학생때부터 힘들었습니다. 중학생때는 친구들과 완만하게 지냈지만 정작 오래사귈 친구를 찾지 못하였고 고등학생때는 남고를 들어가 1학년땐 적응을 잘못하였고 2학년부터는 초등학생때 소꿉친구가 아무의미없는 말을 지어내 배신을 하며 소문을 내고 본격적인 왕따 생활을 시작하였습니다. 2학년때 점점 심해지더니 반에서는 아무도 저랑 말을 섞을려고 하지 않았고 3학년 부터는 그냥 인사만 하던 친구들도 저를 피하기 시작했고 학교 복도를 걸을때마다 앞담 및 뒷담을 당하며 수치심으로 학교생활을 보냈어야 했습니다. 물론 안타깝지만 좋은 머리가 아니라 내신은 4점대 후반이 나오고 수능은 42358가 나오며 과탐이 폭망해서 재수를 해야하는 상황이였지만 저는 심적으로 너무 힘들었고 수험 생활을 더 연장할 자신이 없었고 수도권 끝자락에 있는 대학교에 입학할 수 있었습니다. 대학교에 입학하자마자 코로나가 터져 새내기를 보낼수없었고 그대로 다음년도에 군대를 갔다 오게되었습니다. 물론 지금은 그래도 착한 친구들을 만나 대학생활을 조용히 보내고 있습니다. 그러나 아직 집앞의 거리를 나가면 저를 왕따시킨 친구들을 만날까봐 가슴이 두근두근 합니다 왜냐하면 집이 대학가에 있고 이 주변 친구들이라 마주치는 일이 없지 않았고 저의 왕따를 주도한 친구는 현재 같은 건물에 살고 있기 때문입니다. 이제부터는 저의 성격과 성향, 그리고 그에 따른 자존감에 관한 이야기 입니다. 저는 왕따를 당한 이유로 자신감이 많이 낮아졌고 사람과 대면하는 아르바이트를 할 수 없었습니다. 그래서 20살 여름방학에는 공장을 다녀서 75만원을 벌었고 전역하고 나서는 아파트 단지 내에 있는 집 앞 편의점 야간 알바를 하고 간간히 친구 따라 물류알바를 다녔습니다. 군대에서도 폐급이었지만 귀엽다고 착하다는 이유로 혼나진않았습니다. 저는 이러한 일들을 통해 원래 조용조용하고 소심한 성격인 건 알았지만 일머리가 없다는 사실을 깨닫게 되었습니다. 그리고 계곡, 스키장, 놀이공원을 가보니 제가 운동신경도 없고 겁도 많다는 사실을 깨닫게 되었습니다... 심지어 저는 자전거를 아직 까지도 못탑니다. 그러다 보니 저의 자존감은 올라올 기미가 보이지 않고 도전하는 것에 두려움을 더더욱 가지게 되었던 것 같습니다. 여기서부터는 저의 진로와 미래에 관한 이야기입니다. 저는 네트워크 관련 학과로 입학했다가 군대를 다녀오고 나서 바로 전과로 소프트웨어학과로 변경하였습니다. 그리고 2학년 2학기부터 본격적인 코딩공부를 시작하고 동네 코딩 학원도 다니면서 전과하기 전까지의 공백을 메우기 위해 c,c++,python,java순으로 간단 간단하게 배웠습니다. 학교에서도 자료구조를 공부하였고 사실 너무 어려웠지만 계속하다보면 익숙해진다는 마인드로 열심히 임하였고 현재는 3.98/4.5 학점이 되었습니다. 그러나 학교에서 알고리즘을 가르쳐주지 않았고 현재 따로 공부를 하고 있는데 점점 공부를 할수록 익숙해진다는 느낌보다는 너무 어렵고 자꾸 까먹고 내가 평생이걸 공부할수있을까? 라는 생각밖에 안들고있습니다. 코딩동아리도 없고 이끌어줄 선배도 없어 자꾸 답답하고 공부가 진전이 안되고 반복되고 있다는 생각이 들고 있습니다. 그렇다고 비전공자들도 스스로 공부를 하는데 내가 바보인건가라는 생각을 하고 있습니다. 그와중에 ai에 관한 미국의 빅테크 기업들은 하루가 멀다하고 신기술을 발표하며 주니어 개발자를 없애는 것에 박차를 가하고 있습니다. 심지어 한국의 현직자들도 이직이 어려워졌고 구조조정에 들어가 많은 인원이 해고 되는 것으로 알고 있습니다. 제가 자바/스프링 백엔드 개발자가 되고 싶은데 이러한 것들을 보면 5년 이내에는 주니어 개발자가 없어질것 같다는 생각이 자꾸들고 일자리가 절반 이상 없어질것같다는 생각을 하게 됩니다. 사실 재능있고 능력있으면 크게 상관없겠지만 저는 주위의 친구들을 보면 도저히 제가 재능 있다는 생각이 안들고 저의 공부방식이 효율이 너무 없다고 생각하여 진지하게 개발자를 포기할까 라는 생각이 듭니다. 빅데이터나 ai에 가기에는 수학이 약하고 지금까지 고집부렸던 방향과 달라 그동안의 시간을 버리는 것 같아서 꺼려집니다. 내년에 자바/스프링 국비지원을 다닐생각이였는데 국비지원을 받게 되면 다른것에 투자할 수 있는데 시간을 날리는 것일까봐 걱정이 됩니다. 마침 오늘 저보다 공부를 한참못한 친구의 전화가 왔습니다. 오랜 수험기간끝에 인하대, 건국대,홍익대편입합격을 하였다는 것이였습니다. 친구는 수험기간에 학원에 1000만원을 투자해서 붙었다고 너가 의지만 있다면 최소한 경기권상위 대학을 갈 수 있다고 하는 것이였습니다. 그래서 더욱이 고민이 생겼습니다. 저는 부모님과 사이가 틀어져 1000만원을 지원을 안해줄것같았고 저의 머리가 그렇게 좋은지도 모르겠고 제가 노력을 할 수 있을지 모르겠고 실패하면 여기서 더 어디까지 떨어질지 모르겠다는 생각뿐입니다. 그리고 사실 빨리 취업해서 내년에는 집을 나오고 싶었기 때문에 고민이 더욱 생겼습니다. 제가 원래 다니고 있는 학교는 학생 예비군이 해체될 정도로 상황이 좋지 않고 아무런 지원이 없고 유사 전문대의 특성을 지니고 있습니다. 그래서 인지 더욱이 고민이 됩니다. 제가 또 회피하러 가는건지 아니면 도전을 해야하는건데 안하는건지 잘 모르겠습니다. 1. 뻔뻔하게 부모님께 손벌리고 학원다니면서 편입준비 ( 다른학과로 갈거임, 현재 25살) 2. 정처기 준비하고 있는거 따고 국비지원다녀서 취업준비하기 3. 기타 정말 고민입니다.. 인내심을 가지고 긴 글 봐 주셔서 감사합니다

모바일 앱 UI를 업데이트 순서

모바일 앱을 개발하다가 랜더링 그러니까 UI를 업데이트하는 순서가 궁금해서 질문을 올려봅니다. 예를 들어 사용자가 게시글에 좋아요를 누른다고 했을 때 다음과 같은 방법 중에서 어떤 방법을 사용해야 하는지 궁금합니다..! 특히 현업에서는 어떤 방법을 사용하는지 왜 그렇게 사용하시는지 궁금합니다😄 1) 디바이스 로컬 UI 업데이트, 동시에 서버 데이터 업데이트. 서버 업데이트가 완료 되면 서버 데이터로 UI 반영. 2) 디바이스 로컬 UI 업데이트, 동시에 서버 데이터 업데이트. 그러나 서버 업데이트 데이터는 UI에 바로 반영하지 않음. 사용자가 앱을 다시 실행하거나 refresh되는 상황에서 나중에 서버 데이터를 반영할 것으로 기대. 3) 서버 데이터를 업데이트, 서버 데이터가 업데이트 되면 해당 데이터로 UI 업데이트. 4) 디바이스 로컬 UI 업데이트, 서버 데이터는 바로 업데이트 하지 않음. 나중에 서버 데이터는 업데이트 하기. 제가 이 고민을 하게 된 이유가, 게시물에 좋아요를 누르는 상황에서 비롯되었습니다. 처음에는 (3)번 방법을 사용했습니다. 하지만, 좋아요를 누르고 서버에 업데이트 되는데 약 0.5~1s 정도 UI가 지연되어서 불편하더군요. 그래서 (1)번 방법으로 변경했습니디. 사용자가 일단 좋아요를 누르면 디바이스에서 좋아요를 토클하고, 나중에 업데이트가 완료된다면 반영하는 방식으로요. 그런데 (1)번 방법도 사용자가 빠르게 좋아요를 2번 누른 상황에서, 좋아요가 표시되고 바로 해제가 안되는 (서버에서 좋아요를 눌렀다는 업데이트로 인해서 나중에 해제가 됩니다) 문제가 있습니다 ㅠㅠ. 다른 분들의 의견이 궁금합니다🔥

퇴사한 회사에서 수행했던 데이터 분석 작업물, 이직시 포트폴리오 자료로 사용할 수 있나요?

안녕하세요, 신입 데이터 분석가입니다. 외국계 기업에서 계약직 신분으로, 데이터 분석 직무를 수행하다가 최근에 계약이 끝났습니다. 첫 경력이었던 만큼, 이를 잘 발판 삼아서 취업 준비를 다시 하려고 하는데요. 직무가 데이터 분석인 만큼, 경력을 업데이트한 이력서뿐만 아니라 포트폴리오 준비도 중요하다고 생각합니다. 서류 제출과 면접 단계에서 직무 성과와 전문성을 어필하기 위해, 재직했던 회사에서 수행한 데이터 분석 작업물을 정리해서 포트폴리오로 만들려고 하는데요. Q. 재직했던 회사의 작업물을 포트폴리오로 제작하여 이직시 서류와 면접에서 활용하는 것이 통상적인지 궁금합니다. Q. 만약 통상적이라면, 시각화 자료와 대시보드를 포트폴리오에 포함시키되, 회사 관련 모든 데이터(명칭, 수치 등)는 블러/픽셀 처리하면 충분한지 궁금합니다. ※ 이전 직장에서 데이터 분석을 수행한 2개의 작업물이 있고, 특징은 다음과 같습니다. [작업물 A] - 제 개인 PC 상에서 전담하여 수행 - Python으로 데이터 처리, 모델링, 시각화 등을 수행 - 회사의 매출 데이터(유통 채널별/일별/상품 카테고리별) 사용 [작업물 B] - 회사 PC 상에서 전담하여 수행 - Tableau로 대시보드를 제작 - 회사의 매출 데이터(유통 채널별/일별/상품 카테고리별) 사용 ※ 제가 날인한 사직원에 다음과 같은 조항이 있었습니다. “재직시 지득한 업무내용이나 각종 정보 기타 제반 비밀사항을 타인에게 누설할 경우 회사의 경영에 막대한 손해와 피해를 준다는 사실을 이해하고 일체 이를 누설, 공개하지 않겠습니다. 상기 사항을 위반할 시, 이유 여하를 막론하고 서약에 의거 민, 형사상의 모든 책임을 지며 회사가 요구하는 손해배상의 의무를 지겠습니다”

데이터 엔지니어 취업 관련 질문드립니다.

안녕하세요. 데이터 분야 직무를 희망하고 있는 대학교 3학년 1학기차 컴퓨터공학과 전공생입니다. 먼저 시간내어 글 읽어주셔서 정말 감사합니다. 공공데이터 API등을 사용해 혼자 간단한 프로젝트들을 경험해보면서 데이터를 수집하고 활용할 수 있도록 정제하는 것에 흥미를 느꼈습니다. 이에 데이터 엔지니어와 데이터 사이언티스트에 대해 더 조사해보면서 관련 직무로 취업하고 싶다는 생각을 하게 되었습니다. 하지만 지금까지 해온 경험과 지식이 데이터 엔지니어가 되기 위해 많이 부족하다고 생각해 제가 부족한 부분들과 앞으로 노력해야 할 부분들에 대해 질문드리고 싶습니다. ##현재 상황 1. 프로젝트 경험 - 데이터 엔지니어링(데이터 파이프라이닝 등) 관련 프로젝트 경험 없음 - AWS를 활용해 cloud server와 edge server를 구축하고, 공공데이터 application과의 API 통신을 통해 content caching을 구현하는 프로젝트를 진행했었습니다. 2. 알고리즘 - 백준 골드 4(C++)입니다. 반년 전 컴퓨터 알고리즘 수업을 들은 이후 꾸준히 풀고 있습니다. 3. 오픈소스 경험 - git과 github사용법만 알고, 진행했던 간단한 프로젝트들만 깃허브에 올려놓았는데, 크게 의미가 없는 것 같습니다. 오픈소스에 기여해본적은 없습니다. 4. 학과 공부 인서울 상위권 대학교 다니고 있고, 전체평점 3.97/4.5, 전공평점 4.08/4.5 입니다. 5. 언어 - python은 library 잘 활용하는 정도로만 이해하고 있고, SQL, Go 등의 언어에는 지식이 전무한 상태입니다. 이러한 제 상황을 바탕으로 앞으로의 계획에 대해 질문드리고 싶습니다. 1. 데이터 엔지니어로 취업하기 위해 어떠한 역량과 경험을 더 키워야 할 지 궁금합니다. 2. 프로젝트 경험을 쌓고 싶은데, 관련된 기술 스택을 어느 정도로, 또 어떤 방식으로 공부해야 효율적일지 감이 잘 잡히지 않습니다. 전문가분들께서 추천해주실 만한 책이나 강의가 있을까요? 3. 데이터 엔지니어 채용 공고를 살펴보면, 빅테크나 대기업의 경우 경력 n년 이상을 자격 요건에 걸어두는 경우도 종종 확인할 수 있었습니다. 신입으로 데이터 엔지니어 채용은 많이 힘든가요? (4). 데이터 엔지니어 관련해서 열심히 찾아보고 더 나아가 기여해 볼 만한 오픈소스들이 어떤게 있을지 궁금합니다. 꼭 모든 질문에 대한 답변이 아니더라도, 한두개 정도의 질문에 길지 않은 분량으로 답변 주셔도 저에게는 큰 도움이 될 것 같습니다. 전문가분들의 답변을 토대로 앞으로 더 열심히 노력해보겠습니다. 이상 긴 글 읽어주셔서 감사합니다.

2년차 물경력 이직에 메리트있을까요..?

2년전에 백엔드개발, 데이터베이스관리로 취업을했지만 개발업무는 전혀안하고 DB관리업무만 했습니다. 경력에 쓸만한 내용은 신규프로젝트 데이터베이스 구축및 설계, 마이그레이션 이구요 기존프로젝트 고도화작업이라 기존 데이터정합성 안맞는 테이블구조 정규화 및 데이터검증후 마이그레이션 작업이 주 업무였어요 부가적으로는 유지보수성 DB관리, 그리고 번거로운 노가다성 쿼리작업을 대체할려고 간단한 코드짜서 데이터채우거나 일부 데이터 마이그레이션정도 했습니다. 제가 고졸이라 방통대 재학중이고, 집에서 혼자서 스프링부트, 리액트로 회사프로젝트(윈도우 프로그램입니다)를 웹으로 1인개발하고있는데 시작한지 얼마 안되었어요. 냉정하게 봤을때 2년차의 개발자실력이 절대아니고... DBA나 관련업무로 봤을때도 깊이나 전문성이 많이 모자른거같습니다.. 지금 당장 이직을 한다면 지금까지의 경력으로 이직이 될거같나요..? 아니면 스터디나 개발연습을 더해서 이직을할까요?? 서두르는 이유는 더물경력리 되기전에 옮겨야 할거같아서 입니다..

데이터분석가는 공공데이터는 다루지않나요?

안녕하세요.데이터 관련 학과에 재학중인 대학생입니다. 데이터 사이언티트스가 되고 싶긴 했지만 대학원은 갈 자신이 없어서 데이터 분석가가 되기로 결정했는데요. 제가 궁금한건, 데이터분석가는 매출관련 로그데이터만 거의 다루는것같은데.. 맞나요? 저는 공공데이터를 다루는게 재미있어서 관련공부를 해왔는데, 막상 매출,마케팅 관련 데이터를 보니 적성과 맞지 않는다는 생각이 듭니다. 또, 공공데이터나 다른 데이터를 다루는 곳은 없을까요..? 데이터로 매출이나 회사의 실적에 도움을 주는것 보다는 공공데이터로 실생활에 도움을 주는 일을 하고싶네요.. 이 말이 역설적인것 같기도 해서 고민입니다. 결국은 돈을 위해 분석을 해야하는것일 테니까요.. 그렇다면 , 데이터 분석가 라는 직무에 잘 맞지 않는걸까요? 진로 고민에 조언 부탁드립니다~

CS 전공 4학년 진로고민 조언 부탁드립니다..!

안녕하세요, 생성형 비전 ai를 연구 중인 전공자 4학년 학부 인턴입니다. 요즘 제가 생각보다 연구에 대한 끈기가 부족하다는 것을 깨달아서 (빨리 성과가 나오지 않으면 답답하고 몇개월을 갈아넣은 연구 성과가 학문/이론에서 그치는 것도 답답하더라구요) 랩실을 나오고 취준을 해볼까 고민 중입니다. 연구 자체가 엄청 거부감 들고 싫은건 아니지만.. 결국은 연구를 해도 나중에 리서처나 개발 직군으로 취업을 해야하는데 회사에서 리서치 직군을 애초에 많이 뽑지는 않는데 저보다 탐구/실험하는 과정을 정말 잘 하는 주변 사람들을 보며 제가 충분히 경쟁력을 가질 수 있을지 잘 모르겠더라구요... 지금 fe be ai 다 한 번씩 건들여봤는데 이 중에서 취업할만큼 전문성을 가진 분야는 없는거 같아요. 그래서 빠르게 결단을 내리고 랩실을 나오고 취준을 할지, 랩실에 계속 있을지 고민 중인데 취준을 한다면 fe/be/데이터분석+데이터 엔지니어 중에 고민 중에 있습니다. (ai 엔지니어도 고려 중인데 학위에 대해서는 의견이 분분하긴 하지만석사를 따는게 유리하다고 하네요. 그리고 MLOps 분야는 신입을 잘 안 뽑는다고 알고 있어서..) 결정을 내린 다음 대학원을 안 가고 취준을 한다면 1~1.5년 정도 한 분야에 더 집중할 생각입니다. 그리고 지금은 학사/석사 취업 모두 어느 분야를 취업하든 다 경쟁이 매우 치열한거 같더라구요... 만약 fe를 하게 된다면 제가 시각적인 것을 좋아해서 장기적으로 보았을 때 인터랙티브 미디어 아트쪽으로 커리어를 쌓고 싶다는 생각이 있긴한데, 이게 현실적으로 가능한 것인지는 잘 모르겠습니다... FE는 제가 얕게나마 react, react native를 파본 경험이 있는데 화면에 보여지는게 즐겁긴 하지만 공들여서 만든걸 많이 수정할 때 좀 마음이 아팠던 경험이... 그리고 쏟아지는 기술들을 계속 배워야 한다는 것에 없지않아 피로감을 느꼈던거 같습니다. (그런데 이건 IT쪽이면 연구/개발 어느 분야든 똑같이 적용되긴 하는거라...) BE는 제가 django나 flask로 CRUD 위주로만 구현한..야매로밖에 경험을 안 해봤고 spring은 김영한님 강의 듣다가 중간에 너무 알아야할게 많은거 같아 포기했던 경험이 있습니다. 데이터 분석 + 데이터 엔지니어 같은 경우에는 통계 베이스/데이터 파이프라인 stack 기반이 부족해서 더 공부를 해봐야 할거 같습니다. 관련 공모전 경험도 아직 없고요.. ai 엔지니어 경험으로는 2~3개 정도 프로젝트 형식으로 flask로 ai 모델 서비스에 야매로 연결해본 경험이 전부입니다. (MLOps 역량을 가진 사람을 뽑으려는 추세인거 같은데 kubernetz, docker, 클라우드는 따로 또 공부를 해봐야 합니다) 결국에는 어떤 분야든 다 넘어야 하는 산이 있는 느낌이라 이에 대한 각오는 되어 있는데, 어떤 분야로 더 나아가는게 현명하고 후회없는 선택일지 너무 고민이 됩니다..ㅠㅠㅠ 어떤 직무든 다 힘들고 고된 점들이 있기에 제 성향을 고려하고 각각의 직무의 현실(?)을 보고 제가 이건 정말 오랫동안 하루종일 못 하겠다 싶은 같은 일들을 위주로 가지치기를 하면 좋을거 같다는 조언을 들었습니다. 그래서 각각 직무의 실제 업무 생활이 어떠한지, 그리고 실제 실무에서는 어떤 역량이 중요할지, 어떤 성향을 가진 사람이 어떤 상황을 감내해야 오래 버틸 수 있을거 같은지 알려주시면 감사하겠습니다! 직간접적으로나마 아시는 각각의 직무에 대한 정보 알려주시면 감사하겠습니다 🙇‍♀️ 조언해주시면 제 스스로 현명한 선택을 하는데 큰 도움이 될 것 같습니다!! :)

신입 개발자 훈련과정이 매우 고민이 됩니다

안녕하세요 현업 개발자분들 제가 다른업에 종사하다 it쪽 분야로 이직을 원하여 부트캠프 수료 과정을 준비중에 있습니다. 코딩은 해본 경험은 없지만 데이터를 다루는 일을 했었어서 그쪽에 대한 전공분야 지식을 넓히고자 개발을 배워볼까 합니다. 제가 고민이 되는 과정은 1) 클라우드 풀스택 과정과 2) 빅데이터 풀스택 과정이 있는데 전자는 정통 풀스택 과정이며 프론트와 백엔드를 순차적으로 배우는 확실한 커리큘럼이어서 많은 해에 인기를 받았던 과정이라 우선적으로 배워볼까 했는데 후자에 커리큘럼을 최근에 알게되어 봤더니 파이썬과 sql을 중심으로 빅데이터 기반 프로그래밍을 하더라구요 제가 딱 하고싶고 원하던 과정인데 문제는 이 학원이 너무 멀어 고민이고, 자칫 개발에 1도 모르는 애가 데이터쪽을 먼저 배운다는게 뼈대 없이 지름길로 가는게 아닌가 싶어서 신중히 고민중입니다. 제가 원하는 직무는 데이터 분석을 통해 혹은 데이터 관리로 인해 플랫폼을 구축하는 업무를 하고 싶은데 두 과정중에 고민중에 있습니다. 현업 개발자분들께서는 어느 과정이 더 저에게 효과적일까요? 조언 부탁드립니다.

데이터 엔지니어 or 데이터 분석가 or 백엔드 개발자 진로 고민

백엔드 준비를 1년간 하다가 쉽지 않아 돈이 궁해 다른 직무로 임시 취업을 했습니다. skill : java, spring 요새 빅데이터쪽에 관심이 생겼고 전망도 좋아 진로 고민에 빠졌습니다. 문제는 각 직업의 티오가 다르고 신입으로서의 역량이 다릅니다. 1. 데이터 엔지니어 최종 목표는 데이터 엔지니어가 될 것이고 엔지니어는 신입보단 경력 위주로 뽑아서 가능성이 미지수입니다. 2. 데이터 분석가 그렇자고 데이터 분석가로 가기엔 통계, 수학 및 도메인 지식이 중요하다고 하다네요. 이 직업으로 가기 위해서는 통계, 수학 지식을 처음부터 파아햐는 리스크가 있어요. 3. 벡앤드 개발자 -> 데이터 엔지니어 그러면 벡앤드 개발자로 취업을 한 뒤에 데이터 엔지니어로 경력 이직하는 것이 나을까요? 최종적으로 데이터 엔지니어의 길을 가게될텐데 백엔드로 가서 시간만 날리지 않을까 걱정이 됩니다. 1. 데이터 엔지니어 or 데이터 분석가 or 백엔드 개발자 어떤 직업으로 밀고나갈지 추천 부탁드립니다. 2. 추천하식 직업을 어떤 방향으로 준비하면 좋을지 말씀 부탁드립니다. 감사합니다.

데이터분석가(DA) 취업준비

사정상 늦게 입대하여 현재 군생활이 35프로 정도 남은 지거국 컴공 대졸자입니다. 데이터 분석가로 취업을 희망하여 준비해보고자 하는데 무엇부터 준비해야할지 또 어떤것들을 준비해야할지 막막하여 질문 올려봅니다. 찾아보니 파이썬, R, sql, excel, 대시보드 제작 등등 준비해야 할것이 많던데 지금부터 군 생활중에 우선적으로 할만 한 것이 무엇이 있을까요? 혹은 군생활 중에는 빅데이터 분석기사같은 자격증이라도 공부하면서 데이터 분석에 대한 전반적인 것을 공부해보는게 나을까요? 현재 파이썬, 자바 어느정도 다룰줄 알고 자격증은 정보처리기사 있습니다. 늦은 나이로 전역 후에 취업 준비생각을 하니 막막해서 글올려봅니다..

RAG 를 짜는 중에 도무지 어떤 부분이 문제인지 모르겠습니다.

# JSON 파일에서 FAQ 데이터를 로드하는 함수 def load_faq_data_from_json(file_path): with open(file_path, 'r', encoding='utf-8') as f: faq_data = json.load(f) return faq_data # FAQ 데이터 로드 json_file_path = '' faq_data = load_faq_data_from_json(json_file_path) # ChromaDB 클라이언트 및 Embedding 설정 chroma_client = chromadb.Client() # ChromaDB 클라이언트 생성 # 고유한 컬렉션 이름 생성 collection_name = "faq_data_" + datetime.datetime.now().strftime("%Y%m%d_%H%M%S") collection = chroma_client.create_collection(collection_name) # LangChain의 Text Splitter 설정 text_splitter = RecursiveCharacterTextSplitter( chunk_size=512, chunk_overlap=50 ) # OpenAI 임베딩 설정 openai_api_key = '' embedding_function = OpenAIEmbeddings( model="text-embedding-ada-002", openai_api_key=openai_api_key ) # 텍스트 스플리팅 및 임베딩 생성 함수 def split_and_embed_text(text): splitted_texts = text_splitter.split_text(text) print(f"Splitted texts: {splitted_texts}") try: # OpenAIEmbeddings는 embed_documents를 사용합니다. embeddings = embedding_function.embed_documents(splitted_texts) except Exception as e: print(f"임베딩 생성 중 오류 발생: {e}") return None # 임베딩이 제대로 생성되었는지 확인합니다. if embeddings is None or len(embeddings) == 0: print("임베딩 생성 실패") return None # 임베딩을 numpy 배열로 변환 embeddings = np.array(embeddings) print(f"Embeddings shape: {embeddings.shape}") # 임베딩 벡터의 차원을 확인하고 처리합니다. if embeddings.ndim == 1 and embeddings.shape[0] == 1536: # 임베딩이 1차원 배열이고 길이가 1536인 경우 final_embedding = embeddings elif embeddings.ndim == 2 and embeddings.shape[1] == 1536: # 임베딩이 2차원 배열이고 두 번째 차원이 1536인 경우 final_embedding = np.mean(embeddings, axis=0) else: print("임베딩 벡터의 차원이 예상과 다릅니다.") return None print(f"Final embedding shape: {final_embedding.shape}") return final_embedding # FAQ 데이터를 Vector DB에 저장 def store_faq_data_in_vector_db(faq_data, collection): for faq in faq_data: # 'question'과 'answer'가 있는지 확인하고, 'answer'가 None이 아닌지 확인 if 'question' not in faq or 'answer' not in faq or faq['answer'] is None: print(f"누락된 'question' 또는 'answer'로 인해 항목을 건너뜁니다: {faq}") continue # 다음 항목으로 넘어감 # 텍스트 스플리팅 및 임베딩 생성 question_embedding = split_and_embed_text(faq['question']) if question_embedding is None: print(f"Embedding generation failed for question: {faq['question']}") continue # 임베딩이 없으면 다음 질문으로 넘어감 print(f"Generated embedding for question '{faq['question']}': {question_embedding}") # 각 질문에 고유한 ID 생성 faq_id = str(uuid.uuid4()) # 메타데이터에서 None 값을 제거 metadata = {k: v for k, v in {"answer": faq['answer']}.items() if v is not None} # Vector DB에 저장 collection.add( documents=[faq['question']], metadatas=[metadata], ids=[faq_id], embeddings=[question_embedding] ) # 추가 후 임베딩 확인 (저장된 후 곧바로 확인) stored_results = collection.get(ids=[faq_id], include=["embeddings"]) if stored_results['embeddings'] is not None and len(stored_results['embeddings']) > 0: print(f"Embedding for question '{faq['question']}' successfully stored.") else: print(f"Failed to store embedding for question '{faq['question']}'") # FAQ 데이터를 JSON에서 로드하고 저장 store_faq_data_in_vector_db(faq_data, collection) 이렇게 데이터를 저장하고 # 환경 변수에서 API 키 로드 openai_api_key = os.getenv("OPENAI_API_KEY") if not openai_api_key: raise ValueError("OpenAI API 키가 설정되지 않았습니다. 환경 변수 OPENAI_API_KEY를 설정하세요.") # OpenAI 임베딩 설정 embedding_function = OpenAIEmbeddings( model="text-embedding-ada-002", openai_api_key=openai_api_key ) # LangChain의 Text Splitter 설정 (일관성 유지) text_splitter = RecursiveCharacterTextSplitter( chunk_size=512, chunk_overlap=50 ) # ChromaDB 클라이언트 및 컬렉션 설정 chroma_client = chromadb.Client() collection_name = "faq_data_collection" try: # 이미 존재하는 컬렉션인지 확인하고, 있으면 가져옴 collection = chroma_client.get_collection(name=collection_name) except chromadb.errors.CollectionNotFoundError: # 컬렉션이 존재하지 않을 경우에만 생성 collection = chroma_client.create_collection(name=collection_name) # Vector DB에서 유사 질문 검색 (ChromaDB) def find_similar_question_in_vector_db(new_question_embedding, collection, k=5): results = collection.query(query_embeddings=[new_question_embedding], n_results=k, include=['documents', 'metadatas', 'embeddings']) best_similarity = 0 best_question = None best_answer = None # 검색 결과에서 각 질문의 유사도와 답변을 처리합니다. if 'documents' in results and 'metadatas' in results: documents = results['documents'][0] metadatas = results['metadatas'][0] embeddings = results['embeddings'][0] for i in range(len(documents)): stored_embedding = embeddings[i] metadata = metadatas[i] if stored_embedding is not None: # 코사인 유사도를 통해 유사도를 계산합니다. similarity = cosine_similarity([new_question_embedding], [stored_embedding])[0][0] print(f"유사도: {similarity} for {documents[i]}") # 유사도가 가장 높은 결과를 선택하며, 임계값 이상일 경우에만 선택 if similarity > best_similarity and similarity >= SIMILARITY_THRESHOLD: best_similarity = similarity best_question = documents[i] if isinstance(metadata, list): metadata = metadata[0] best_answer = metadata.get('answer') if isinstance(metadata, dict) else None return best_question, best_answer # Fine-tuned GPT를 사용해 새로운 답변 생성 def gpt_generate_response_from_finetuned_gpt(question, style="의사 A 말투"): prompt = f"다음은 환자의 질문입니다: \"{question}\". 아래 말투를 사용하여 질문에 대해 성실하고 정확한 답변을 작성해주세요.\n\ 말투: {style}" response = client.chat.completions.create( model="", # Fine-tuned된 GPT 모델 ID messages=[ {"role": "system", "content": "You are a helpful medical assistant."}, {"role": "user", "content": prompt}, ], max_tokens=300, temperature=0.7, # 답변의 다양성을 조절합니다. ) return response.choices[0].message.content.strip() # 새로운 질문 처리 및 최종 응답 생성 def generate_final_response(new_question, collection): # 텍스트 스플리팅 및 임베딩 생성 splitted_texts = text_splitter.split_text(new_question) new_question_embedding = np.mean(embedding_function.embed_documents(splitted_texts), axis=0) # ChromaDB에서 유사 질문 검색 similar_question, answer = find_similar_question_in_vector_db(new_question_embedding, collection) if similar_question and answer: final_response = f"질문: {new_question}\n유사 질문: {similar_question}\n기본 답변: {answer}" else: generated_answer = gpt_generate_response_from_finetuned_gpt(new_question) final_response = f"질문: {new_question}\nGPT로 생성된 답변: {generated_answer}\n(이 답변은 벡터데이터에서 유사한 답변을 찾을 수 없어 GPT에 의해 생성되었습니다.)" return final_response # 사용자로부터 새로운 질문 입력 받기 new_question = input("새로운 질문을 입력하세요: ") # 최종 응답 생성 response = generate_final_response(new_question, collection) print(response) 로 데이터베이스에서 유사한 질문-답변 쌍을 끌어오려는데 정확히 같은 질문을 넣어도 (이러면 유사도가 1인데) 저장되어있는 답변이 끌어와지질 않네요...

Next 서버 컴포넌트와 전역 상태관리

안녕하세요. Next15에서 서버 컴포넌트를 적극적으로 도입하여 프로덕트를 개발하고 있는데, 고민이 되는 부분이 있어 여러 분들의 도움을 얻고자 질문을 남깁니다. 서버 컴포넌트에서 받아온 데이터와 클라이언트 컴포넌트에서 사용하는 zustand가 적절히 사용되고 있는지 고민이 듭니다. 현재 GET 요청의 경우 각각의 서버 컴포넌트에서 fetch를 통해 진행하고, 해당 데이터를 자식 클라이언트 컴포넌트에서 사용할 경우 props로 내려 사용하고 있는데, 이때, 드릴링이 심해질 경우 zustand와 같은 전역 상태관리 라이브러리를 함께 사용하려고 합니다. 예를 들어, 서버 컴포넌트의 첫 번째 자식인 클라이언트 컴포넌트에서 zustand를 사용하고, 이후 자식 클라이언트 컴포넌트에서는 zustand를 통해 상태관리 할 때 자식인 클라이언트 컴포넌트의 업데이트가 진행되는 부분에서 try/catch를 통해 요청을 보내고, router.refresh()를 통해 서버 컴포넌트에서 데이터를 새로 받아옵니다. 이후 클라이언트 컴포넌트에서는 useEffect로 서버 컴포넌트에서 props로 받아온 데이터가 바뀌는 것을 감지하고, 해당 props를 zustand에서 사용하는 데이터로 업데이트하려고 하는데 문제가 될만한 점이 있을까요? 이와 관련된 링크나 답변이 있으시다면 감사히 받겠습니다!

어떤 걸 먼저 공부하며 취업준비를 해야 좋을까요?

안녕하세요. 저는 비전공자이며 데이터엔지니어를 꿈꾸는 취업준비생입니다. (SQL을 처음 배우게 되었을 때 문법이 재밌어서 데이터베이스에 관심을 가지게 되었고, 데이터엔지니어를 꿈꾸게 되었습니다. 저는 아무리 생각해도, 사이언티스트와 분석쪽은 안맞는 것 같은데 혹시 다른 데이터관련 직무가 있으면 추천해주세요.) 현재 저는, 국비로 데이터분석 및 엔지니어 과정을 수료하였으나 엔지니어링 분야는 거의 배우지 못하고 아주 기본적인 sql과 파이썬 문법을 배웠고, 분석가 파트만 조금 더 접해본 상태입니다. 그래서 데이터 엔지니어링에 관해서는 처음부터 공부를 해야하는 상태입니다. 데이터엔지니어링의 시작도 감을 잡지 못했고, 데이터 파이프라인에 대해서 찾아보았을 때 그림에 나오는 기술들이 어떤 것인지도 아직 모르는 상태입니다. 그리고 비전공자이기 때문에 컴퓨터관련 이론도 잘 모릅니다. 자격증은 취업할 때는 막상 크게 도움이 안된다는 얘기들을 듣긴 했는데, 전혀 감을 못 잡고 있으니 관련 자격증들이라도 계속 공부하다보면 감이 잡히겠지, 도움이 되겠지라는 생각이었지만 막상 또 채용공고들을 찾아보면 기술이 더 중요한 것 같아서 고민이 됩니다. 제가 공부하려고 생각했던 자격증들은 SQLD와 정보처리기사, 더 따게 된다면 데이터 아키텍처정도 입니다. 자격증부터 하나씩 공부해가고 인강과 책을 통해 기술을 배우는 게 맞을까요, 아니면 그냥 처음부터 인강과 책으로 관련 기술들을 배우는 게 맞을까요? 그리고 한가지 더 여쭤보자면, 데이터엔지니어는 신입을 잘 뽑지 않는다고 하던데(실제로도 신입 채용공고가 잘 없구요...) 개발자로 경력을 쌓고 데이터엔지니어로 넘어가는 길이 제일 나은 걸까요..? 장황한 글 읽어주셔서 감사합니다. <요약> 1. 엔지니어,분석가,사이언티스트 외에 데이터관련 직무가 있다면 추천해주세요. 2. 자격증부터 하나씩 공부해가고 인강과 책을 통해 기술을 배우는 게 맞을까요, 아니면 그냥 처음부터 인강과 책으로 관련 기술들을 배우는 게 맞을까요? 3. 개발자로 경력을 쌓고 데이터엔지니어로 넘어가는 길이 제일 나은 걸까요..?

공공데이터 api 활용 관련

안녕하세요 대학교 4학년 학생입니다 이번에 졸업작품 겸 개인 프로젝트로 식품 영양정보 공공데이터 api를 활용해서 식단 관리 어플을 제작하고 있습니다! 근데 제가 사용하는 데이터가 식품관련 정보라서 날씨와 같이 업데이트 빈도가 높은 데이터가 아니잖아요? 업데이트가 거의 없다고 봐야겠죠.. 그래서 요청 트래픽이 제한되어있는 공공데이터를 앱 사용자가 필요할 때마다 호출하는 것이 아닌 firebase와 같은 데이터베이스에 따로 코딩으로 데이터를 저장해놓고 사용해도 괜찮겠다는 생각이 들더라구요 근데 또 걸리는 점이 카테고리가 식품인지라 데이터의 양이 어마어마할텐데 어떻게 처리하는게 효율적일까 고민이 되더라구요.. 혹시나 식품영양정보 공공데이터를 처리해보신 분이 나 비슷힌 고민이 있으셨던 분들의 조언을 듣고싶습니다ㅠㅜ 1. 대량의 데이터를 firebase데이터베이스에 저장하고 앱 안에서 불러쓰는게 좋을까요? VS 2. 공공데이터 api를 앱 사용자가 필요할 때마다 요청해서 쓰게하는게 좋을까요? (사용자가 api를 요청하는 상황은 식단에 음식을 추가하려고 검색 할 때로 가정했습니다!)

지금 상황에서 파이어베이스에 데이터를 저장할때 쓰는 알맞은 코드를 찾고 싶습니다.

유튜브 무료 강의 따라하며 코딩 독학하고 있는 사람입니다. https://youtube.com/playlist?list=PLfLgtT94nNq3PzZinqs9Afuiai--r5NB_&si=ck9wzApzjvUZDJ6T 코딩애플님 강의를 따라서 파이어베이스 기반 웹사이트를 만들고 있었는데, 어떻게든 따라가다가 웹페이지에 개시글을 작성해서 파이어스토어 데이터베이스에 저장하는 부분에서 막혀버렸습니다. https://youtu.be/yYtTZcjCj_o?si=mg_U0cKB_kHUMhef 제가 실력이 매우낮아서, 이 상황에 알맞는 데이터 저장방법을 못찾겠어가지고 이렇게 물어봅니다. 아래의 코드 부분, 그러나까 웹페이지에 올린 개시글의 데이터가 파이어베이스의 데이터베이스에 기록하는 부분을 작업하다가 막혔습니다.

졸업을 앞두고 진로 고민중입니다.

현재 컴퓨터공학 관련전공으로 졸업을 앞두고 있습니다. 3학년때 데이터베이스 수업을 들으면서 다른 프로그래밍 언어들과 다른 방식으로 작동하는 SQL에 관심을 가지게 되었고, 데이터를 다루는 직업 중 데이터 엔지니어를 희망하게 되었습니다. 데이터를 깔끔하게 저장하고, 쿼리를 최적화해서 좋은 성능을 뽑아내고, 질 좋은 데이터를 제공하는 과정이 매력적으로 다가왔습니다. 이번 하반기에는 데이터 엔지니어링 관련 부트캠프 / 데브코스를 수강하고, 내년 중으로 취업을 하는 것을 목표로 하고 있었습니다. 큰 기업은 꿈도 꾸지 않고 있구요, 그냥 '내가 어느 방향이든 성장할 수 있을 곳이면 됐다.' 이렇게 생각하고 있습니다. 하지만 요즘 데이터 엔지니어는 신입을 잘 채용하지 않는다는 소식과, 부족한 제 실력들이 불안합니다. 백엔드 개발자로 취업한 뒤 경력과 실력을 쌓은 뒤에 데이터 엔지니어로 전환하시는 경우들이 있는 것은 압니다. 지금까지는 SQL과 파이썬 위주로 공부했는데, 백엔드 개발자를 준비해보려니 JAVA부터 다시 해야하더라구요. JAVA는 학교 수업으로만 수강해보았고, 개발 관련 지식은 거의 없는 편입니다. [질문] 1. 실제로 신입 데이터 엔지니어를 뽑는 곳은 별로 없는 편인가요? 2. 신입이 데이터 엔지니어가 되려면 역시 백엔드 개발자로 취업한 뒤에 경력을 쌓고 전환하는 방법이 제일 가능성이 좋은가요? 그렇다면 부트캠프도 백엔드 위주로 알아보는 것이 좋겠죠?

데이터분석 세부 직무에 대한 고민을 어떻게 해결하면 좋을까요?

안녕하세요, 저는 데이터 분석 직무를 목표로 하고 있는 수학 전공 및 소프트웨어 공학 복수 전공 3학년 학생입니다. R 프로그래밍 수업을 통해 데이터 분석에 흥미를 갖게 되었고, 통계적 방법론을 배워 데이터 분석에 접근하고자 수학과로 전과하여 공부하고 있습니다. 그러나 데이터 분석 직무가 생각보다 매우 넓다는 것을 알게 되어 세부적인 직무를 결정하는 데 어려움을 겪고 있습니다. 데이터 분석 연합 동아리 활동을 통해 다양한 프로젝트를 경험하며, 선배들로부터 "자신이 데이터를 가지고 하고 싶은 일을 명확히 알아야 한다"는 조언을 많이 받았습니다. 최근 대시보드 제작 프로젝트를 통해 가설 설정 및 퍼널 분석에 큰 재미를 느꼈지만, 유저별 추천 시스템 모델을 구축하는 딥러닝에도 관심이 생겼습니다. 데이터 분석 직무의 JD를 찾아보면, 데이터 사이언티스트(DS), 데이터 분석가(DA), 프로젝트 매니저(PM) 등 해각각 요구하는 사항이 다르다는 것을 느꼈습니다. 이에 따라 저는 어느 직무를 선택해야 할지, 각 직무에 필요한 역량을 어떻게 준비해야 할지 고민이 됩니다. 1. 데이터 분석 직무 중 DS, DA, PM의 주요 차이점은 무엇인가요? 2. 각 직무별로 요구되는 주요 기술 및 역량은 무엇인가요? 3. 저와 같은 상황에서 어떤 방향으로 준비를 하는 것이 좋을까요? 4. 직무를 선택하고 준비하는 과정에서 유의할 점이나 추천해주실 자료가 있나요? 경험과 조언을 부탁드립니다. 감사합니다.

선배님들의 고견을 여쭙고자 합니다.

안녕하십니까!!... ​ 저는 최경호 라고 하며, 현재 울산에서 MRO소모성 자재(건설업) 납품업체 에서 건축자재 및 공구 또, 산업.안전용품 의 유통회사 에서 배송납품 기사 로 일하는 40대 남성 입니다. ​ 건설업 MRO 라는 키워드 로 검색을 하게되었고, 정확한 내용은 아래 링크 를 보시면 더 자세하실 겁니다. https://blog.naver.com/mmoonhs91hy/221934607016생활안전시장_안전용품 ​ 다름이 아니오라, 제가 현재 일하고 있는 회사는 울산지역 에서 S-oil 이나 금호석유화학, SK에너지 등의 회사의 협력업체들 에게 공구 및 작업복 흔히 말하는 산업.안전용품 기타 관련용품들 을 배송.납품 하는 업무를 하고있습니다. ​ 제가 문의글을 올리게 된 이유는, ​ 울산의 공구상가 에서 (사업자 를 가진 회사에게 도매 가격으로 판매를 하고, 개인고객 에게는 소매가격으로 판매를 하는) 업장을 방문해서 물건을 구입후 에 배송을 하고 있습니다. 여러 카테고리 가 있다보니. 품목에 따라 다른 업체들을 방문하여 물건구입 후 배송을 하는데, 저희 회사자체 의 창고에서 물건을 찾아서 가는 경우는 거의 없습니다. (원체 많은 품목들이 있고, 판매를 될지 안될지 모르는 제품들이기에 창고에 미리 갖추고 있을 여유는 없습니다.) ​ 또한 KEP(코리아이플랫폼) 라는 MRO회사의 네트워크 에 가입이 되어있고-실제 배송.납품건이 많지는 않은것 같습니다. 크레텍 책임&웰딩 이라는 대구에 본사를 둔 회사에서 공구 관련 품목을 납품 받고, 기타 타지역에서 화물로 물건을 받아 그때그때 주문에 맞추어서 발주를 하고 물건을 받아,판매하고 있습니다. KEP 나 서브원 같은 대기업 에서 운영하는 MRO업체들 에게서 물건을 납픔받아 재판매를 하는 식 입니다. 구비하고 있는 기계? 를 일정기간 임대 하고 비용을 받는 부분도 있는것 같습니다. ​ 제가 대표님 에게 듣기로는, 울산 이라는 지역에서 같은 업을 하는 경쟁사 가 약250여개 가 된다고 합니다. 아주 오래된...지금 의 7~80대 어르신 들이 예전에 하던 유통방식 에서 달라진것이 없는 상황 입니다. (물론 연합을 해서 이 물건은 이 가격에 팔자! 라는 방식은 잘 모르겠으나, 공구상가 주변에 모여들어 사업자가 있는 사람에게는 도매가로 판매하고 개인에게는 소매가 로 판매를 하는..) ​ 또한, 건설 프로젝트 를 대기업에서 입찰을 해서 공사를 시작하게 되면 그 협력업체 사람들과의 인맥 과 또 그를 통한 다른 인맥을 만들며 공사에 참여하여 자재를 납품 합니다.. 인맥이 없으면, 장사를 못한다! 라는 그런 이야기 도 들은것 같습니다. ​ 이런 현 상황에서 소상공인들이 대부분 이다보니, 정부에서 기관을 만들어 지원해 주는 경우도 있는데 대부분이 마케팅 과 온라인 유통 에 관련된 교육들이고, 사업자 가 있어야 참여를 할수가 있더군요.. ​ 온라인 유통에 대해 아는것이 없습니다.. 전문성 을 어필하기 위해 홈페이지 에서 구독서비스 를 만들고 공구나 기타자재 들도 풀필먼트 라는 물류시스템을 빨리 갖추어야 한다! 라는 이야기를 들었습니다만... ​ 홈페이지 에서 클릭해서 장바구니 담고 택배로 물건 보내준다.. 건축자재 들이 원체 부피가 크고 무게가 많이 나가다보니, 그게 가능한가? 이런 수준의 생각밖에는 못하고 있습니다. ​ 산업.안전용품 를 유통하는 회사로써, 유통업,서비스업 의 범주에 포함된다고 생각합니다만, ​ 이 업계에서 저희 회사의 포지셔닝 부터 찾아야 한다고 생각을 하고, 포지셔닝 을 찾은후에 다른 경쟁사 와 다른 저희 회사만의 KSF(Key success factor) 를 만들수 있다고 생각합니다. ​ 저의 짧은 생각으로는, 서비스업 의 특징은 , 고객이 이미 가지고 있는 기대치 를 넘어서는 무언가를 제공해 줄수 있어야 한다고 생각 합니다. 정확하고 빠른 배송 과 친절함? 이런 부분은 누구나 다 생각하고 가지고 있다고 생각 합니다. ​ 유통업 에서 포지셔닝 을 찾기위해 어떤 부분들이 고려되어야 하는지? 저희만의 KSF를 가지기 위해 무엇을 할수있는지? 이 부분에 대해 여쭙고자 합니다. ​ 저는 타 경쟁사 와 다른 저희만의 독점성 을 가지기 위해 개인적으로 해외소싱,구매 를 생각하고 있습니다. 그 이유는 한국에서 산업,안전용품 은 보급품 이라는 이미지 가 있다고 생각을 하고있으며, 품질적인 부분은 아직 국제사회에서 경쟁을 할 정도는 아니다.라고 알고있습니다. ​ 그리고 항상 편안함 과 안전 이라는 부분이 가장 우선시 되기에. 타업계에 비해 품목의 트렌드 에 영향을 많이 받지는 않는다고 생각합니다. ​ 그러나 중소기업 의 부족한 부분을 채워주기 위해. 이미 많은 대기업들이 MRO를 하기에, 해외소싱 이 저희만의 KSF가 되어줄수 있을지에 대해서 더 많은 고민이 필요하다고 생각합니다. ​ 현재 국내에 유통이 되지않는, 그런 품목이 필요하다고 생각만 하고있습니다. 많은 전문가 분들은 산업,안전용품 과 공구 등은 해외소싱 및 구매를 할 만한 아이템이 이젠 거의없고 또 아이템 마다 너무다른 방식들이 많아서 그다지 좋은 방법은 아니라고 합니다. ​ 소모성자재 이니 만큼 건설업 만이 아닌. 자동차 ,조선업 ,입찰,항공 또한 조달..등의 이야기 와 온라인 유통에 대해 많은 지식을 갖추라고 이야기 하십니다. ​ 제가 얻은 답변 중 회사의 일원으로써 갖추어야 하는 능력은.. AI UI/UX 설계 데이터 분석 어디서 부터 어떻게 시작해야 하는지 어떤 커리큘럼 을 가지고 따라갈수 있을지 문의 드리고자 합니다. 제가 현재 많은 지식을 갖추고 있는 사람이 아닌지라, 어리석은 우문 만 드리게 되었습니다만, 여기 계신 분들의 고견을 부탁 드려도 될런지요?

데이터 분석 공부를 처음 시작하는데 어떻게 공부하는 게 좋을까요?

저는 군대에서 데이터 분석을 공부 중인 군인입니다. 열정은 있는데 방법을 몰라 막막해서 질문합니다. 군대라는 제한된 공간에서 저 혼자 공부하려다보니 지금 제 수준에서 이 공부 방법이 맞는지 모르겠습니다. 저는 자료구조/알고리즘, 선형대수학, 통계는 어느 정도 알고 있습니다. 그런데 깊게 알고 있지는 않아서 그런지 공부하다 보면 막막한 부분들이 있습니다. 저는 현재 2가지로 나눠서 공부를 하고 있습니다. 머신러닝 이론 + 실전 코딩 경험 머신러닝 이론은 나중에 제가 실력이 쌓였을 때 많은 머신러닝 기법 중 해당 데이터에 적합한 기법을 고를 때 필요하다고 생각해서 공부 중입니다. '패턴인식과 머신러닝', '프로그래머를 위한 선형대수학', '프로그래머를 위한 확률과 통계'라는 3개의 책으로 머신러닝 이론을 공부하고 있습니다. 뒤에 2개는 어렵지만 천천히 진도는 나갈 수 있는데 앞에 책은 아예 이해가 안 되어서 1p 넘기기도 벅찹니다. 실전 경험을 쌓기 위해 'kaggle' 사이트에서 특정 contest의 다른 사람 코드를 분석해보며 공부하고 있습니다. 하지만 코드를 보면 왜? 라는 의문이 중간에 계속 들며 특정 코드를 특정 상황에 왜 사용했는지 이해가 안 되는 부분들이 많습니다. 데이터 관련 분야를 정한 건 아니기에 우선 기본적으로 다 할 줄 아는 육각형 인재가 되고 싶습니다. 그래서 다음 2가지에 대해 조언을 구하고 싶습니다. 1. 제가 하고 있는 공부 방법이 맞는지 궁금합니다. 어떻게 하면 더 효율적으로 실력을 끌어올릴 수 있는 지가 궁금합니다. 2. 앞으로 어떤 커리큘럼으로 공부해야 하는지 궁금합니다. 열정은 가득하나, 주변에 도움을 청할 곳이 없어 제 방법이 맞는지 의문이 들고 진도가 안 나가는 느낌이라 질문합니다.

mongoose 참조 관련 질문입니다. (수정)

nodejs, mongoose, mongodb 그리고 데이터 확인용으로 mongodbCompass를 사용중임을 알립니다. 현재 A,B 컬렉션이 있고, A 가 B를 참조하고 있습니다. B컬렉션에서 데이터를 삭제하면 B컬렉션에서 삭제되고 로그를 찍어보면 정상적으로 A컬렉션에서도 참조하고 있는 B 데이터가 빠지는 걸 확인했는데 mongodb Compass에서는 바뀌지 않습니다. 원래 mongodb compass에서 느리게 처리되는 건지 살짝 멘붕이 와서 질문드립니다.. -------------------------------- 현재까지 실험결과 B컬렉션 데이터 2개 추가 시 -> A 컬렉션에 대해 findById 결과 --> B 데이터 2개 추가 -> A 컬렉션에 대해 findOne({_id:_id}) 결과 --> B 데이터 2개 추가 B컬렉션에 대해 데이터 1개 삭제시 -> A 컬렉션에 대해 findById 결과 --> B 데이터 1개 , (1개 삭제) -> A 컬렉션에 대해 findOne({_id:_id}) 결과 --> B 데이터 2개 (삭제 x) -> mongoCompass -> B 데이터 1개 , A가 참조하는 B 데이터 2개 (삭제 x) 추가로 B컬렉션 데이터 1개 추가 시 -> A 컬렉션에 대해 findById 결과 --> B 데이터 2개 , (1개 추가) -> A 컬렉션에 대해 findOne({_id:_id}) 결과 --> B 데이터 2개 (이전 1개 삭제후 새로운 참조 데이터 추가 됨 ) -> mongoCompass -> B 데이터 2개 , A가 참조하는 B 데이터 2개 (이전 1개 삭제후 새로운 참조 데이터 추가 됨) stackoverflow 와 mongoose 공식문서를 참고했습니다만 이유는 잘 모르겠습니다.. 코드도 같이 첨부하겠습니다.

앱(Flutter)에서 JSON데이터를 검색하려고 합니다

안녕하세요 Flutter를 이용하여 식단 및 체성분 관리 앱을 개발 중인 대학생입니다! json형식의 식품영양성분 공공데이터 안에서 사용자가 입력한 식품명 검색어를 기준으로 데이터를 불러오려고 합니다. DB는 Google Firebase를 사용 중이며, 위와 같은 목적으로 데이터를 사용 할 때에 적합하지 않다면 다른 DB를 사용 할 의향도 있습니다. 사용자의 검색어로 시작하는 특정 데이터만이 아니라, 검색어를 "포함"하는 데이터도 불러오고 싶습니다. 현재 어느 정도 그려 본 방법입니다. 영양성분 JSON 다운로드 ↓ Python을 이용하여 필요한 데이터만 가공 ↓ Firebase Realtime Database / Storage에 저장 ↓ 저장된 JSON을 API 호출을 통해 String으로 불러옴 / 앱 내부에 .json 파일로 저장 ↓ Map으로 변환 후 캐싱 ↓ 사용자가 검색어 입력 ↓ 검색어를 포함하는 데이터만 별도 리스트에 추가 여기서 데이터를 불러오는 과정에서 필터링을 거치지 않는 이유는 Firebase Realtime Database에서는 검색어를 "포함"하는 것이 아닌, 사전 순으로 검색어 기준 뒤에 있는 데이터만 가능하다고 합니다.. 그래서 결국 JSON파일로 직접 사용하기로 했습니다 혹시나 저의 부족함이 보이시는 분들의 조언과 피드백을 듣고 싶습니다! 더 나은 방법이 있다면 무차별 폭격 및 질문 부탁드립니다! 미리 감사드립니다 (_ _)

초대졸 데이터 분석가?

전문대 졸업 후 다니던 회사를 퇴사하고 다른 직무를 알아보던 중 데이터 분석 관련 부트캠프를 알게 되어 지금도 배우고 있는 중인데, 초대졸도 데이터 분석 관련 직무 정규직 신입으로 입사하는 케이스가 어느정도 있나요? 구인구직 사이트들을 둘러보니 정규직은 보통 학사, 석사졸이 대다수이고 그나마 초대졸 이상 뽑는 곳은 경력직이 많은 것 같아서요. 여기서 배운 후 취업할 생각인데 잘 될지 모르겠어서 고민이 많네요 ㅠ 막상 배워놓고 자격 요건조차 안 돼서 필터링 당할 것 같기도 한데.. 부트캠프 수료 후 계약직 경력이라도 쌓으면서 야간 4년제 학사 학위를 병행하는 게 낫겠? 그냥 막막합니다 물어볼 곳도 없는지라..

대학생 산업기능요원 취업 준비 어떻게 시작해야 할까요?

저는 현재 미국에 있는 대학에서 컴퓨터 과학 전공으로 3학년 재학 중에 있습니다. 제가 운 좋게 신체검사에서 공익 판정으로 받아서 이번 학기를 마치고 산업기능요원에 도전해보려고 하는데 아직 경험이 많이 부족한 것 같다는 생각이 듭니다. 저는 나름 프로그래밍이 적성에 잘 맞는다고 생각했고, 프로그래밍 문제를 푸는 것을 좋아합니다. 프로그래머스 코딩문제도 4레벨 까지는 구현하는데 시간을 좀 투자한다면 나름 잘 푸는 정도입니다. 학교에서는 알고리즘을 공부하는 것을 좋아해서 증명 기반의 수학적인 수업들을 위주로 들었습니다. 문제는 지금까지 제대로 된 프로젝트를 해본 적이 없습니다. 파이썬이나 C++로 지뢰찾기 같은 게임 만들기 정도... 채용 공고를 보면 요구사항으로 적혀있는 Node.js, Typescript 등의 툴들을 사용해 본 적이 없고 데이터베이스나 네트워크에 관한 지식도 거의 없습니다. 요구사항을 만족하는 공고가 하나도 없다고 생각하니 어디서부터 시작해야할지 모르겠더군요. 남은 3개월 동안 열심히 준비해보고 싶은데 무엇부터 해야할지 모르겠습니다. 어떤 직군을 추천하시는지, 남은 시간동안 제가 어떻게 준비를 해야할지 조언을 얻고 싶습니다!

인하대 인공지능 vs 서울과기대 인공지능

안녕하세요 :) 현재 컴퓨터공학과를 재학하고 있고 올해 위 두 학교 중 하나로 편입을 하려고 합니다. 어느 학교로 진학할지 고민이 되어 질문 드립니다. (저는 ai,머신러닝,데이터분석 관련 일을 하고 싶습니다. 따라서 석사 이상까지 염두하고 있습니다.) <인하대 인공지능 공학과> -학부 교육 과정: 조금 더 컴공에 가까운 커리큘럼 자료구조, 알고리즘, 운영체제, 데이터베이스, 컴퓨터 구조, 컴퓨터 네트워크, 오픈소스 sw등 cs과목 + 머신러닝, 딥러닝, 통계, 강화학습, 자연어처리, 컴퓨터비전등 ai 관련 과목 -대학원: 과기정통부 인공지능 대학원 선정(~2026 or more) <과기대 인공지능 응용학과> -학부 교육 과정: 컴공과목이 조금 적고 인공지능 과목이 더 많음 자료구조, 알고리즘 ,운영체제, 컴퓨터 구조, 시스템 프로그래밍, 웹 프로그래밍, 컴퓨터 보안, 컴파일러 등 cs과목 + 머신러닝, 딥러닝, 통계, 데이터 사이언스, 강화학습, 자연어처리, 컴퓨터비전등 ai관련과목 -대학원: 데이터사이언스 대학원 BK21선정, 박사까지 전액 장학금 ----------------------------------------------------------------------------------------- 어느 학교에 진학하는 것이 더 좋을까요? ----------------------------------------------------------------------------------------- + ai쪽이 너무 취업하기 어렵고 전망이 없다면 백엔드 개발자 취업을 준비할 생각도 있습니다. 의견 남겨 주시면 정말 큰 도움이 될 것 같습니다.!!

컴퓨터공학 대학원진학

요즘은 개발자로 바로 취업하는것보다 컴퓨터공학 대학원에 들어가는 경우가 많이 생겼던데 어떠한 이점 때문에 혹은 어떤 분야로 사람들이 데이터베이스나 ai분야가 아닌 컴퓨터공학 대학원 진학을 선택하는지 궁금합니다. 또한 가능하다면 간단하게 방법만 알려주시면 감사할것같습니다!

데이터분석 포트폴리오

데이터분석 쪽으로 개인프로젝트 진행해보려고하는데, 주제를 정하고 캐글 같은 곳에서 데이터 다운받은 후에 전처리 등 진행하고..나서 개인적으로 가능할까요..? 스터디할 수 있는 단계가 있나요? 아 휴학생입니다!!

취준과 대학원 사이 선택

안녕하세요, 컴공과 4학년인 학생입니다 요즘들어 취업을 준비해야할지 대학원을 가야할지 고민됩니다. 원래는 데이터에 관심이 좀 있어서 AI/데이터 대학원을 가려고 하였으나, 대학원 자체가 사람이 너무 많이 차기도 했고, 학교에서는 보안 쪽을 지원을 많이 해줘서 보안 대학원으로 가야하나 싶었습니다. 그러나, 암호학 과목에는 큰 흥미가 없어서 고민이 되었습니다. 보안 분야에서 일하는 것에 대해서도 잘 모르겠구요. 이에 대해 주위 여러 사람에게 물어보았습니다. 다들 대학원을 가는 것을 추천하는 분위기였습니다. 어떻게 하고 싶은 것만 하고 살겠느냐고, 대학원 가서 석사 학위를 취득하라고 하셨습니다. 한번 정도는 경험해봐도 괜찮다고 하셨습니다. 정작 저는 석사 2년동안 연구하고 싶은 분야가 정확히 뭔지 모르겠습니다. 데이터에 관심이 있긴 하지만, 게임에도 관심이 많고, 관심 분야가 너무 많은 게 문제입니다. 하나를 파지 않고 이것저것 맛만 본 느낌이라서 이런 상태에서 대학원을 컨택하는 게 맞나 싶었습니다. 이런 생각을 하다 문득, 제가 개발 자체를 잘 못한다는 생각이 들었습니다. 학점만 챙기고 개발을 경험한 적이 별로 없다보니, 컴공과인데 이게 맞나 싶었습니다. 그래서 현재 백엔드를 공부 중입니다. 사실 외국계 기업이서 일하는 게 꿈입니다. 다양한 사람들과의 경험을 하고 싶은데, 1년동안 개발을 갈고 닦아서 취업 해서 일하다가 정말 연구가 하고 싶거나 석사가 필요할 때 대학원으로 돌아가도 될까요? 워낙 취업 시장이 얼어붙어서 다들 대학원을 추천하는 것 같긴한데 여전히 잘 모르겠습니다. 어느 한 분야에 전문가가 된다는 것이 여러 분야에서 일하고 싶은 저에게 맞는 것인지도 잘 모르겠습니다. 두서없이 쓰긴했지만, 1년동안 정말 뒤 안돌아보고 준비하고 싶은데 취업과 대학원 준비 중에 어느 것을 선택해야 현명할까요…

Mysql Lock 관련

안녕하세요. 이번에 사내시스템을 오픈했는데, 고작 20명 정도가 한 테이블을 조회하는데 테이블이 Lock 걸리면서 사내시스템이 정상적으로 작동을 하지않아 보류하게 됐습니다. 여기서 질문입니다. 다른분들은 저희 회사 규모보다 훨씬 많은 이용자들이 방문하고 조회할것인데 테이블 조회 관리를 어떻게 처리하고 계신가요..? 테이블에 1년치 데이터만 이관을 해도 조회속도가 현저히 느려지고 작업속도가 굉장히 느려집니다.. 쿼리를 Limit과 offset을 사용하여 페이징처리까지 해도 워낙 Group By로 묶인 컬럼들이 많아서 조회가 너무 느려지는데 해결방법이 있을까요… 데이터 로우는 100만건 정도 있습니다 요약 1. 여러사람이 한 테이블을 조회할때 Lock을 어떻게 해결하는지? 2. 데이터가 많을때 어떤 최적화를 해야 처리속도가 빠를지? Gcp 2코어 8기가 사용중