#tensorflow

기업에서 사용하는 자연어 처리 모델에 대한 궁금증이 있습니다.

현재 취업준비생인데 자연어 처리 분야로 목표를 잡고 있습니다. 기업은 대기업이 아니더라도 중소기업, 스타트업 다 생각 중에 있습니다. 자연어 처리 쪽에 궁금한 점이 생겨 질문을 남깁니다. 기업들의 자격조건들을 보면 pytorch나 tensorflow 등 사용 경험이 나왔습니다. 보통 개인적으로 학습할 때는 pytorch나 tensorflow 등을 사용해서 LSTM 같은 모델들을 직접 짜보는 경험들을 하지만 요즘 프로젝트를 진행하면 GPT, Gemma, Huggingface 등 이런 모델들을 불러와서 파인튜닝하고 평가할때만 pytorch를 이용해서 하는 거 같습니다. 실제로 기업에서는 직접 LSTM 같은 모델들을 설계하여 사용하는 지 그 정도 수준의 pytorch 수행능력을 가져야 하나요 아니면 외부 모델 파인튜닝을 더 많이 해서 pytorch의 수준 능력이 고급까지 아니여도 되는 지 궁금합니다.

tensorflow.keras

import tensorflow.keras as keras from keras.models import load_model from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences from hanspell import spell_checker tersorflow랑 keras를 설치했는데, 개별적으로 할 때는 잘 되는데 tensorflow.keras는 오류가 생기네요 ㅠㅠ 그리고 keras.models도 안되네요 ㅠㅠ 마지막으로 hanspell은 정확히 어떻게 설치해야 될까요

VS CODE import error

tensorflow는 이미 설치 완료한 상태인데 이 부분이 계속 문제 있다고 뜨는데 해결방법을 도저히 모르겠어요ㅠㅠ

validation set accuracy가 train set accuracy 보다 높은 경우는 뭔가요

tensorflow를 사용해서 이진분류 모델을 만들었는데 epoch을 1번 돌려서train set accuracy가 93% 나왔고 validation set accuracy가 96%가 나왔습니다 train set 안에 test set은 포함 안되어 있습니다 모델 성능이 좋은건가요? 아니면 무슨 문제가 있는건가요

Tensorflow 분산처리시 data연속성 보장에 관하여

xlnet,transformer_xl과 같은 모델을 사용할 경우 data는 batch와 batch간에도 이어집니다. 이 때 2개 이상의 GPU를 사용하여 tf.distribute.MirroredStrategy 방식으로 병렬처리를 한다면 data의 연속성이 보장되지 않은 것이라 생각합니다. 이럴 경우 제가 생각하는 데이터의 연속성이 학습에 중요한 영향을 미칠까요? 만약 그렇다면 이 문제를 해결 할 수 있는 방법이 있을까요?

프론트엔드 개발자를 지망하는 취준생인데 이력서에 뭐가 부족한 것일까요?

5월 19일에 국비 부트캠프를 수료한 후 현재까지 5개월 동안 구직 활동을 하고 있는 취준생입니다. 현재까지 100군데 넘게 스타트업, 중소, 중견, 대기업 가리지 않고 다 지원했는데 면접은 커녕 서류 통과가 되는 곳이 한 군데도 없습니다. 취업에 먼저 성공했던 동료 취준생과 디스코드의 개발자 커뮤니티를 통해 이력서를 수정하고 있는데 현재 맞게 진행되고 있는지 긴가민가 합니다. 그래서 여기 계시는 현직자 분들한테 피드백 요청드리고자 합니다. 가감없는 솔직한 평가 부탁 드리겠습니다. 1. 이력서 제목: '이력서 | 안녕하세요, 정연준입니다!' -부족해도 멈추지 않는 개발자 -아는 것과 모르는 것을 구분할 줄 아는 개발자 2. 자기 소개: `안녕하세요, 신입 React 프론트엔드 개발자 정연준입니다. -시행 착오를 통해 성장해나갑니다. -잘하는 것과 부족한 것을 구분하여 잘하는 것을 부각시키고, 부족한 것을 채울려고 노력하는 개발자가 될려고 합니다. -좋은 서비스와 더불어 사용자가 편하게 이용할 수 있는 서비스를 만드는 것을 목표로 하고 있습니다. ` 3. 개발 직무: 프론트엔드 개발자 4. 프로젝트: -기간: 2023.04.17 ~ 2023.05.19 -서비스 제목: One-Line -한 줄 요약: AI모델이 사용자가 작성한 게시글을 한 줄 요약 및 제목 생성 -프로젝트 종류: 팀 프로젝트 -역할: 프론트엔드 파트(메인 페이지 게시글 목록 전체 조회, 인증 페이지 구현) *메인페이지 게시글 목록 전체 조회 1) Trending 섹션 2) Recent Posts 섹션 *메인 헤더(Global Navigation 메뉴) *인증 페이지에 Firebase Authentication 기능 적용 5. 교육 이력: -기간: 2022.11.28 ~ 2023.05.19 -주관 기관: 엘리스 -교육 프로그램 이름: 엘리스 AI트랙 6기 -학습한 기술 스택: React, Express.js, MongoDB, HTML5, CSS3, JavaScript, GitLab, Python, MySQL, TensorFlow, Pandas, Node.js -세부 사항 *JavaScript 1) JavaScript 기초 2) 싱글 스레드, Event, Promise 개념 숙지 *React 1) React 기초 *Express.js 1) Express.js 기초 *MongoDB + Mongoose 1) DBMS 기초 2) MongoDB, Mongoose 기초 *데이터 분석 1) Python, SQL 기초 2) Pandas 기초 *인공지능 1) 데이터 과학 기초 2) 이미지 처리 기초 6. 링크 -프로젝트 링크: https://10team.vercel.app/ -프로젝트 시연 영상: https://drive.google.com/file/d/16Qni0swyC8HbAY2iqnEy5QWze9ianjln/view?usp=sharing -개인 블로그: https://chadolbaegi128.tistory.com/

입사 6개월, 스킬과 커리어가 맞지 않아 정체성 고민이 있습니다.

안녕하세요. 저는 문과계열 대학, 대학원을 졸업한 비전공자이고, 국비학원에서 교육 수료 후 취업을 빨리 하고 싶어서 첫 면접을 본 회사에 입사했습니다. 회사는 설립 5년차 IT컨설팅 회사이고, 입사한 지 6개월 되었습니다. 취업 후 6개월 동안 제가 담당한 업무는 아래와 같습니다. - 제안서 작성 - 용역 프로젝트 투입 : 고객사 DB의 데이터 표준 및 구조 분석 및 개선 - 설문조사 통계 - 데이터 모델링 (예정) 그리고 제가 가진 스킬은 아래와 같습니다. SQL - (오라클) SQL, 서브쿼리, WITH 구문 작성 / 프로그래머스 Lv.4 다수 풀이, Python - Tensorflow, OpenCV, Pandas, Numpy, Scikit-learn, Matplotlib 프로젝트 경험 - 대기업 프로젝트:소비예측, 딥러닝 프로젝트:객체탐지, 게임데이터 분석 프로젝트(개인스터디) 내년에는 DA 부서가 신설되고, 제가 거기 말단 포지션으로 갈 거라고 합니다. 그런데 제가 가진 스킬과 업무가 맞지 않는 것 같고, 직무 적체성을 잘 모르겠고, 회사의 신설 부서로 옮겨진다고 하니 혹시 물경력이 될까 걱정이 됩니다. 회사에서 저에게 어떤 직무를 맡길 것인지 물어보는 게 좋을까요? 조언 부탁드립니다.

gpu 1개로 cuda,cudnn 버전을 wsl2와 window10에서, 각각 다른 버전을 사용할수 있나요?

집에있는 pc의 운영체제는 window10, gpu는 gtx1070 1개이고, wsl2를 설치해서 ubuntu20.04를 사용하고 있는데, window10 에는 cuda 10.1, cudnn 7.6.4 를 사용하고 있는데, wsl2에서도 gpu를 쓰려고 하는데,cuda 11.2, cudnn 8.1을 쓰고 싶은데, 1대의 gpu로 window10과 wsl2에서 다른 버전으로 각각 사용할수 있을까요? * tensorflow 사용중

데이터 분석가로 이직하는 방법 조언 구합니다.

안녕하세요, 저는 인공지능 SI 프로젝트 경력 3년 차 AI 엔지니어입니다. 제목에 적은 대로 저는 현재 B2C 회사의 데이터 분석가로의 이직을 원하는 상태입니다. 이에 따라, 1. 데이터 분석가가 되기 위해 갖추어야 할 필수 역량 2가지와 구체적인 공부 방법 2. 퇴근 후, 주말 동안 오로지 공부에만 매진한다고 했을 때, B2C 회사의 신입 데이터 분석가로 이직할 수 있는 최소 기간 (3개월, 6개월, 1년 등) 총 2가지 항목에 대해서 조언해 주시면 정말 감사하겠습니다. 2번은 당연히 상대적인 수치라는 것을 알지만, 아래에 있는 제 간략한 이력을 보시고, 대략적으로라도 짚어주신다면 정말 감사할 것 같습니다. 1. 개발자가 된 이유 - 저는 비전공자이며, 재학 시절 경영학 막 학기에 막연하게 데이터를 다룰 수 있는 직업을 가지고 싶었습니다. 국비교육이 눈에 띄었고 6개월 수료 후 연계 SI 중소기업에 취업했습니다. 글을 쓰는 시점으로 딱 3년이 되었습니다. 2. 재직 중 경험한 것 - 비정형(텍스트, 이미지, 음성) 데이터 수집, 레이블링, 전처리 - 최신 딥러닝 모델 깃허브 소스 확보하여 파인튜닝 - 추론 서비스 API 구현 3. 재직 중 터득한 스킬셋 - python - pytorch, tensorflow (필요한 메서드 구글링해서 활용할 수 있는 정도) - SQL 4. 자격증 - 컴퓨터 활용능력 1급 - ADsP - SQLD - 빅데이터 분석 기사 필기 5. 따로 준비하고 있는 것 - SQL 코딩 테스트 - Tableau(책 보면서 실습 한 내용을 포트폴리오로 활용) 긴 글 읽어주셔서 감사드립니다.

개발공부한지 9개월정도 된 학생입니다

첫 입문 언어는 Python이었구 부트캠프 수강 후 교육과정의 일원으로 인턴을 하고있습니다. 취업 목표는 서울에 어디든 백엔드 개발자로 취업하고싶어요..! 현재 그나마 잘 다룰 수 있는 기술 및 언어가 몇 되지 않아 고민이 많습니다. 그나마 잘 다룰 수 있는 : selenium, flask, python, pandas 미숙하지만 써본 : JavaScript, React, FastAPI, Django, Tensorflow, scikit-learn, Keras, Java, TypeScript 원래는 4월에 인턴이 종료된다면 교육을 하나 더 들을 생각이었습니다 하지만 혹시나 현재 인턴 중인 일을 할 수 있게 된다면 일을 하는게 나을까요..? 차후에 취업할 때 “교육과정 두 개 수료 이력 vs 교육과정 하나 수료 & 일을 했던 이력” 둘 중 뭐가 나을지 고민이 됩니다 현재 있는 회사 특성상 업무의 강도가 높지 않아 원하는 공부를 하면서 실제 회사 DB나 서버도 건드려볼 수 있을거같아서 고민이 많습니다 이전에 들었던 부트캠프의 경우 AI부트캠프라 데이터 분석 및 머신러닝, 딥러닝의 간단한 모델링 정도만 해본 정도입니다. 근데 머신러닝이나 딥러닝은 또 제 적성에 딱히 맞지는 않는거 같더라구요 근데 요새 또 뜨는 분야다 보니 포기하기도 고민이 되고.. 이래저래 너무 혼란한 요즘입니다 원하는 백엔드 직무로 가야할지 AI를 추가적으로 공부를 하는게 맞는지 백엔드 교육과정을 하나 더 들어야 할지 기회가 된다면 남아서 일을 하는게 맞는지.. 이래저래 너무 횡설수설이라 요약 남기고 가겠습니다 ! 1. 인턴종료 후 일을 할 수 있다는 가정 하에, 일을 하는게 낫다 vs 교육과정을 하나 더 듣는게 낫다 2. AI관련 분야를 계속 파는게 맞다 vs 흥미가 있던 백엔드를 하는게 맞다

[Python/Tensorflow] 인공지능에서, 독립변수의 예측값이 변하지 않고 같을 때

Google Colab으로 진행하고 있으며, Jupyter에서도 실행해 보았으나 똑같은 오류가 발생하였습니다. 언어는 [Python/Tensorflow]입니다. 먼저, 이 AI의 제작 목적은 백신의 누적 투여량(독립변수)과 그에따른 사망률,신규사망자,신규확진자(종속변수)의 관계를 파악하여 예측하기 위한 목적입니다. 데이터는 한국데이터포털에 업로드된 정형화데이터(.csv)를 다운받아 사용하였습니다. 코드와 해결해야할 부분은 사진으로 첨부해두었습니다. 독립변수와 종속변수를 지정하고, 간단한 형태의 모델구축을 하였고 학습시켜서 loss값이 떨어지며 학습되는 것까지는 정상적으로 된것같았습니다. 하지만, 사진에서, print(model.predict(독립[:20])) print(신규사망종속[:20]) 부분이 model.predict(독립)으로 예측한 값이[23.933895]로 같은 숫자로 나옵니다. 어떤 부분에서 오류가 발생했을까요?