테스트 정확도가 훈련 정확도보다 높으면 어떻게 하나요?

안녕하세요, AI를 공부중인 대학생입니다. CIFAR-10 분류 학습을 하고 있는데, 일반화 성능을 높이기 위해 RandAugment에 Resnet18을 사용하고 있습니다. 200 epoch정도 학습을 진행하면 74~75% 훈련 정확도를 보입니다. 문제는 이후 test를 진행하면 95%의 높은 정확도를 보여주고, CIFAR-10 외의 다른 데이터셋으로 테스트를 진행해도 92~93%정도의 정확도가 나왔습니다. 보통 훈련 정확도 > 테스트 정확도인 경우는 많이 봤지만 이 경우에는 어떻게 해야 할지 모르겠습니다. 1. 훈련 정확도를 더 높이기 위해 학습 과정을 수정해야 할까요? 2. 제 생각에는 훈련 데이터에 RandAugment를 수행해 분류 난이도가 높지만 테스트의 경우 이미지 변형이 심하지 않아 이런 결과가 발생한 것 같습니다. 제 해석이 맞을까요? 긴 질문 읽어주셔서 감사합니다.

yolov5 훈련 시간

현재 제가 사용하고 있는 로컬의 사양은 i711700, 32g ram, rtx 4070 vram12g입니다. 코랩에서 제공하는 gpu(t4)보다 상위의 사양으로 알고 있습니다. 간단한 이미지 분류에서도 훈련 시간 차이에서 확인하였습니다. 본론으로 들어가 현재 저는 1200장의 데이터 중 300장을 train test split하여 yolov5모델을 학습하고 검증 중입니다. 여기에서 학습을 하기 위한, yolov5의 train.py를 실행할 때, 똑같은 데이터와 코드로 colab에서는 300장을 훈련시키는데에 10분 채 걸리지 않는데, 저의 로컬에서는 7시간이 지나도 훈련 중입니다. 하지만 300장이 아닌 100장으로 로컬에서 훈련 시켰을 땐 90초 이내로 훈련이 완료되었습니다. 이 문제에 대해 설명해주시면 감사하겠습니다.

딥러닝 아키텍쳐의 직관적 이해는 어떻게 하는 걸까요?

최근 커리어리에서 활동하기 시작하면서 QnA를 통해 적지 않은 사람들에게 답변으로 도움을 드렸습니다만, 정작 저는 그럴만한 사람이 아닌 것이라는 생각이 들어 질문을 시작하려고 하게 되었습니다. 저는 컴퓨터공학과 학사 출신으로, 졸업 프로젝트를 운 좋게 잘 마친 덕에 비전 딥러닝 쪽에서 종사하고 있습니다. 신입 때부터 당장 회사의 생존을 위해 이미지 데이터 라벨링 작업부터, 어노테이터 서버 관리, 데이터셋 세팅, object detection이나 semantic segmentation의 결과를 이용한 각종 교통안전 관련 플랫폼, 스마트 팩토리 등의 프로젝트를 완수해오며 제 커리어가 깎여나갔을지언정 지금까지 자리해 왔습니다. 이제서야 회사의 재정적 상황이 당분간은 버틸 수 있게 되어, 앞으로의 먹거리를 고민할 수 있게 되었고 이제 저의 임무는 리서치하는 작업이 주라고 생각하고 있습니다. 그동안 어플리케이션 완성에 치중하느라 번아웃이 왔을 뿐만 아니라, 딥러닝 프로젝트 사이클의 전체적인 흐름만 알 뿐 딥러닝에 필요한 지식이 기초 외에는 많이 증발했고, 연구원다운 리서치는 제대로 해보지 못했기 때문이지요. 그래서 아키텍쳐에 살을 붙여 어플리케이션을 만드는 현재에만 그치지 않고, 아래의 것들에 대한 이해를 하고 싶습니다. 1.아키텍쳐는 왜, 어떤 요소로 구성되었는지와 2.loss function이 왜 이런 식으로 작성되었는지 3.어떻게 이 아키텍쳐가 경량화 되었는지 4.etc 무작정 부딪히면서 저는 결국 아무리 면밀히 파악한다고 하더라도 아키텍쳐에 대한 이해가 바로 와닿지를 않는다는 것이 문제였습니다. 어거지로 이해를 한다고 한들, 마음으론 받아들이지 못하는 느낌이라고 할까요. 현재 저는 이러한 문제점을 극복하기 위해 프로그래머를 위한 확률과 통계라는 책과, 프로그래머를 위한 선형대수학 이라는 책을 가지고 기초 지식을 다지려고 합니다. 현재 1.제가 하려는 행동이 우선인 것인지, 다른 것이 우선인 것인지? 2.다른것이 우선이라면 어떤 것을 해야 하는지? 3.그 이후에 혹시 하면 도움이 되는 것들이 더 있는지 이 세 가지에 관하여 조언 부탁드립니다. 긴 글 읽어주셔서 감사합니다.

프로젝트 질문이 있습니다!

저희가 인물사진을 바디프로필, 증명사진, 가족사진, 웨딩사진, 반려동물 사진 5가지 카테고리로 자동으로 분류할 수 있는 알고리즘을 사용할려고 하는데 cnn이랑 yolo 중 어느 것이 더 적합할 것 같나요??

신입 AI 개발자(?) 의 커리어 고민…

안녕하세요! 판교 중소기업에서 취직한 지 4개월차가 되어가는 신입 AI 엔지니어 입니다. 사실 AI 엔지니어로 취직은 했지만, 저는 비전공자에, 해외 MBA 데이터 관련 전공을 졸업했습니다. 졸업 논문을 독학을 통해 computer vision 쪽으로 작성을 했고, 백엔드 공부를 좀 했어서(사실 AI 쪽 취직을 희망했지만, 가망이 없다고 생각해 백엔드 분야로 취준 중이었습니다.) Java, Python 과 같은 언어는 어느정도 사용할 수 있어 취직이 가능했던 것 같습니다… 회사가 좀 작기도 하구요.. AI 쪽으로 공부를 할 생각으로 입사했지만, 회사 내에 제대로 된 AI 개발자가 없는 상태입니다. 저도 비전공자이고 아무것도 모르는데, 여기서 제가 제일 잘 아는 사람입니다.. 하하 현재 회사에서는 computer vision과 관련된 애플리케이션을 만들고 있고, 그 애플리케이션에 사용된 오픈 소스(…) 들의 성능을 개선하는 작업을 하고 있습니다. 보통 구글링을 통해 레퍼런스를 얻다보니 깊은 공부라기보다, 이해 없이 기능 구현에 급급하는 것 같아, 4개월차인 지금까지 성장한 점이 없다고 느껴지는 게 최대 고민거리입니다. 아마 이 회사에 있다가 다른 회사의 AI 개발자로 이직하기는 불가능할 것이라는 생각도 들고요.. 앞으로 제가 이 회사에서 얼마나 성장할 수 있을지도 미지수입니다. 저는 거의 0에 가깝다고 봅니다만.. ㅠㅠ 그래서 앞으로의 계획을 어떤 식으로 잡아야할 지에 대해 고민이 많습니다. AI 야간 대학원 준비를 해야할지 (하지만 돈과 시간 등의 부담에 아직 고민이 많습니다.), 빠른 이직을 준비해야하는지, 최대한 독학으로 공부하고 공모전 참여 등에 집중을 해볼지, 그냥 현재 회사에 있다가 컨설팅같이 다른 분야로 빠져야될 지요…   선배님들의 조언 기다리겠습니다. 긴 글 읽어주셔서 감사합니다.

딥러닝 vs 데이터 직무

안녕하세요. 딥러닝 개발자를 꿈꾸는 비전공 4학년 학생입니다. 인공지능에 관심이 있어 알아보다가 컴퓨터 비전 분야에 흥미를 느껴서 공부를 하고 있습니다. 이번에 데이터 분야 수상 경력으로 머신러닝 엔지니어 분야에 학교산학협력을 통해 일하게 되는 기회를 잡게 되었습니다. 근데 분야가 그로스 해킹 및 데이터 분석이라 저가 희망하는 딥러닝 분야와 좀 틀려 고민이 됩니다. 2학기에 아이펠 같은 국비까지 듣고 딥러닝에 몰입하는게 좋을까요? 아니면 일단 데이터 분야에 대해 취업하는게 좋을까요?

안녕하세요! 알고리즘 공부를 좋아하는 대학생입니다!

안녕하세요! 저는 현재 컴퓨터공학과 휴학중이고, 군 복무 중인 군인입니다! 군대를 친구들보다 좀 늦게 온 탓도 있고, 하루하루 발전해가는 자신을 보면 기분도 좋고 시간도 빨리 가서 군대에서 공부를 하고 있습니다. 주로 공부하는 분야는 알고리즘입니다! 알고리즘 공부를 하다 보니, 이 분야가 너무 재밌고 좋아서, 이 분야를 업으로 삼고 싶습니다. 그리고 누가 저보고 어떤 개발자를 하고 싶냐고 물어보면, 그냥 명칭은 잘 모르겠지만, 딥러닝/머신러닝 알고리즘을 연구하고 성능을 개선하는 일을 하고 싶다고 대답했습니다! 구글링 해 봐도 시원하게 결과가 나오지 않고, 요즘 핫한 chatgpt에게 물어보니 제가 하고 싶은 일을 하는 직렂의 이름은 머신러닝 엔지니어, ai 연구원이라는 답변을 받았습니다. 이 글을 쓴 이유는, 저런 일을 하고 싶은데, 현업자 분들의 조언이 구하고 싶었기 때문입니다. 먼저, 제가 현재 학습하고 있는 방식을 말씀드리겠습니다. 1. 먼저 알고리즘 관련 도서(foundations of algorithms 5/E)로 기본적인 알고리즘을 학습하고, 구현까지 해 봅니다. 구현한 코드는 완성일수도 있고, 미완성일 수도 있습니다. 2. 구현한 코드를 바탕으로, 만약 코드를 모두 완성했다면, 여기선 왜 이렇게 했는지, 핵심 로직은 어디인지 분석해 봅니다. 만약 완성하지 못했다면, 이미 구현해둔 코드(다른 사람이 구현한 코드) 를 보면서, 어떤 부분에서 막혔는지 파악합니다. 3. 이렇게 코드를 완성했다면, chatgpt를 활용해, 코드에 대해서 설명해 달라고 하고, 제 생각과 다른 부분들이 있다면 왜 그렇게 생각하는지 물어보고, 저 스스로도 제 생각이 맞는지 고민해 봅니다. Chatgpt가 정답만을 말하는 것은 아니기에, 계속 질문해 가면서 이해를 높입니다 4. 이렇게 알고리즘에 대한 이해를 완료했다면, 최적화 기법에 대해서 고민해 보고, 최적화 기법에 대해서, 1~3의 과정을 반복합니다. 5. 백지에 알고리즘 이름만 써 두고, 제 머릿속에 있는 모든 것을 써 봅니다. 예를 들면, floyd-warshall 알고리즘이라면, 기본 원리는 뭔지, 구현은 어떻게 하는지(실제로 구현까지 해 봅니다), 최적화는 어떻게 할 수 있는지,, 등등을 다 써 보고, 부족한 부분은 다시 공부합니다. 6. 백준에서 관련 문제를 찾아서 풀어봅니다. 이렇게 공부를 진행하고 있습니다. 그럼 여기서 궁금한 점은, 1. 제가 하고 있는 방식에 추가적으로 할 것들이 있는지 궁금합니다. 2. 제가 하고 싶은 일을 하기 위해서, 대학원에 진학하고자 하는데, 구체적으로 제가 어떤 것들을 추가적으로 해야 할지 궁금합니다.(알고리즘 공부 방법에 대한 질문이 아닙니다) 혹시 추가로 조언해 주실 사항들이 있다면 해 주시면 정말 감사드리겠습니다.

딥러닝이라는 학문에 대하여

안녕하세요, 서울 모 대학교에서 컴퓨터공학을 복수전공하고 있는 4학년생입니다. 아직 모르는 점이 많고, 딥러닝 공부를 하게 된지 별로 오래 되지 않은 점 때문에 질문이 다소 모호할 수 있습니다. 양해 부탁드립니다. 워낙 딥러닝 관련 프로젝트와 논문이 쏟아져내리고 있고, (2023 네이버 deview 참석에서 가장 느꼈습니다.) 개발자로서의 진로를 확실히 정하지못했고, 딥러닝의 활용 분야가 무궁무진해보인다는 점에 매력을 느껴 딥러닝으로 유명한 코세라 강의를 수강하고 있고, 학교에서는 학석사 연계 수업을 듣고 있습니다. 개인적으로 현재까지 흥미를 느끼며 재밌게 하고 있는데 몇가지 위화감이 드는 지점이 있어 질문드립니다. 1. 아직 딥러닝 관련 알고리즘을 대부분 안다고 할 수 없지만 neural network를 구성하는데 쓰이는 알고리즘과 관련 코드를 보며 느끼는 점은, 생각보다 쓰이는 수학이 그리 어렵지 않다는 것입니다. 기초적인 미적분 지식이 있으면 누구나 딥러닝 모델링을 할 수 있을정도로 난이도가 높지않아보이는데, 왜 보통 학부생이 아니라 석사생 대상으로 교육이 이루어지는지입니다. 2. 딥러닝은 어찌보면 만능인 것 같지만 또 많은 비용과 시간을 요구하는듯 합니다. 데이터 셋이 커지다보면 일반 컴퓨터에서는 어림도 없을 것 같습니다. 이런 cost를 감수하면서까지 여기저기 딥러닝 알고리즘을 적용하는게 맞나라는 생각이 듭니다. 현재 대부분의 CS프로젝트에 AI가 붙고, AI 경진대회, AI 산학연계 프로젝트들이 가득 차 있는데 공부할수록 이것들이 뜬구름 잡는 소리로 들립니다. 논문도 몇 개 읽어봤는데, 이런 식에서 이런 식으로 방법을 바꿔서 시도해보니 정확도가 0.01프로 증가했더라~식의 논문이 많은데 굉장히 피상적으로 보였습니다.. 왜냐하면 정확한 인과관계가 증명되지 않는 경우도 많으며 유의미한 정확도 상승인지 의문이 들었기때문입니다. 기존에 학교에서 배운 CS 공부와는 다른 결의 공부라는 느낌도 받았습니다. 저의 이러한 생각들은 아직 딥러닝 공부를 깊게 안해봐서 느끼는 것인지, 원래 이 학문이 그런 것인지, 아니면 제가 잘못된 생각을 가지고 있는건지 궁금하여 질문글을 올려봅니다. 감사합니다.

딥러닝 관련, 백그라운드 관련

안녕하세요. 졸업작품을 준비하고 있는 대학생입니다. 다름이 아니라, 제가 준비한 주제는 딥러닝 모델을 모바일 앱에 적용시켜 어떠한 내용에 대해 옮고 그름을 판단하는 애플리케이션을 개발하는 것입니다. 그리고 딥러닝을 알약같이 프로그램을 실행하면 백그라운드에서 동작하도록 만들고자 하는데 백그라운드 구현은 어떤 식으로 해야하는지 궁금합니다. [질문] 1. 안드로이드 스튜디오에 딥러닝 모델을 적용시킬 수 있나요? 만약, 안드로이드 스튜디오가 되지않는다면 스위프트는 가능한가요..? 2. 딥러닝을 앱에 적용시켜 알약처럼 프로그램이 동작할 때, 백그라운드에서 동작하도록 하고싶은데 백그라운드를 따로 구현해야하나요? 해야 된다면 어떤 식으로 구현해야 하나요..?

[AI 엔지니어] 이직 vs 대학원

안녕하세요 신입 머신러닝 엔지니어입니다 ! 현재 저는 학사 과정을 마치기 전에 머신러닝 & 딥러닝 연구원으로 조기취업을 하여 3개월째 근무중입니다 ㅎㅎ 요즘 제가 많이하고 있는 고민은 대학원을 가서 조금 더 공부를 할지 아니면 현재 회사에서 엔지니어적인 요소를 더 배워 이직을 할지가 고민입니다 ㅠㅡㅠ ,, 다니다 보니 엔지니어가 저한테 조금 더 fit하더라구요 ! 근데 요새 인공지능 쪽은 모두 석사이상의 학위를 원하다 보니 정말 고민이 많은데요 ,,, ! 계속 엔지니어 업무를 하는 것이 좋을지 대학원을 갈지 고민입니다 🥺

영상에서 특정 목소리만 추출

안녕하세요 국비지원학원에서 개발분야 수강중어 있는 학생입니다. 저희가 지금 프로젝트 진행중인데 데이터 전처리 과정 중 유튜브 영상에서 특정 목소리만을 추출하고자합니다. Pytube 라이브러리에서 wav파일추출해서 모 회사의 보이스필터api사용했는데 계속 에러가 뜹니다. 실행조건인 샘플링레이트 16000, 모노타입으로 변환했는데도 안되가지고 다른 방법이 없을까 하고 조언을 구하고자 올립니다