딥러닝 아키텍쳐의 직관적 이해는 어떻게 하는 걸까요?

Question

최근 커리어리에서 활동하기 시작하면서 QnA를 통해 적지 않은 사람들에게 답변으로 도움을 드렸습니다만, 정작 저는 그럴만한 사람이 아닌 것이라는 생각이 들어 질문을 시작하려고 하게 되었습니다.

저는 컴퓨터공학과 학사 출신으로, 졸업 프로젝트를 운 좋게 잘 마친 덕에 비전 딥러닝 쪽에서 종사하고 있습니다.

신입 때부터 당장 회사의 생존을 위해 이미지 데이터 라벨링 작업부터, 어노테이터 서버 관리, 데이터셋 세팅, object detection이나 semantic segmentation의 결과를 이용한 각종 교통안전 관련 플랫폼, 스마트 팩토리 등의 프로젝트를 완수해오며 제 커리어가 깎여나갔을지언정 지금까지 자리해 왔습니다.

이제서야 회사의 재정적 상황이 당분간은 버틸 수 있게 되어, 앞으로의 먹거리를 고민할 수 있게 되었고 이제 저의 임무는 리서치하는 작업이 주라고 생각하고 있습니다.

그동안 어플리케이션 완성에 치중하느라 번아웃이 왔을 뿐만 아니라, 딥러닝 프로젝트 사이클의 전체적인 흐름만 알 뿐 딥러닝에 필요한 지식이 기초 외에는 많이 증발했고, 연구원다운 리서치는 제대로 해보지 못했기 때문이지요.

그래서 아키텍쳐에 살을 붙여 어플리케이션을 만드는 현재에만 그치지 않고, 아래의 것들에 대한 이해를 하고 싶습니다. 
1.아키텍쳐는 왜, 어떤 요소로 구성되었는지와
2.loss function이 왜 이런 식으로 작성되었는지
3.어떻게 이 아키텍쳐가 경량화 되었는지
4.etc

무작정 부딪히면서 저는 결국 아무리 면밀히 파악한다고 하더라도 아키텍쳐에 대한 이해가 바로 와닿지를 않는다는 것이 문제였습니다. 어거지로 이해를 한다고 한들, 마음으론 받아들이지 못하는 느낌이라고 할까요.

현재 저는 이러한 문제점을 극복하기 위해 프로그래머를 위한 확률과 통계라는 책과, 프로그래머를 위한 선형대수학 이라는 책을 가지고 기초 지식을 다지려고 합니다.

현재 
1.제가 하려는 행동이 우선인 것인지, 다른 것이 우선인 것인지?
2.다른것이 우선이라면 어떤 것을 해야 하는지?
3.그 이후에 혹시 하면 도움이 되는 것들이 더 있는지

이 세 가지에 관하여 조언 부탁드립니다.
긴 글 읽어주셔서 감사합니다.

Jimmy · Answer

딥러닝 아키텍쳐의 히스토리를 한번 다 보셔야 할 것 같아요.
단순한 dense layer, activation layer 연결한거부터 시작해서 그다음단계로 하나씩
자세하게 얘기해보고 싶으시면 메시지 주세요

커리어리 AI 봇 · Answer

먼저, 꾸준히 노력하고 적극적으로 학습하려는 자세에 대해 칭찬드립니다. 딥러닝은 복잡하고 다양한 개념과 기술이 존재하기 때문에, 깊은 이해를 위해서는 지속적인 공부와 연구가 필요합니다. 아래는 제가 제안하는 몇 가지 방법과 조언입니다:

1. 기초 이론 공부: 확률과 통계, 선형 대수학과 같은 기초 이론은 딥러닝을 이해하는 데 매우 중요합니다. 프로그래머를 위한 확률과 통계, 선형대수학 같은 책을 통해 기초 개념을 학습하고 심화된 내용에도 도전해 보세요.

2. 논문 읽기: 딥러닝 아키텍처와 관련된 최신 연구 논문들을 읽어보세요. 논문은 그들이 제안하는 아이디어, 아키텍처의 구조, 손실 함수 등을 자세히 설명하고 있습니다. 이를 통해 왜 특정 아키텍처가 선택되었는지, 어떤 문제를 해결하려고 하는지 등을 이해할 수 있습니다.

3. 오픈 소스 프로젝트 참여: 오픈 소스 딥러닝 프로젝트에 참여하면 다른 사람들과의 협업을 통해 딥러닝 아키텍처를 이해하고 익힐 수 있습니다. 프로젝트의 코드를 분석하고 수정하며, 다른 개발자들과 의견을 나누는 과정에서 많은 것을 배울 수 있습니다.

4. 커뮤니티 활동: 딥러닝 커뮤니티에 참여하여 다른 개발자들과 소통하고 정보를 공유하세요. 슬랙 채널, 포럼, 블로그 등을 활용하여 질문을 하고 답변을 찾아보는 것도 좋은 방법입니다. 다른 사람들의 경험과 통찰력을 공유받는 것은 학습에 큰 도움이 될 수 있습니다.