딥러닝 기반 서비스? 시스템? 을 하나 완성하고 배포를 했습니다.

데이터를 수집하는 하드웨어부터, 사용자가 인터페이스 하는 앱, 수집 된 데이터로 학습하고, 학습된 모델을 배포하는 것 까지 모두 다 해보니까, 미쳐 몰랐던 부분들이 보이네요.

제가 고민했었던 것들을 요약하자면, 다음과 같습니다.

• 딥러닝이 정말 문제를 푸는데 도움이 될까?

• 데이터는 어떻게 처리를 해서 모델에 넣어줘야 할까? ( = Input 을 정의하기)

• 미래를 고려해서 데이터 수집 파이프라인을 어떻게 구축해야 할까?

딥러닝 모델은 결국 문제를 풀기 위한 수단일 뿐입니다.

10년전에는 불가능했었던 일들, 특히 이미지나 음성, 언어 같은 복잡한 데이터의 패턴을 인식하는 일을 매우 잘하는 수단이죠.

단점도 있습니다, 데이터가 상대적으로 많이 필요합니다. ImageNet 데이터나 GPT 모델처럼 범용적인 (=경제적 가치가 큰) task는 이미 학습이 잘 되었기 때문에, 조금만 튜닝하면 되지만, 특성이 많이 다른 데이터들을 다뤄야 하는 분야에서는 단점이 크게 부각됩니다.

데이터 수집 비용보다 문제를 풀어냈을 때의 잠재 가치가 높게 책정되어야만, 일이 진행이 되죠.

이 점 때문에 프로젝트가 나아가기가 쉽지가 않더군요. 제가 마주한 문제는 데이터 수집 비용이 매우 비쌌기 때문입니다.

뭐 정리를 하다 보니 이런 생각이 들었습니다.

보다 자세한 내용은 제 개인적인 블로그에 있으니 관심 있으신 분들은 한번 봐주시고 의견도 남겨주시면 매우 감사합니다.

https://sudormrf.run/2024/03/04/deeplearningservicefromthescratch/