데이터 과학자와 협업하기 위해 알아야 하는 5가지 방법

기업의 AI 기반 애플리케이션(이하 'App') 구현을 하고자 하는 개발자는 AI의 기본지식도 있어야 하지만, 무엇보다도 데이터 과학자(data scientist)들과의 협업하는 방법을 알아야 효율적인 AI 기반 애플리케이션을 구현할 수 있습니다. 해당 기사에서는 데이터 과학자들과의 업무 관계 개선과 뛰어난 App 개발 협업을 위한 5가지 체크리스트를 제시합니다. 1. 데이터 과학자의 업무방식 이해하기 일반적으로 데이터 과학자들은 App 개발이나 모델을 App에 통합하는 것보다는 모델을 만들고 개선하는데 더 많은 관심이 있습니다. 이들은 CD/CD 파이프라인이나, 애플리케이션 코드 개발 또는 Python, R, Jupyter 노트북과 같은 익숙하지 않은 도구를 사용하고 싶어하지 않습니다. (편견일 수도 있지만!) 견고하고 일관된 팀 워크를 위해 적극적으로 나서고 싶어하지 않습니다. 실제로 적극적인 협업을 통해서... 1️⃣ AI를 효과적으로 활용해서 지능형 데이터 기반 App을 배포 2️⃣ 데이터 과학자에 있어서는 자신의 모델링 작업을 회사와 고객에게 가치를 추가하는 배포 가능한 솔루션에 사용할 수 있는 기회임 2. 공통점(common ground) 찾기 개발 방식(practice)를 설명하고 데이터 과학자의 노력을 어떻게 보완하는지 확인하는 것은 마찰 없는 협업과 모든 사람에게 적합한 경험을 만드는 데 중요합니다. 이를 위해서 마지막까지 노력해야 하는 것은... 1️⃣ 빈번한 터치포인트(touchpoint)을 장려하세요 빈번하고 정기적인 접점을 설정하는 것이 함께 작업하는 프로젝트가 순조롭게 진행되도록 하는 데 가장 좋습니다. 2️⃣ 영역(boundary)을 존중하세요. 데이터 과학자는 App을 운영환경으로 가져오는 방법을 알고 싶지 않거나 알 필요가 없을 수 있습니다. MLOps는 널리 사용되는 개념이지만 일부 과학자는 Jupyter 노트북을 이메일로 보내는 것을 선호할 수 있습니다. 그들의 관심사와 일하는 방식을 존중하면 그들은 보답할 것입니다. 3️⃣ 서로의 프로세스를 공유하세요. 데이터 과학자의 작업 방식을 배우는 것 외에도 Git, Tekton 또는 K8s와 같이 운영환경에서 사용하는 프로세스와 도구를 공유하세요. 오픈 소스 정신에 입각하여 그들에게 커리어리님들의 프로세스를 엿볼 수 있도록 하세요. 4️⃣ 공동 작업을 위해 공통 플랫폼을 사용하세요. Red Hat® OpenShift® Data Science와 같은 일반적인 클라우드 네이티브 AI 개발 플랫폼은 귀하와 데이터 과학 팀 간의 협업을 지원하고 장려합니다. AI 도구의 사용을 보편화(democratize)하고 팀이 지능형 애플리케이션 개발을 구현하고 가속화할 수 있도록 합니다. 3. 모델 학습 도구들을 가지고 업무하는 방법 배우기 데이터 과학자가 정기적으로 사용하는 일부 모델 학습 도구에 대한 최소한의 기본 사항을 알아보세요. 모델 학습 도구에 대한 실무 지식이 있으면 모델이 어떻게 구축되는지 이해하는 데 도움이 됩니다. 다음은 가장 인기 있는 모델 학습 도구 및 라이브러리 중 일부입니다. - Jupyter 및 PyCharm 개발 환경 - 파이토치(PyTouch) - scikit-learn - TensorFlow 이러한 도구들에 익숙해지면 배포된 모델 App을 성공적으로 만들 가능성이 높아집니다. 또한 모델 생성에 들어가는 작업을 더 잘 이해하고 모델이 지능형 App에 원활하게 통합되지 않을 때 문제를 해결하는 데 도움이 됩니다. 4. 좋아하는 도구와 프로세스를 계속 사용 데이터 과학자 및 AI와 함께 작업할 때 많은 새로운 프로세스와 몇 가지 새로운 도구를 배워야 합니다. 그러나 논리를 수행하기 위해 좋아하는 많은 도구를 계속 사용할 수 있습니다. App 코드 및 모델링은 선호하는 언어 또는 프레임워크에서 수행할 수 있습니다. 예를 들어, Quarkus 개발자는 Quarkus에서 App 로직을 수행하고 App 프로그래밍 인터페이스(API)가 REST(Representational State Transfer) 엔드포인트에 대해 호출하도록 할 수 있으며, 데이터 과학자는 Python 또는 R과 같은 도구로 실제 데이터 처리 및 예측을 처리합니다. AI와 데이터 과학은 복잡하지만 친숙한 도구와 프로세스를 사용하여 작업을 단순하게 유지하세요. 5. 모델이 App의 일부임을 기억하십시오. 모델이 중요합니다. 모델 뒤의 MLOps도 마찬가지입니다. 다음은 모델이 운영환경에 포함될 때 계속해서 좋은 성능을 발휘하도록 하기 위해 수행해야 할 4 가지 사항입니다. 1️⃣ 개발 중인 애플리케이션에 적합한 모델 제공 인프라를 구축하십시오. 2️⃣ 신규 CI/CD 파이프라인을 만들거나 기존 CI/CD 파이프라인을 확장하여 모델 학습 및 제공을 모두 처리합니다. 3️⃣ 모델 서빙 App을 확장합니다. 4️⃣ Apache Kafka 및 기타 데이터 수집 구성 요소와 같은 스트리밍 데이터 서비스를 통합합니다. App 배포는 시작에 불과합니다. 모델은 계속 변경되므로 모니터링해야 합니다. 데이터 과학 팀과 긴밀히 협력하여 모델 드리프트를 방지하기 위해 귀하 또는 운영 담당자가 모니터링해야 하는 메트릭을 정의합니다. 문제나 변경 사항이 발생하면 데이터 과학자와 협력하여 모델을 구체화하고 개선하세요. 원본 번역 기사 및 링크는 아래와 같습니다. 감사합니다.🙏 [Source] https://raonsaeron.com/ko/2023/07/data-scientist-collaboration-5-ways/