#병렬처리

크롤링 하는 데이터가 많을때는 어떻게 하나요?

데이터 분석 프로젝트 진행중인 대학생입니다 코드 자체는 문제 없이 잘 되는데 가져와야할 데이터가 많아서 실행시간이 너무 길어지는데 분산처리나 병렬처리를 통해 해결할 수 있을까요? 해결할 수 있다면 어떤걸 공부해야할까요?

Tensorflow 분산처리시 data연속성 보장에 관하여

xlnet,transformer_xl과 같은 모델을 사용할 경우 data는 batch와 batch간에도 이어집니다. 이 때 2개 이상의 GPU를 사용하여 tf.distribute.MirroredStrategy 방식으로 병렬처리를 한다면 data의 연속성이 보장되지 않은 것이라 생각합니다. 이럴 경우 제가 생각하는 데이터의 연속성이 학습에 중요한 영향을 미칠까요? 만약 그렇다면 이 문제를 해결 할 수 있는 방법이 있을까요?

마신러닝 모델 배포

안녕하세요 백엔드 주니어 개발자입니다. 머신 러닝 배포 관련해서 여쭤볼 것이 있어 글 남겨요 저희 회사에서 현재 stable diffusion을 발전시킨 모델을 배포해서 실시간 이미지 렌더링 서비스를 출시중에 있습니다. 다만 이미지 렌더링시 들어갈 리소스들(gpu 등)이 너무 많고 그 과정을 병렬처리하는데 어려움을 겪고 있는 중입니다. 혹시 이 부분 관련해서 현재 다른 서비스 등에서 어떤 식으로 하는지 알 수 있을까요?