#분산처리

크롤링 하는 데이터가 많을때는 어떻게 하나요?

데이터 분석 프로젝트 진행중인 대학생입니다 코드 자체는 문제 없이 잘 되는데 가져와야할 데이터가 많아서 실행시간이 너무 길어지는데 분산처리나 병렬처리를 통해 해결할 수 있을까요? 해결할 수 있다면 어떤걸 공부해야할까요?

로드밸런싱 분산처리 질문드려요

안녕하세요 로드밸런싱으로 분산처리에 대해 궁금한점이 생겨 질문드립니다. 1.흔히 분산처리란 실제 서버를 여러대에 어플리케이션을 구축해놓고 클라이언트에서 Request를 받는 컴퓨터가 각각 서버에서 트래픽을 분산하는걸로 알고있습니다. 그러면. 혹시 서버 한대에 도커이미지 여러개로 두고 분산처리 하는 방식은 어떤가요? 트래픽이 L4 스위치를 타고 들어오는 시점이고 어차피 트래픽을 감당하는 컴퓨터는 한대인데 가상화 하더라도 같은 NIC을 사용할텐데 이게 과연 효율이 좋은지 궁금합니다. 2.그리고 보통 여러대에 서버로 로드밸런싱 하는거말고 단일서버에도 그렇게 구축하는 사례가있을까요? 트래픽이 갑작스럽게 발생하는 서비스 오픈이 얼마남지않고 처음 겪는 문제라 걱정이 많습니다. 조언부탁드립니다 선배님들

Tensorflow 분산처리시 data연속성 보장에 관하여

xlnet,transformer_xl과 같은 모델을 사용할 경우 data는 batch와 batch간에도 이어집니다. 이 때 2개 이상의 GPU를 사용하여 tf.distribute.MirroredStrategy 방식으로 병렬처리를 한다면 data의 연속성이 보장되지 않은 것이라 생각합니다. 이럴 경우 제가 생각하는 데이터의 연속성이 학습에 중요한 영향을 미칠까요? 만약 그렇다면 이 문제를 해결 할 수 있는 방법이 있을까요?