Tensorflow 분산처리시 data연속성 보장에 관하여

xlnet,transformer_xl과 같은 모델을 사용할 경우 data는 batch와 batch간에도 이어집니다. 이 때 2개 이상의 GPU를 사용하여 tf.distribute.MirroredStrategy 방식으로 병렬처리를 한다면 data의 연속성이 보장되지 않은 것이라 생각합니다. 이럴 경우 제가 생각하는 데이터의 연속성이 학습에 중요한 영향을 미칠까요? 만약 그렇다면 이 문제를 해결 할 수 있는 방법이 있을까요?

이 질문이 도움이 되었나요?

'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.

추천해요 0

보충이 필요해요 0

최원준 인공지능 NLP 개발자 님의 질문