Tensorflow 분산처리시 data연속성 보장에 관하여

모델에 따라서 데이터의 연속성이 학습에 중요한 영향을 미칠 수 있습니다. 특히 순차적인 데이터를 다루는 RNN 계열의 모델이나 transformer 등에서는 이런 현상이 빈번하게 발생합니다. `tf.distribute.MirroredStrategy`를 사용하는 경우 각 미러된 디바이스가 데이터셋의 다른 조각을 독립적으로 처리하기 때문에 이어지는 배치 간의 연속성을 유지할 수 없습니다. 하지만, 이 문제를 해결하기 위한 몇 가지 방법들이 있습니다. 첫 번째로, 최근 Transformer 계열의 모델들은 Positional Encoding이라는 기법인데, 이 기법은 입력 시퀀스의 상대적 또는 절대적 위치 정보를 제공함으로써 데이터의 연속성을 보장해줄 수 있습니다. 두 번째로, RNN과 같은 순환신경망은 stateful 모드로 설정되면, 배치간 상태유지가 가능하므로 데이터 연속성을 보장할 수 있습니다. 세 번째로, 여러 GPU에 걸쳐있는 모든 작업에서 동기화를 유지하여 데이터 분산을 관리하는 분산 전략을 선택하는 것입니다. 마지막으로, 전체 데이터셋을 한번에 메모리에 로드할 수 있다면, 분산처리 전 전체 데이터를 미리 섞는 것도 한 방법입니다. 이와 같은 방법들을 활용하여, 병렬 처리를 하더라도 데이터의 연속성 문제를 완화하거나 해결할 수 있습니다. 그러나 반드시 모델의 성능을 보장하는 것은 아니므로 실험적으로 확인해보는 것이 중요합니다.