Python broadcast_optimizer_stateの例

コード例 #1

ファイル: controller.py プロジェクト: Terry1504/elasticdl

 def broadcast(self):
     broadcast_parameters(self._model.state_dict(), root_rank=0)
     broadcast_optimizer_state(self._optimizer, root_rank=0)
     self.global_completed_batch_num = broadcast_object(
         self.global_completed_batch_num, name="GlobalCompletedBatchNum")

コード例 #2

 def sync(self):
     broadcast_parameters(self.model.state_dict(), root_rank=0)
     broadcast_optimizer_state(self.optimizer, root_rank=0)
     super(TorchState, self).sync()

コード例 #3

ファイル: state.py プロジェクト: rongou/horovod

 def sync(self):
     broadcast_optimizer_state(self.value, root_rank=0)