@toc 1训练 1.1 进度条 import tqdm as tqdm for i, data in tqdm(enumerate(train_loader),disable=hvd.rank()): 1.2 多进程通信 多线程通信依靠共享内存实现,但是多进程通信就麻烦很多,因此可以采用mpi库,如果是在python中使用,可以使用pmi4py 参考:Python多进程并行编程实践-mpi4py的使用