QA模型精度优化方法

分布式机器学习精度低通常不是算法本身缺陷，而是同步策略、批量规模、通信压缩与数据异质性叠加导致，调整训练配置可让精度接近单机水平，为什么分布式机器学习精度会变低？直接原因拆解分布式训练的目标是加速,但精度下降往往来自以下三个主要干扰源，同步与异步的“隐性误差”异步SGD中，慢节点推送的梯度基于旧参数计算，总体更……