轮次 (Epoch)
简而言之: 在机器学习中,一个 轮次 (epoch)是指训练数据集从头到尾完整地经过一遍算法。训练一个模型通常需要许多个轮次,模型在处理完每一批样本后都会对其内部参数做细微…
在机器学习中,一个轮次(epoch)是指训练数据集从头到尾完整地经过一遍算法。训练一个模型通常需要许多个轮次,模型在处理完每一批样本后都会对其内部参数做细微调整。
为什么重要
轮次数量是训练中的主要设置之一。轮次太少,模型尚未学会数据中的规律(欠拟合);轮次太多,模型则开始死记硬背训练样本,在新数据上的表现反而变差(过拟合)。因此,开发者会在每个轮次结束后,在独立的验证集上测量模型的误差,并常常在该误差不再改善时停止训练,这种技术称为早停。加密货币读者还会在另一种含义中遇到这个词:权益证明区块链用 epoch(中文常译作“纪元”)表示由固定数量的区块或时隙构成的一段周期,用于安排验证者的职责和奖励。
示例
一个模型使用 1,000 张带标注的图片进行训练,每批处理 100 张。因此,一个轮次需要 10 个训练步骤,经过五个轮次后,模型已将每张图片看过五遍。如果它在验证集上的准确率一直提升到第三个轮次,随后开始下降,开发者就会保留第三个轮次结束后保存的版本。