AI测试 机器学习中训练集,验证集,测试集比例配比

凌晨两点半 · 2018年05月08日 · 4217 次阅读

在搜索机器学习相关信息偶然看到一篇文章的图片。了解不同数据情况下的数据配比。这里记录下:
当数据量比较小时,可以使用 7 :3 训练数据和测试数据
(西瓜书中描述 常见的做法是将大约 2/3 ~ 4/5 的样本数据用于训练,剩余样本用于测试)
或者 6: 2 : 2 训练数据,验证数据和测试数据

当数据量非常大时,可以使用 98 : 1 : 1 训练数据,验证数据和测试数据

这个配比和 孙高飞 之前分享说的一样。

传统机器学习阶段(数据集在万这个数量级),一般分配比例为 6:2:2

而大数据时代,这个比例就不太适用了。因为百万级的数据集,即使拿 1% 的数据做 test 也有一万之多,已经足够了。可以那更多的数据做训练。因此常见的比例可以达到 98:1:1 ,甚至可以达到 99.5:0.4:0.1 等。

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册