问答 百万级数据怎么更快校验正确性

救*救*的枪手 · 2022年09月03日 · 最后由 救*救*的枪手 回复于 2022年09月27日 · 7725 次阅读

场景:开发写脚本写库 100 多万
怎么高效校验正确性

共收到 6 条回复 时间 点赞

具体正确性的定义是什么呢?如果是满足某种业务规则的话,你也可以写个脚本读库然后校验

你得先有正确的参照物吧,不然拿什么校验

我在补充下场景 会有一份算法给出的结果文件 开发通过脚本清洗数据
我之前比较少时 都是 Excel 或把对比文件导入数据库 直接对比
但百万级 Excel 直接卡死
所以最近搞了了 python 脚本
但只能对比两列 想多对比一些

数据分段,分布式,多线程,高效的代码自然带来编码的复杂性。如果不是特别紧急,还是用 python 慢慢跑吧

哇 看起来很高级 明天去研究研究 感谢大佬

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册