还没招到，欢迎大家投递简历～

详细说说？想了解一下那些算是 shell 里面的高级内容。

从内存占用优化考虑：用字典树。
从时间效率优化考虑：肯定要线性扫描一遍，不管在内存里面还是从磁盘读，扫一遍文本的时间是主要时间。
单拿 top 5 分析，5 这个常数太小了，没必要用堆，遍历 5 遍更快。
扩展到 topK 的问题，堆也不是最优的解法。

有一个疑问，怎么考察是不是精通 shell？

快发邮箱吧～

可以多个机器同时发。我们压测 Kafka 的只关注消息体大小，不用关注消息内容，所以用 Kafka 自带的压测工具，单机压不上去就多个机器机器同时压，能到十几万的 QPS。

这个跟你业务强相关的，你就直接对比一条裁剪之后和原来的消息字节数就能得到。在我们这个场景大约能减少 70%，但是没有什么参考价值。

对，你说的这个点是造成准确性难保证的一个原因。这个问题其实很难解决，在于出需求的人对需求的描述是自然语言，而开发的人用的是计算机语言，这个转换难以避免出现误解，所以一个方向就是降低写批处理/流处理的难度，设立数据产品经理（掌握一定的数据开发技能解决）需求方直接写，避免转换过程出现问题，也有一些前沿方向是自然语言到 hsql 的生成，但现在还很初级。

但是除去这个原因，假设研发/测试都正确的理解了数据需求，依然不能保证数据的正确性，这里面的原因多种多样，比如对数据的假设不成立/处理逻辑有 bug/大数据基础设施有问题。所以我说这个问题的根本在于人没法判断数据对或不对。

这个问题我思考了挺长时间了，也有一些想法和结果，有机会我单独写一写。

多谢解答，据我的了解，你说的大数据团队自测也是一种很普遍的选择。

我说一下我对 test oracle 的了解，“测试准则” 不太能表示它的意思，它是指到底怎么判断测试结果对或者不对，oracle 对应的翻译（神谕）更能表明这层含义，举个例子，比如你测试一个函数实现了加法，大部分人一看就知道对不对，又或者点某个按钮要弹出一个提示，这种就不存在 test oracle 的问题，它的正确性对绝大部分人都是显而易见的。但是涉及到大数据数据的准确性/正确性，这个就很难。例如，你算出一个指标你甚至很难在数量级上肯定它对不对，更别说它的准确性/正确性了。所以我说 test oracle 是大数据测试的一个根本性问题。即使你掌握了比大数据开发工程师更多的技能，当领导问你：你怎么确定你测试过的的数据是对的，你其实依然无法保证，本质上你只是把开发的流程走了一遍，那怎么保证你自己不出错呢？自己说自己开发的东西没 bug，这不符合基本的逻辑。

最后我没有说不需要了解业务和学习技术，我知道这两点的重要性。但是回到我讨论的这个问题，了解业务、学习技术，是能提高正确性的可能，但还是没从根本上解决问题。如果这是正确的解决方案，我相信对数据准确度要求高的团队无疑可以招聘两倍的大数据研发来解决问题。

先回拽专用名次的事情，这是一个测试论坛，test oracle 算不上高大上，但是没有很好的对应翻译，所以才用，不知道你为啥反感。按照你的逻辑我是不是也要反感一下 shuffle。不妨讲讲你是为啥感到反感？

其次我也是技术派拥护者，只是我没有局限在技术里面，你到管理的位置上不要思考团队人员配置吗？精英配置是好，但是具有普适性吗？ 我在讨论一个大数据测试领域一个很具体的问题，想探讨一下你的方法论，结果就是了解复杂业务、学大数据技术。这是你的方法论，我指出问题点就是作为方法论它缺少普适性，而且没有根本性上解决问题。