楼主在数据采集这边做的不错,也是费了不少心思了。这应该是一个多分类的模型场景吧。 我看楼主也是有意识的统计 TP,TN,FP,FN。 只是分类模型不能只看准确率 (accuracy) 的, 应该算出测试集的 AUC, 列出混淆矩阵。 算出精准率 (precision),召回 (recall) 和 F1 Score。 这样的评估报告才是比较权威一点的。建议楼主看看我写的一篇帖子:https://testerhome.com/topics/11153
都可以~
我写简历也没啥技巧。 就是把自己做过事,用过的技术详细的往上面堆。
特征工程总的来说是从原始数据中提取出对于机器学习算法有效的特征的步骤。 这是建立在熟悉业务和统计的角度上展开的,有很多时候原始表中的数据不能够直接被机器学习算法使用。 举例我们想要预测购买行为, 那么当前日期就是一个很重要的字段 (碰上双十一那一天购买量会暴增),但是这个时间字段中的年份可能我并不想要,因为不论是哪一年都有双十一这一天。如果把时间这个字段整个不作处理就作为特征交给算法的话,显示是不合适的。 所以我们要在特征工程里对时间字段拆分,把年份去掉,提取出月份,小时,秒作为组合特征并离散化处理,我们可能只需要月份,可能需要月份和小时的组合特征,也可能要月份,小时以及分钟,秒做精确的组合特征。 离散化处理后的每一个特征只有两个值:0 或者 1. 表明是否命中这个特征。我们的公式是 y =wx + b。所有的特征必须是数字化,可计算的。时间类型显然不能做数字计算,所以离散化也有一个作用是把数据变成可计算状态。 特征工程就是从原始字段中根据业务提取出对模型有效的特征出来 不知道这么解释可以么?
还是咽喉肿痛
我不适合出去 high
欢迎欢迎~~
加油
趁着还有激情的时候逼自己一把。
其实也没那么轻描淡写,前期封装这套体系的时候也是费了不少功夫的。前期打好基础了后面才能这么逍遥
恩,那也可以,只是第一次 commit 就好了。 以后根据这个镜像写 dockefile 就好了
挺好的,够用就行,其他的服务不用都追求极致。 根据你们的需求来就行。 swarm 我当初只是在调研方案的时候搞过一个单节点的出来,了解的不深,不知道加一些容灾,持久化,7 层路由等需求是不是特别麻烦。k8s 是自带就有这些方案的。 不过你们测试环境体量没那么大的话也没必要搞这些。够用就好。就是尽量别 commit, 能做 dockerfile 还是用 dockerfile 比较好。以防以后环境变化的时候会很麻烦
恩,可能你现在还没有感受到 docker 的好处,这也挺正常的。刚开始接触 docker 的人多多少少都会有这个想法的。 你可以想象一下, 现在你们只有 2 套测试环境,环境也不复杂,没有多少服务,所以用 jenkins+shell 是没问题的。 如果你的环境数量扩大 10 倍,20 倍,30 倍,甚至 100 倍的话,纯虚拟机 +shell 还管不管的过来呢?模块更新的时候, 环境依赖变更的时候,服务挂掉的时候, 甚至是环境迁移的时候 (由于某种原因该服务器下线或者迁移到其他机房,这期间难道环境就这么不可用不管了么?) 还有所有这些环境的配置管理和服务发现怎么办?运维成本会变成一个噩梦,有多少人都会累的像条狗。所以这时候 docker+ 容器编排框架就体现出了无穷的优势,只要有镜像,可以迅速更新所有的环境,增容扩容也很简单,同时监控,容灾,持久化等等都做的好好的。 以你现在测试环境的规模确实是很难感受到 docker 的好处的,在这种体量下用 docker 还是虚拟机都无所谓,区别不大。
我现在用 docker+k8s 管理着一个容器集群,高峰期七八十套环境共存,加上测试服务,监控,集群管理,测试执行机器也在这里面跑着。 而运维的人只有我一个,而且我还是带搭不惜理的管着 (我平时有测试任务和开发任务)。 这时候就体现出了 docker 的巨大优势和其强大的生态圈,k8s 的自动化运维做的很强,所以我才可以这么悠闲的管着这么多环境。
我觉得你看看我这篇帖子吧:https://testerhome.com/topics/10809
恩,是的。 devops 的流行就是因为研发团队与运维团队中间那巨大的无形的墙。devops 致力于摧毁这堵墙。 同样的测试团队与运维和开发团队也有无形的强。 一定要学会自己开发和运维。
没错, 书中还有很出名的一句话就是测试开发的最主要任务就是能让别人更容易的测试。 这本书好像是 09 年出版的把我忘了。 是 google 早就玩的炉火纯青的模式。但是现在这么多年过去了,google 内部一定已经改变了很多,这就不是咱么知道的了


写的挺好的,关于上面图里说的应该是对测试开发工程师的定义。我个人觉得对于这个职位的定义可以更广泛一点。诚如楼主所说,开发一个 Jmeter 应该算是开发的活,而使用它的人是测试。 但在工作中开发人员在业务需求上就已经是忙的不可开交了。而我们却急需某些工具来帮助我们更好的测试, 这时候是不能等他们来做的,而且很多时候他们也做不好,因为他们不理解我们最急切的需求。 所以测试开发是可以更偏向开发和架构一点。而且 testops 的概念现在已经被提出来了,测试人员去做一些运维和开发的事情,我觉得这将是未来的发展趋势。
先看看《google 软件测试之道》先正正三观
你问的这俩我也不知道。。。。
这也可以? 只要有人攻击我那就是我有错在先的证据?
那么请指出我哪句话在抨击这里面讨论的人了? 我以后改正
我的留言中没有针对留言的任何人, 我从来没有用过你这个人怎么样怎么样的字眼。 我一直在说的是某种观点,也在反对另一种观点。不涉及人身攻击这是讨论的最起码常识。 我们在公司开会的时候有时候也会吵的很凶,但反对的都是某种观点,对事不对人。 我觉得这是在平等讨论一件事的基本条件。 不怕大家情绪激动,意见不同情绪激动很正常,不能什么时候都求一个一派和和气气的。但如果某件事情上一旦上升到人身攻击了, 那这个事就没法谈了。 纵观整个留言讨论, 我一直在抨击某一个观点。 讨论技术和思想。 而我得到的是针对我个人的抨击而不是针对我的观点的抨击。 所以我觉得这个讨论已经没什么意义了
既然在这事已经涉及到了对我的人身攻击,那我就不回复了,我没时间打无意义的口水战。 让时间来证明谁是对的。 大家不是瞎子也都看的清楚,这场讨论中到底是谁在讨论思想和技术,谁在一直喷人。 @seveniruby 你说的对,我是不该趟这趟浑水
可能你理解错我反对的人和点了。 我的发言不是对楼主说的。 而是评论中崇尚培养测试思维,忽视技术重要性的留言。就如我所表达的,没有实践和技术底蕴,光凭臆想只能想出来一些假大空的东西出来,不具备多少价值。 而前辈的经验也是几乎以肉眼可见的速度过时着。就像我举的例子,李小龙在电影中是阐述过他的截拳道的武学思想的,但这建立在他对各种现代武学的大量的精深的实践的基础上。如果我们想引入一种新的技术或者思路来保证产品质量,那就只有自己做过,起码是自己亲身经历过才知道它的思想,有多少优势,有多少坑,什么场景适合什么场景不适合。这就是我说的软件行业是需要开疆拓土的,而开疆拓土的工具就是技术。 一种好的新技术或者新工具的出现往往就代表行业中的一次革命。例数之前出现过的技术,不管是 QTP,LR,Jmeter,tcp copy, mock, selenium, tcp copy 还是偏运维的 Docker,k8s,ELK,jenkins。它们出现以后才有了行业中的各种体系,各种思想。 所以我觉得现在很多人声称的思想其实不是什么思想,都是他们看到的,听到的,意淫的。 就像我当初刚开始搞 docker 和 k8s 的时候,有些自觉很有思想的人站出来反对,认为我走偏了,跑运维那边去了,走上了唯技术论的道路。 但是现在 docker 和 k8s 对于质量体系的意义有目共睹,那么事实是到底谁更没有思想呢?
我没有反对楼主的帖子,只是反对评论中如此看清技术,并且将技术和思想的关系搞乱的留言。 思想也是重要的这个我不反对,但思想是基于技术的, 对于留言中招聘的对只有技术没有思想的人的鄙视和只有思维没有技术的人的太高我十分的不赞同。 尤其是没有技术的话我基本觉得也不会有太好的思想。有些时候我们只是想的太多,做的太少。 空谈误国。
@fudax 表激动,我们心平气和的聊一聊这个问题。
这是一个先有鸡还是先有蛋的问题, 先有技术能力,还是先有测试思维。我想你的路子有点是像天龙八部中的王语嫣一样, 她可谓是通晓天下武学了。虽然她手无缚鸡之力,但是像段誉和慕容复这种大高手也要听从她的指点,慕容复练打狗棒的时候就是她教的。 但我想说在不练一招一式,只靠听和看的情况下通晓天下武学也就是在小说里能出现了,当不得真。 我们再说现实中的事,在功夫圈里,名留史册的一代宗师没有哪一个是耍嘴皮子的。 李小龙在创立截拳道之前,先是把咏春练到了极致,后来借鉴了大量的现代武学路数,不停的实践,试错,总结。在他妻子的回忆录里曾说道: 曾经有个高手来挑战他,他比完武后很失落,因为他觉得他没有在 2 分钟 (还是 20 秒来着,时间太久了不记得了) 内打倒对方,之后他不停的训练 (他有个很危险的过电训练法),不停的研究各种武学的精髓。最后创出了截拳道。在一部他的电影中李小龙曾解释过截拳道的思想。 我觉得这个思想放到我们这里来说就是测试思想了。 这是贯穿截拳道的精髓,是他创出截拳道的根源。 但这一切都是建立在他对各种现代武学的大量实践和研究上。 而不是一上来就向各种大师们请教武学思维。 而我想说的也是这样,专属于一个人的测试体系,也是测试思想一定也自己实践出来的,踩坑出来的,最后形成一套属于自己的测试体系。 而不是靠看的,靠听的,靠臆想的。即便是现在你特别推崇的测试思想,也是前人在当时的大环境下,不断的实践并总结出来的。而软件这个行业的变化之快令人瞠目结舌,前人的经验不断的在过时。我们只有身在一线不停的实践才能跟得上脚步。所以只有一直在一线探索和实践,积累了一定的经验。才能升华到测试思想这个高度。也才能爬到能对测试策略做决定的职位上。
所以,一定是先锻炼技术,后升华测试理念。起码目前的现状是这样的。
可能有些同学会说我一直在一线做测试,那些技术人员搞的东西我都看过,他们开发出来的工具我也都用过。 什么性能,自动化,监控的我都玩过,没玩过的也见过别人玩,不就那么回事么。我不用去实际做技术也能建立起我的测试体系来。如果让我当领导我就会怎样怎样怎样的。 这样的人就是我们常说的打嘴炮的。 我经常能看到嘴里突突突个不停的人讲述自己的测试理念。 但你一旦问怎么实行的时候他就蔫了。我就见过一个 7 年的百度的候选人, 什么监控,tcp copy, docker, mesos。说的天花乱坠,测试流程和策略也说的有板有眼的。 但其实没有一个是他做的,我发现他来了以后除了做手动测试也干不了啥了,真正的技术能力可能写个 UI 自动化也就到头了。 我问他你说了这么多,那倒我们这来你打算怎么搞你说的这些体系。 他竟然说我招人干,我管他们就行了。 所以你看这些人就是打嘴炮的。嘴上说的头头是道的,但是你把他招过来以后,发现他什么也干不了。 他只能在既有的已经存在的完善的体系下搞他说的这些。 也就是俗称的只能坐享其成不能开疆拓土。
上面这些人永远是让自己对标测试总监这个职位的,把自己放在特别高的高度上,觉得自己有了这些所谓的测试思想就可以做高管了,标榜着写代码的人是最低级的。而可惜的是他们自己却没有一个总监该有的人脉和领导力。 如果你有过人的领导能力,有大把的人脉和资源,例如你可以随时拉一票技术高手为你卖命,那么即使你一行代码都没写过,也一样可以做测试总监,甚至你跑去做 CTO 做 CEO 都行。这个 level 的人跟测试思想无关,他们的成功不是因为测试思想,这点要搞明白。 那么如果你不是这样的人,那就做好靠自己的心里准备,因为你没人脉,人才不是你想招就能招的。招不来怎么办?自己搞, 招来的人技术不好,干不了这活怎么办? 你得教。招来的人技术不错但是经验欠缺怎么办? 你得引导他,带他绕过那些坑。 什么? 你不愿意这么搞?你是测试总监写代码多掉分。 确实我见过不少这么想的。 他们的结局是一家一家不停的跳槽, 为什么?他们没有人脉和资源,也就是不能迅速的拉起一个靠谱的班底。 空有想做的事情一大堆,但偏偏就是没人帮他干。天天嘴里讲着各种高大上的架构,但就是实施不出来。 就像第二点说的,做过和看过是有区别的。尤其是测试行业里技术好的太少了,指望着什么事都让小弟帮你干除非你有得天独厚的资源和平台。否则大多数还是要靠自己。
这个问题就跟前段时间吵的特别火的架构师要不要懂代码的问题一样, 总有一些人不肯承认自己写代码就是不行,就拿这种蠢问题说事。也许有些架构师确实不用怎么写代码了, 但你以为他以前不写代码的话是怎么爬上这个位置的。 架构方案全靠抄? 还是靠意淫? 还是靠听别人说? 同理的你觉得你看过这些东西在一家公司里怎么玩的了就以为自己会了么? 那些真正做过的人踩了多少坑你知道么? 为什么选用这种方案你知道么? 说实话我呆过的公司也不少了, 还真没见过一个不会写代码的架构师。 所以我觉得起码现阶段下大家不要做梦了,觉得不用好好钻研技术就可以在测试这条路上走很远。 远了不说,我们看看阿里的测试里,除了老资格的,有几个技术不好的 P7?技术不好的大多数都卡在 p5,p6 上了。7,8 年甚至 10 年经验的人还卡在 p6 上的也大有人在。我呆过的公司里,招聘的时候都是挑技术好的。因为技术不好的来了干不了活,我们公司最近再联系外包公司,把技术含量低的一部分外包出去。 而且我也举个例子吧,思寒说的监控也好,hook 也好我不重复说了。 就说我再公司里,用 docker 和 k8s 搭建容器私有云平台的事情。除了 docker 和 k8s 之外还用了 pytthon 写 api 层, angular2 写前端,测试代码用 java 写。 所有测试环境测试服务全部容器化跑在 k8s 里,不说别的,做 hadoop 集群兼容性测试的时候,一键生成 N 个不同的测试环境对接不同的 hadoop 集群并跑自动化测试。以前手动操作一周才搞定的活现在只要一天。这还是我们集群资源有限,跑自动化慢的原因。 所以我要招人接我的班的话我是招那些一嘴的测试思想的还是招技术好的? 所以这就是现实,现实是技术好的人更能给团队带来质的变化。这一套小的体系下来光编程语言就涉及了 3 种。这些事根本不是毕业 1,2 年的人能 hold 的住的,也不是空有测试思想的人能做的。 所以不要做梦了,这种梦很美好,很轻松,因为不用苦哈哈的搞技术了,随便动动嘴皮子,管管人多轻松。这梦我也做过,可惜那只是梦,梦总有醒的一天。
@seveniruby 这个不是针对楼主的我就发吧。 毕竟@fudax 跟我没啥过节。
就好像武术圈子里,传武大师们整天嘲笑专业运动员。 结果前阵子大师在一位 2,3 线的业余搏击运动员手上只坚持了几秒就倒地不起了。