测试之家

移动测试基础 关于埋点的自动化问题

king.yu · 2015年12月15日 · 最后由 梁少 回复于 2016年01月15日 · 2340 次阅读

现状

  • 验证时效低
    • log 日志解析一般是晚上进行，需等到 T+1 天才能验证数据落地
    • 手工验证容易疏漏并耗费人力
    • 对于上线前紧急埋点需求不能验证数据落地
  • 代码中的埋点未及时清理（过时的未去除）
    • 老的代码没有开发愿意去修改
    • 存在无用代码

怎么解决

  • 产品定义与代码引用（静态定义文件）是否一致；（可以判断遗漏项、已移除项与错误定义项）
  • 代码中引用埋点字段的次数；（按各公司具体情况定义规则：可以判断是否存在已定义未引用的状态）
  • 扫描日志文件整理合并埋点数据；（可以判断前端是否调用）
    • 需要开发添加 log 日志
  • 定时解析后台埋点 log 并整理合并；（判断后台数据是否落地）
    • 需要运维提供日志文件
    • 由于数据量大一般 5－10min 进行解析
如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！
打赏支持
共收到 8 条回复 时间 点赞
思寒_seveniruby #1 · 2015年12月20日

现在基本上数据分析的架构已经齐备了 离线存储加在线计算就可以解决

—— 来自 TesterHome 官方 安卓客户端

king.yu #2 · 2015年12月21日 Author

#1 楼 @seveniruby 可以提供对应的参考么？谢谢！

陈子昂 #3 · 2015年12月22日

log 事件可以自定义多样的。其他没什么，非实时存的，解析时间这块还是花点时间验证

king.yu #4 · 2015年12月22日 Author

#3 楼 @jiazurongyu 不同的公司实际情况不一样，虽然有相对成熟的解决方案，但是具体实施还是有差别的。

刘津嘉 #5 · 2015年12月22日

我过几天讲一下数据分析的实战吧 , 包括自动化将线上数据拉回本地到数据的自动化处理

king.yu #6 · 2015年12月22日 Author

#5 楼 @raymond 数据的分析通用性不强，每个公司的数据存储和权限都不一样，而且这块涉及到的技术也不多。（我之前的做法是写爬虫每隔 5min 自动爬取下载链接下载 log 日志，<注意点断点续传与并发量不宜过大>，然后解析日志并按照埋点命名、版本等字段进行合并或者进行数据取舍,数据解析这块就得按照各个公司的定义规则去做了。

刘津嘉 #7 · 2015年12月22日

#1 楼 @seveniruby 可能游戏和这部分不太一样, 我们是从不通的服务器数据中通过脚本与算法对 log 数据进行解析,从一个源数据的池子中拿出所有的数据结果,比如聚合类型,rfm 决策树算法运算等等

梁少 #8 · 2016年01月15日

留下了

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。