全自动埋点diff工具

MIT
python
windows,mac,linux
jiawei.li · June 24, 2020 · 2634 次阅读 · 17 条评论

garbevents

Build Status PyPI PyPI - Python Version GitHub top language PyPI - Downloads GitHub stars https://blog.csdn.net/flower_drop

适配计划

平台 状态
诸葛 IO
神策数据
GrowingIO 埋点数据

安装

pip install garbevents

仓库地址:

适用场景

  1. 使用 诸葛IO 作为埋点收集工具的 。
  2. 需要回归验证大批量埋点是否丢失的。
  3. 使用本工具 自动抓取解析埋点信息数据校验埋点是否 丢失。

功能

  1. 自动解析 移动端桌面端h5页面 触发的埋点信息,解密后生成 now_data.txt
  2. 去重后和已知埋点信息diff,保存文件 lost_data.txt

使用

  • 启动服务
  • 在cmd启动代理服务

    mitmdump -p 8889 -s <you_test_script.py>
  • 连接代理

  • cmd中运行ipconfig 找到自己的ip地址

  • 手机wifi高级选项,代理选择手动,添加代理服务器

ip:你的电脑ip, 端口:8889
  • 下载证书
  • 在手机浏览器中打开网址 mitm.it
  • 选择对应的证书下载安装

    mitm.it
  • 开始使用

  • 此时便可以在手机端操作触发埋点,控制台实时打印当前触发的埋点

  • 如果想查看丢失的埋点需要先在 ST.all_events 全局变量中传入全部埋点信息

  • 例如:ST.all_events = ['event_name_1', 'event_name_2']

命令

mitmdump -p 8889 -s <you_test_script.py>

诸葛IO Demo

from garbevents.events import GetData
from garbevents.settings import Settings as ST

# 埋点上传url
ST.url = 'https://datain.zhuge.com'
# 报告生成路径
ST.report_path = 'report'
# 所有事件名称
ST.all_events = ['event_name_1', 'event_name_2']
# 接口地址
ST.interface_url = ['apipool', 'APIPOOL']

addons = [
GetData()
]

神策数据 Demo

from garbevents.sensors_events import GetData
from garbevents.settings import Settings as ST

# 埋点上传url
ST.url = 'http://sensor.wodidashi.com'
# 报告生成路径
ST.report_path = 'report'
# 所有事件名称
ST.all_events = ['event_name_1', 'event_name_2']

addons = [
GetData()
]

运行截图

以上便是 garbevents 的基本用法介绍。

如果您有发现错误,或者您对 garbevents 有任何建议,欢迎到 garbevents Issues 发表,非常感谢您的支持。您的反馈和建议非常宝贵,希望您的参与能帮助 garbevents 做得更好。

评论列表
jiawei.li 发表于 June 24, 2020

欢迎使用!

yang957600 发表于 June 28, 2020

好东西 试一试,最近被埋点恶心死了

是姝姝呀🍑 发表于 July 01, 2020

找个时间试试

不二家的小球迷 发表于 July 14, 2020

这是客户端还是服务端的

jiawei.li 发表于 July 16, 2020

@diao2007 客户端的;移动端,桌面端,web, h5,都能抓取!!

nakal 发表于 July 22, 2020

启动服务后怎么用?

jiawei.li 发表于 July 23, 2020

@nakaDH 已添加详细使用说明

yangbin 发表于 July 24, 2020

东西很好,就是文档太粗糙了,想要尝试被阻挡在门外啊

jiawei.li 发表于 July 24, 2020

@AnndyTsou 哪个地方不清楚呢,我又补充了一下文档

yangbin 发表于 July 24, 2020

主要是我从头看到底没明白要干啥,可能是我对埋点这个没啥概念

Mumu 发表于 July 27, 2020

这东西就是用来打印埋点用的?

jiawei.li 发表于 July 27, 2020

@MumuFan 仔细看说明文档

  1. 自动解析 移动端\桌面端\h5页面 触发的埋点信息,解密后生成 now_data.txt
  2. 去重后和已知埋点信息diff,保存文件 lost_data.txt
MelindaZhang 发表于 August 05, 2020

使用mitmproxy的时候,遇到一个问题,证书问题导致抓不到包,请问你这边有这样的问题吗

MelindaZhang 发表于 August 05, 2020

还有两个问题,第一个我们使用GrowingIO,所以是不是需要二次开发了,还有就是如何进行点位传值准确性校验呢

jiawei.li 发表于 August 05, 2020

@MelindaZhang 是使用我这个工具遇到的问题吗?啥报错,去提个issue,贴图看看

jiawei.li 发表于 August 05, 2020

@MelindaZhang GrowingIO埋点抓取,马上就会兼容了,本周会更新,请在github点个关注!

MelindaZhang 发表于 August 05, 2020

不是使用这个工具遇到的问题,我之前也用mitm去抓取数据进行打点校验,iOS手机由于证书问题,抓不到数据,后来只能通过越狱解决