移动测试开发 利用 Pinpoint 搭建全链路监控系统
背景
随着项目微服务的进行,微服务数量逐渐增加,服务间的调用也越来越复杂,我们急切需要一个 APM 工具帮我们监控各个服务的性能及对服务间的调用进行跟踪,而通过调研多个开源 APM 工具后,最终我们选择了 Pinpoint。
简介
Pinpoint 是一个开源的 APM (Application Performance Management/应用性能管理) 工具,用于基于 java 的大规模分布式系统。在使用上力图简单高效,通过在启动时安装 agent,不需要修改哪怕一行代码,最小化性能损失 (3%)。
中文参考文档:http://skyao.github.io/leaning-pinpoint/index.html
开源源码地址: https://github.com/naver/pinpoint
Pinpoint 的特点
1.分布式事务跟踪,跟踪跨分布式应用的消息;
2.自动检测应用拓扑,帮助你搞清楚应用的架构;
5.水平扩展以便支持大规模服务器集群;
6.提供代码级别的可见性以便轻松定位失败点和瓶颈;
7.使用字节码增强技术,添加新功能而无需修改代码。
8.pinpoint 有非常直观的 UI,符合项目的当前需求
9.pinpoint 是基于 java 开发的,利于项目后期对源代码的修改
10.pinpoint 的社区还是挺活跃,一般提问题第二天就有项目的 committer 回复
Pinpoint 架构图
架构图对应说明:
- Pinpoint-Collector:收集各种性能数据
- Pinpoint-Agent:探针与应用服务器(例如tomcat)关联,部署到同一台服务器上
- Pinpoint-Web:将收集到的数据层现在web展示
- HBase Storage:收集到数据存到HBase中
Pinpoint 的数据结构
Pinpoint 消息的数据结构主要包含三种类型 Span,Trace 和 TraceId。
1.Span 是最基本的调用追踪单元
当远程调用到达的时候,Span 指代处理该调用的作业,并且携带追踪数据。为了实现代码级别的可见性,Span 下面还包含一层 SpanEvent 的数据结构。每个 Span 都包含一个 SpanId。
2.Trace 是一组相互关联的 Span 集合
同一个 Trace 下的 Span 共享一个 TransactionId,而且会按照 SpanId 和 ParentSpanId 排列成一棵有层级关系的树形结构。
3.TraceId 是 TransactionId、SpanId 和 ParentSpanId 的组合
TransactionId(TxId)是一个交易下的横跨整个分布式系统收发消息的 ID,其必须在整个服务器组中是全局唯一的。也就是说 TransactionId 识别了整个调用链;SpanId(SpanId)是处理远程调用作业的 ID,当一个调用到达一个节点的时候随即产生;ParentSpanId(pSpanId)顾名思义,就是产生当前 Span 的调用方 Span 的 ID。如果一个节点是交易的最初发起方,其 ParentSpanId 是 -1,以标志其是整个交易的根 Span。下图能够比较直观的说明这些 ID 结构之间的关系。
Pinpoint 的代码注入
Pinpoint 对代码注入的封装非常类似 AOP,当一个类被加载的时候会通过 Interceptor 向指定的方法前后注入 before 和 after 逻辑,在这些逻辑中可以获取系统运行的状态,并通过 TraceContext 创建 Trace 消息,并发送给 Pinpoint 服务器。但与 AOP 不同的是,Pinpoint 在封装的时候考虑到了更多与目标代码的交互能力,因此用 Pinpoint 提供的 API 来编写代码会比 AOP 更加容易和专业。
Pinpoint 的运行方式
1.方式一:配置文件启动
#1.修改tomat目录下bin/catalina.sh,在Control Script for the CATALINA Server加入以下三行代码:
# pinpoint-bootstrap-1.6.2.jar的位置
CATALINA_OPTS="$CATALINA_OPTS -javaagent:/home/webapps/service/pp-agent/pinpoint-bootstrap-1.6.2.jar"
# agentId必须唯一,标志一个jvm
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=pp32tomcattest"
# applicationName表示同一种应用:同一个应用的不同实例应该使用不同的agentId,相同的applicationName
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=32tomcat"
2.方式二:SpringBoot 启动
java -javaagent:/home/webapps/pp-agent/pinpoint-bootstrap-1.6.2.jar -Dpinpoint.agentId=pp32tomcattest -Dpinpoint.applicationName=32tomcat -jar 32tomcat-0.0.1-SNAPSHOT.jar
PHP 搭建全链路监控系统
一、准备工作:
环境需要满足一下条件
二、搭建步骤:
1.在服务器相应位置拉去 pinpoint 的安装包,一般位置安装在/usr/local/src 目录下,执行命令 git clone https://github.com/pinpoint-apm/pinpoint-c-agent.git
Pinpoint官网:https://github.com/pinpoint-apm/pinpoint-c-agent/blob/master/DOC/PHP/Readme.md
2.安装 pinpoint-php 扩展
cd /usr/local/src/pinpoint-c-agent
phpize
./configure
make
make install
在 php.ini 文件里配置如下代码并重启 php 服务即可
extension=pinpoint_php.so
Collector-agent's TCP address, ip,port:Collector-Agent's ip,port, please ensure it consistent with the `PP_ADDRESS` of `Collector-Agent` in step2(Build Collector-Agent).
pinpoint_php.CollectorHost=Tcp:ip:port
pinpoint_php.SendSpanTimeOutMs=0 # 0 is recommanded
request should be captured duing 1 second. < 0 means no limited
pinpoint_php.TraceLimit=-1
DEBUG the agent, PHP's log_error should turn on too.
pinpoint_php.DebugReport=true
error_reporting = E_ALL
log_errors = On
error_log = /tmp/php_fpm_error.log
3.在项目中使用 Pinpoint PHP-Agent,并按照以下步骤操作
①. 添加 pinpoint-apm/pinpoint-php-aop 到 composer.json 并更新
②. 在项目的入口文件添加一下代码配置
#################################################
define('APPLICATION_NAME','APP-2');
define('APPLICATION_ID','app-2');
define('AOP_CACHE_DIR',__DIR__.'./Cache/');
define('PLUGINS_DIR',__DIR__.'./Plugins/');
define('PINPOINT_USE_CACHE','YES');
require_once __DIR__. path to 'vendor/pinpoint-apm/pinpoint-php-aop/auto_pinpointed.php';
#################################################
a.APPLICATION_NAME: 应用名称。
b.APPLICATION_ID: 代理 ID。
c.AOP_CACHE_DIR: 在哪里生成 Cache。
d.PLUGINS_DIR: 路径 Plugins。
e.PINPOINT_USE_CACHECache: 'YES'在请求到来时不会更新;'No' 将 Cache 在每个请求到来时更新。(您也可以 Cache 通过删除它来更新。)考虑到性能,我们建议 'YES'。此外,如果您修改了插件,您应该更新以 Cache 使其生效。
f.require_once DIR. path to 'vendor/pinpoint-apm/pinpoint-php-aop/auto_pinpointed.php';:需要 pinpoint 的 auto_pinpointed.php。请在后面加上 require_once DIR."/../vendor/autoload.php";,这很重要!
4.选择您的框架并将目录复制 Plugins 到应用程序的根目录,自动加载 Plugins 到 composer.json. 框架的详细信息:
ThinkPHP5
Yii2
效果展示
pinpoint 技术交流 QQ 群:812507584
总结:
目前有很多监控系统,PinPoint 从宏观上看,总体链路、服务总体状态(cpu、内存等等信息)都符合业务需要,通过 QQ 群可以很方便的与大家进行技术分享,遇到问题很容易就能解决,业务通过接入 Pinpoint 后很容易的就能定位到问题,提高了解决问题的效率。