接口测试 Spring Boot 项目日志平台对接使用

欲野 · 2020年03月14日 · 120 次阅读

1.项目背景

最近公司后端架构变成了微服务,由于微服务项目模块较多,把日志集中处理以便于快速准确的定位问题

2.技术选型

Elasticsearch + Fluentd + Kibana

3.项目日志对接 Fluentd 说明

(1)引入依赖

<dependency>
            <groupId>org.fluentd</groupId>
            <artifactId>fluent-logger</artifactId>
            <version>0.3.4</version>
        </dependency>
        <dependency>
            <groupId>com.sndyuk</groupId>
            <artifactId>logback-more-appenders</artifactId>
            <version>1.7.1</version>
        </dependency>

(2)logback-spring.xml 配置

logback-spring.xml 放到 resources 下

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <springProperty scope="context" name="spring.application.name" source="spring.application.name"  defaultValue="service"/>
    <springProperty scope="context" name="spring.profiles" source="spring.profiles" defaultValue="dev"/>
    <springProperty scope="context" name="eureka.instance.instance-id" source="eureka.instance.instance-id" defaultValue="eureka-server"/>
    <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <appender name="FLUENT" class="ch.qos.logback.more.appenders.DataFluentAppender">
        <tag>service.${spring.profiles}</tag>
        <label>logback</label>
        <remoteHost>172.19.27.81</remoteHost>
        <port>24224</port>
        <additionalField>
            <key>service_name</key>
            <value>${spring.application.name}</value>
        </additionalField>
        <additionalField>
            <key>profile</key>
            <value>${spring.profiles}</value>
        </additionalField>
        <additionalField>
            <key>ip_address</key>
            <value>${eureka.instance.instance-id}</value>
        </additionalField>
    </appender>
    <root level="INFO">
        <appender-ref ref="FLUENT" />
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>

3.使用 Kibana 查询日志(Discover)

### (1)创建要监听的项目索引(Management -> Index Patterns)
![](/uploads/photo/2020/f96d9a0c-a54b-40e5-bd10-902747c15e8c.png!large)
### (2)定制查询过滤器
![](/uploads/photo/2020/bc697956-2549-41e9-ba45-6ca6ccd4435a.png!large)

4.日志索引规则

每日产生日志较少,目前索引创建规则为按月创建(根据公司环境可定制)

5.日志查询维度

(1)业务日志

ip_address:区分集群内不同的服务
level:区分不同日志级别
logger:日志产生的位置
message,msg:服务产生的消息
profile:用于区分环境
service_name:用于区分服务名称
thread:产生的线程
@timestamp:日志发生的时间

(2) Nginx 日志

agent:浏览器信息
code:code码
method:请求类型
path:请求url
referer:来源
remote:客户端IP
size:大小
@timestamp:日志发生的时间

6.图表(Visualize)

kibana 支持丰富的图表用来做各种统计,例如可以以时间和特定日志的数量统计某一时间段的日志里,来体现项目的某一时间段的访问量或活跃度

7.仪表板(Dashboard)

多个带有规则的图表组成仪表板,可更直观的查看各种数据统计

8.对 ES 数据的操作(DevTools)

9.Fluend 采集配置

骚等两天补齐

10.日志定期清除

现在日志清除策略为定期清除 3 个月以前的日志

time1=$(date "+%Y-%m-%d %H:%M:%S")
m_date=`date -d "100 day ago" +"%Y.%m"`
echo ${m_date}
result=`curl -XDELETE http://172.19.27.81:9200/*-${m_date}`
FILE=delete.log
echo ${time1}   ${m_date}   ${result} >> $FILE
共收到 0 条回复 时间 点赞
欲野 Fluentd 日志收集配置 中提及了此贴 02月17日 09:48
欲野 Fluentd 日志收集配置 中提及了此贴 02月17日 09:48
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册