建议阅读顺序
Spring Boot 项目日志平台对接使用
之后再阅读本章节
Fluentd 是什么
Fluentd 是一个开源的数据收集器，专为处理数据流设计，使用 JSON 作为数据格式。它采用了插件式的架构，具有高可扩展性高可用性，同时还实现了高可靠的信息转发。加入 Fluentd 来收集日志。加入后的 EFK 架构如图所示
在这个图中，上下两个框分别表示使用 Fluentd 前后的日志收集。在第二个框中，Consul 能够使用灵活的 key/value 仓库去存储动态配置。而 confd 能够使用从 consul 来的模版管理本地配置
Fluentd 的常用配置
一.td-agent 配置
/etc/td-agent/td-agent.conf
1.source：数据来源
每个 source 指令必须包含 @type 参数。@type 参数指定了何种输入插件将被使用。
Fluentd 的标准输入插件包括 http 和 forward。http 监听 HTTP 端口，并接受从 HTTP 来的日志消息。forward 让 fluentd 监听 TCP 端口，并接受 TCP 包。当然，两者可以同时开启（可以添加任意多需要的源）。
<source>
@type forward
port 24224
</source>
2.match：告诉 fluentd 该干什么！
match 用来指定动作，通过 tag 匹配 source，然后执行指定的命令来分发日志，最常见的用法就是将 source 收集的日志转存到数据库。
# 将标记为 myapp.access 的日志转存到文件
<match myapp.access>
@type file
path /var/log/fluent/access
</match>
myapp.access 就是 tag，tag 有好几种匹配模式：
：匹配任意一个 tag；
*：匹配任意数量个 tag；
a b：匹配 a 或 b；
{X,Y,Z}：匹配 X, Y, Z 中的一个。
<match a.*>
<match **>
<match a.{b,c}>
<match a.* b.*>
fluentd 按照 match 出现的顺序依次匹配，一旦匹配成功就不会再往下匹配，所以如果你先写了一个 match **，然后后面的所有的 match 都会被忽略。
3.filter：事件处理管道
filter 和 match 的语法几乎完全一样，但是 filter 可以串联成 pipeline，对数据进行串行处理，最终再交给 match 输出。
<filter myapp.access>
@type record_transformer
<record>
host_param "#{Socket.gethostname}"
</record>
</filter>
收到事件 {“event”: “data”} 后，先扔到 filter: record_transformer 中，record_transformer 在事件中添加了"host_param" 字段并且继续向后传，{“event”:“data”,“host_param”:“webserver1”}，事件最终到达 file 输出插件。
4.match 模板
下列 match 模板可以用于 和中的 tag：
- 匹配单个 tag 部分。 例如：模板 a.* 匹配 a.b，但不能匹配 a 与 a.b.c ** 匹配 0 个或多个 tag 部分 例如：a.** 匹配 a, a.b 和 a.b.c {X,Y,Z} 匹配 X, Y, 或 Z, 这里 X, Y 和 Z 都是匹配模板 例如：模板 {a,b} 匹配 a 和 b，但不匹配 c 这种方法可以用于组合 * 和 ** 模板。例如： a.{b,c}.* 和 a.{b,c.} 当多个模板同时在单个 tag 中列出时（由一个或多个空格分隔），将匹配所列出的任意一个模板。例如： 模板 匹配 a 和 b 模板 <match a. b.*> 匹配 a, a.b, a.b.c (匹配到前一个模板) 和 b.d (匹配到后一个模板)
5.匹配顺序
Fluentd 尝试以模板在配置文件中出现的顺序进行匹配
myapp.access 永远都匹配不到。更宽松的匹配模板应定义在更严格的匹配模板之后
<match **>
@type blackhole_plugin
</match>
<match myapp.access>
@type file
path /var/log/fluent/access
</match>