gor 原来的 es 插件用的是比较旧的源了，最新也只是支持 es 5.x 版本，使用 --output-http-elasticsearch 的时候，如果连接 es6.x 以上的版本，数据是传不过来的。
鉴于我司的 elk 是 6.x 版本以及 gor 的 es 插件久无更新的情况下，那就还是自己动手改写一下。（新换的这个插件源，到 es 7.x 的连接方式都支持，我只适配了 6.x 版本）
项目源代码： shaonian-goreplay 【欢迎来 star ~】
新写的 gor 已经打包好成镜像了，同时把 INPUT OUTPUT 都暴露了出来，可以直接用 docker 的方式运行，可以单独去监听某个 docker 容器上暴露出的端口所经过的流量，不用在服务器的本地来跑。
goreplay-es6.x 镜像： docker pull shaonian/gor:6.x
具体的 Dockerfile:
FROM ubuntu:18.04
ADD goreplay /go/
WORKDIR /go
RUN mkdir logs
RUN mkdir records
USER root
ENV INPUT="--input-raw :5000"
ENV OUTPUT="--output-stdout"
CMD ./goreplay ${INPUT} ${OUTPUT}
这里的环境变量可以直接通过腾讯云容器服务的环境变量来配置：
想要监听哪个容器服务，就并行挂载在同个实例下面，设置好想要监听的 docker 容器暴露出端口，然后 goreplay 对应的日志就有内容输出了：
当然这样看日志太低效率了，可以使用 goreplay + kibana + es 的方式，将数据分隔呈现到 kibana 上。
本地演示了一下，直接用 docker-compose 的方式启动 kibana + es（6.x）版本：
goreplay 的 yml 文件可以这样写：
goreplay:
image: shaonian/gor:6.x
network_mode: host
environment:
INPUT: "--input-raw :5000"
# OUTPUT: "--output-stdout"
OUTPUT: "--output-stdout --output-http localhost:5000 --output-http-track-response --output-http-elasticsearch http://localhost:9200"
然后启动任意一个后端项目，暴露端口出 5000 即可开始监听。这里的 index 不需要提前设置，会自动以 gor-2020-01-01 这种方式来创建和更新。
然后观察一下效果：
如果是在腾讯云上面部署，使用 --output-http-elasticsearch 的时候，在同一个集群下可以通过 集群名 + 容器名 + 端口 的方式传递到 elk 中。
如果 elk 跟想要监听的容器不在同一个集群里面，可以通过 nginx 反向代理加密的方式，或者升级到 es 7.x 版本，可以免费使用数据加密传输的功能。
PS：技术交流 QQ 群 552643038
大家直接 fork 了你。。。
@ShaoNianyr 请教个问题，刚接触 gor、
--input-raw 监控 5000 端口情况下，
--output-http 又回放到 5000 端口，此情况应用程序和 ES 都会进入无脑循环阶段，一条简单的请求，ES 会增加重复数据几百几千次。
以上问题实测，分支：go-es-6x
回访地址改成 openrestry（虽然回放失败）但 ES 和应用程序此时正常接收到 1 条请求消息 但拿不到 response
xp.abc
回复
会无限循环回放的，比如你起个后端程序 INPUT OUTPUT 都写 localhost:5000，就会出现这种情况。Docker 容器测试过没有问题，镜像是 shaonian/gor:6.x
少年
回复
感谢回复
采用 gor 监控流量并发送给 ES，出于两个目的（1、流量收集【测试团队进行整体回归时】，2、流量监控【开发集成环境快速定位接口与入出参数】）
第一个目的基本已经达到了、第二个目的还剩下些疑问：
假设不回放，不增加--output-http 是没办法触发数据发送至 ES、（代码层面我没细看，但看了文档没发现此方面描述）
回放的话、现在拿不到 response，则无法很好判断此次请求是否 success
(:зゝ∠)
xp.abc
回复
对的，你这个问题问得很好，es 插件一定是要回放才可以使用，所以有弊端，刚好我最近也做完了这个的改良，我给你的建议是直接保存成 log 的形式，然后用传统 elk 框架， filebeat + logstash + es 来自己清洗组合数据，再对接 kibana 或者 grafana，就可以作出一个实时监控的数据大屏了。
xp.abc
回复
嗯，多加个 --input-raw-track-response ，你的日志里面就会直接追踪 INPUT 请求的响应，不是 OUTPUT 回放的响应。接下来就是组合日志的事情了。
少年
回复
(:зゝ∠)，
脑袋一热，想着是否可在--input-raw-track-response plugins 编写下丢 ES 的代码
但又想想 ELK 全家桶是否更简单点。。。。。
少年
回复
(:зゝ∠) 刚撸了下 input-raw 代码
目测在 listener.go -> func dispatchMessage 新增管道丢数据到 ES 插件看看是否可行
tag v1.0.0
func (t *Listener) dispatchMessage(message *TCPMessage) {
// If already dispatched
if _, ok := t.messages[message.ID()]; !ok {
return
}
t.deleteMessage(message)
if !message.complete {
if !message.IsIncoming {
delete(t.respAliases, message.Ack)
delete(t.respWithoutReq, message.Ack)
}
return
}
if message.IsIncoming {
// If there were response before request
// log.Println("Looking for Response: ", t.respWithoutReq, message.ResponseAck)
if t.trackResponse {
if respID, ok := t.respWithoutReq[message.ResponseAck]; ok {
if resp, rok := t.messages[respID]; rok {
// if resp.AssocMessage == nil {
// log.Println("FOUND RESPONSE")
resp.setAssocMessage(message)
message.setAssocMessage(resp)
if resp.complete {
defer t.dispatchMessage(resp)
}
// }
}
}
if resp, ok := t.messages[message.ResponseID]; ok {
resp.setAssocMessage(message)
}
}
} else {
if message.AssocMessage == nil {
if responseRequest, ok := t.respAliases[message.Ack]; ok {
message.setAssocMessage(responseRequest)
responseRequest.setAssocMessage(message)
}
}
delete(t.respAliases, message.Ack)
delete(t.respWithoutReq, message.Ack)
// Do not track responses which have no associated requests
if message.AssocMessage == nil {
// log.Println("Can't dispatch resp", message.Seq, message.Ack, string(message.Bytes()))
return
}
}
t.messagesChan <- message
//TODO
//此处不清楚 es chan 是多少，或者自己搞一个 _(:зゝ∠)_
t.esChan <- message
}
你的问题解决了吗，我的 demo 做出来分享了，希望对你有用。 https://testerhome.com/topics/22559