1、问题描述

生产环境Nginx间歇性502的事故分析过程

客户端请求后端服务时一直报错 502 bad gateway，查看后端的服务是正常启动的。后来又查看Nginx的错误日志，发现请求后端接口时Nginx报错no live upstreams while connecting to upstream，查看该错误的解释可以得到的结果是upstream中没有可以提供服务的server，即Nginx已经发现不了存活的后端了，但是，我直接访问后端的server却是可以使用的，证明server端可用。

最后查找文档,发现问题出现在业务上要求保持会话,但是Nginx到后端并没有保持会话，那么，Nginx当然就找不到后端可用服务,就会报no live upstream。

参考文档：https://xiezefan.me/2017/09/27/nginx-502-bug-trace/

2、服务架构如下:

+--------+  HTTP   +-------+  HTTP   +-------+
| Client | ------> |       | ------> | API A |
+--------+         |       |         +-------+
                   |       |  HTTP   +-------+
                   |       | ------> | API B |
                   |       |         +-------+
                   |       |  HTTP   +-------+
                   | Nginx | ------> | API C |
                   |       |  HTTP   +-------+
                   |       | ------> | API D |
                   |       |  HTTP   +-------+
                   |       | ------> | API E |
                   |       |  HTTP   +-------+
                   |       | ------> | API F |
                   +-------+         +-------+

3、排查思路

一般讲，Nginx 502就是后端处理不过来，但查看监控后端几个API的负载均很低，当前请求的QPS远远低于服务的上限。而且同一瞬间，多套独立部署的API均处理不过来的概率也比较低。

我们简单做了个对比测试，分别对域名（请求走Nginx）与直接通过IP对内网一个API通过进行小规模压测。

对比测试发现，直接通过域名走Nginx对API进行压测的话，QPS远远小于预期，并且存在大量失败请求。基本断定问题出在Nginx —> API 这条链路上。同时排除了后端服务响应不过来的可能性。网络问题可能性大一点。

一开始我们怀疑云服务商对内网带宽做了限制，我们观察内网带宽达到在200MB/S后就上不去了，所以我们在Nginx机器上ping后端服务，观察一段时间发现有小量抖动，但基本延迟正常。那云服务商对网络做限制的可能性就变小了很多。

我们观察Nginx错误日志:

2023/08/26 14:23:00 [error] 5950#5950: *5172133211 no live upstreams while connecting to upstream, client: xxx.xxx.xxx.xxx, server: api.xx.xxxxxxx.cn, request: "POST /xx/xxxxxx/bidder HTTP/1.1", upstream: "http://xxxxxxxxxx/bidder", host: "api.xx.xxxxxxx.cn"

这里出现no live upstreams while connecting to upstream, 也就说一瞬间Nginx检测不到任何存活的后端服务，而网络又没有大波动，那就可能是TCP链接出问题。打开Zabbix监控发现TCP连接数的确发生剧烈的波动现象。

异常TCP连接数趋势

这时候问题很明显，Nginx->API这一链路存在大量的TCP链接被回收的情况，我们马上在API机器上查看链接状态

shell > netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'
SYN_RECV 	 1
ESTABLISHED 	 656
FIN_WAIT1 	 4
TIME_WAIT 	 153429

TIME_WAIT特别的多，大量的连接被API侧主动关闭了。这说明Nginx->API这一步请求并没有Keep-Alive，我们检查Nginx，确定是配置了Keep-Alive

4、解决办法

修改nginx的配置

  location ^~ /xxxxxx/ {
    ...
    proxy_http_version 1.1;
    proxy_set_header Connection "";     //规制强制指定使用1.1协议
    ...
}