20181122连接异常(502错误)复盘


#1
  • 22号晚上看到QQ群里反应网站(discourse.juliacn.com)出现了nginx 502错误,登录服务器后台,查看本地服务正常,通过IP直接访问也是正常的,初步断定可能是转发服务器上的nginx出错了,将情况反馈给了@hehe
  • 23号白天@hehe帮忙查看了服务,尝试重启转发服务器上的nginx服务器,增加带宽,增加nginx缓存,均未奏效,然后给阿里云客服发了工单。
  • 23号晚上登录转发服务器上,打开nginx errorlog的debug后查看日志,发现所有转向discourse服务器的连接都被重置了,怀疑是discourse上的服务异常,清除discourse服务的缓存,更新docker镜像后,问题依然存在。然后想起来 www.juliacn.comdocs.juliacn.com 的连接也都是502,因此判断应该不是discourse服务器的问题。(discourse用的nginx是docker里的,而docs和www用的是host服务器的nginx)
  • 登陆转发服务器,尝试直接wget访问discourse服务器对应的端口失败,推测可能是触发了阿里云服务器的某些安全策略,让@hehe帮忙在服务器后台添加了白名单,并发工单咨询。
  • 24日早上测试后链接正常

再次感谢集智的工程师@hehe的帮助!

这次故障时间有点久,实在抱歉,后面只能争取两个9的稳定性了 :joy: :joy: :joy:


#2

辛苦了 :+1: :+1: