阿里云因 bug 禁用内部 IP 导致链路不通,造成大规模故障

阿里云午夜在官网、微博发布了故障公告:

6月27日下午,我们在运维上的一个操作失误,导致一些客户访问阿里云官网控制台和使用部分产品功能出现问题,引发了大量吐槽。故障于北京时间2018年6月27日16:21左右开始,16:50分开始陆续恢复。

经过紧急技术复盘,故障原因如下:

当天下午,工程师团队在上线一个自动化运维新功能中,执行了一项变更验证操作。这一功能在测试环境验证中并未发生问题,上线到自动化运维系统后,触发了一个未知代码bug。错误代码禁用了部分内部IP,导致部分产品访问链路不通。 后续人工介入后,工程师团队快速定位问题进行了恢复。

受影响范围包括阿里云官网控制台,以及MQ、NAS、OSS等产品功能。

对于这次故障,没有借口,我们不能也不该出现这样的失误!我们将认真复盘改进自动化运维技术和发布验证流程,敬畏每一行代码,敬畏每一份托付。

下午 16:30 左右,微信朋友圈、微信群、微博出现阿里云故障消息,故障原因主要体现在阿里云官网、控制台无法访问,尝试登陆阿里云官网,显示如下:

官网有时候可以访问,有时候显示502错误的网关,即使官网可以访时,点击登陆,页面只会刷新,登陆不了。

一位行业从业者发推称:阿里云的函数计算挂了,导致线上故障。打算马上降级到本地计算,结果阿里云的 Kubernetes 也挂了。想着挨个机器手工改一下,发现 OSS 也挂了…整个过程没有报警,因为 SLS 也挂了…(备注:未得到阿里云官方确认)

官网公告称16:21左右开始,阿里云官网的部分管控功能,及MQ、NAS、OSS等产品的部分功能出现故障,以下为全文:

阿里云官网通告:6月27日阿里云部分产品及账号登录访问异常通告

【阿里云】【网络】【异常通告】

异常时间:北京时间2018年6月27日16:21左右。

异常概述:于北京时间2018年6月27日16:21左右开始,阿里云官网的部分管控功能,及MQ、NAS、OSS等产品的部分功能出现访问异常,阿里云工程师正在紧急处理中,请您稍后重试。

【异常更新】

北京时间2018年6月27日 16:50

目前受影响的业务正在逐步恢复中,若遇到异常,请您稍等后重试。

【异常更新】

北京时间2018年6月27日 17:30
目前受影响的业务大部分已经恢复正常,请您确认。若还有异常,请您跟我们反馈,谢谢。

故障时间 50 分钟左右,故障原因,阿里云尚未披露。

网友评论comments

发表评论

电子邮件地址不会被公开。 必填项已用*标注

  1. Harry说道:

    运维操作总是会踩到各种各样的坑~~尤其调用其他黑盒系统进行操作~~

Copyright ? 2012-2017 www.vjxu0.cn - 运维派 - 粤ICP备14090526号-3
扫二维码
扫二维码
返回顶部
  • 太原35397名考生参加中考体测 2019-06-21
  • 让榜样的力量永恒传承 2019-06-21
  • 谈具体的吧,别装模作样了。客观事实与观察事实、科学事实有什么不同? 2019-05-14
  • 民航援助西藏机场群建设项目启动 2019-05-14
  • 腰痛分四型 对照一下你是哪一种? 2019-05-11
  • 曾祖父、曾祖母、祖父、祖母、父亲、母亲、重孙。一家7人,如果两家联姻,两家共十四人,请问:“看着就想笑”你那15人是咋算出来的? 2019-05-11
  • 光是一个梨子的滋味就改变了方向,说讲事实摆道理,就是要你按他的指挥棒转,属于忽悠网友的口实 2019-05-05
  • 全国首列“研学旅行专列”兰州启程 2019-05-05
  • 台东鹿野返乡青年“阿山哥”的农夫梦 2019-05-02
  • 大力弘扬革命传统传承红色基因 持续深化作风建设造福老区人民 2019-04-26
  • 青杠坡镇:“春耕齐忙”贫困户脱贫有门路 2019-04-09
  • 客观事实及其规律是一切理论的基础,任何理论都是客观事实及其规律的反映,它们只有符合客观事实及其规律才是正确的,否则便是错误的。 2019-03-30
  • vivo韩伯啸:息屏下屏幕指纹解锁无压力 2019-03-19
  • 全国妇联新时代“巾帼志愿者暖心故事” 网络展播揭晓仪式 2019-03-01
  • 呼伦贝尔大草原,我们来啦! 2019-03-01
  • 喜乐彩下载 篮球火剧照 qq围棋 6场半全场开奖总汇 四川金7乐走势图下载安装 二分彩开奖地址 新疆11选5玩法 北京时时彩平台代理商 黑龙江11选5开奖5结果 快速时时彩开奖网址 浙江20选5开奖 迷彩彩票软件 安徽25选5开奖结果查询 超级大乐透开奖结果 悠洋棋牌