服务器连接异常,手机cdn服务器连接异常怎么办

最近,某CDN服务故障,导致海外大批知名新闻网站无法正常访问或加载,一石激起千层浪。确实,随着越来越多的业务上云,一个网站或者某个业务能否保证持续的在线,非常考验背后的高可用、高可靠方案设计。

在第七届全球软件大会上,华为软件工程师杜志刚,就为广大开发者分享了华为云官网的高可用保障方案,深度分析了网站在各类极端重大灾难场景下,如何快速恢复的方案和工程化实践。

网站不靠谱,损失不可估量

从网站所有者角度来看:网站不可用直接导致的是经济收入方面的影响,特别对于电商类网站,每分每秒都在产生交易,一旦访问中断,经济损失的影响显而易见。除此之外,从客户角度来看,面对网站不可访问,最直观的感受是不靠谱,对网站以及网站背后的企业品牌产生不可挽回的口碑及信任度方面的负面影响。

从近十年的互联网重大故障事件来看,DNS、CDN导致的大范围影响历历在目,其他IT基础设施导致的区域型及全局型故障也影响甚大。

服务器连接异常,手机cdn服务器连接异常怎么办

 

业界广泛使用的网站可用性指标包括网站不可用时间及网站年度可用率,不同类型的网站和应用对可用性的要求也不尽相同。

其中网站不可用时间(故障时间)=故障恢复时间点-故障发生时间点。网站年度可用率(Yearly Uptime Percentage)=(1-网站不可用时间/年度总时间)*100%。

华为云官网作为云基础设施提供商的互联网访问入口,对可用性有着极高的要求,面向最终用户的核心页面要做到7*24小时在线,如果出现重大故障,如云服务区级别,或基础设施导致的单云全局故障,5分钟内告警通知到相关责任人,15分钟内完成故障切换。

网站访问出现故障,背后发生了什么?

下面结合图例分析一下网站页面访问的整体流程及关键故障点:

服务器连接异常,手机cdn服务器连接异常怎么办

 

在①处,DNS故障会通常会导致网站整体不可访问,到了②是CDN故障会让部分地理区域用户不可访问,③是单云全局故障会导致网站整体不可访问,④是云服务区级别故障会导致分流到该区域的用户不可访问,⑤是云服务可用区级别故障会导致路由到故障AZ的用户不可访问,⑥是容器集群故障导致路由到对应容器服务的用户不可访问,⑦是服务节点故障会导致路由到故障服务节点的用户不可访问。

综上,云化场景下,页面访问面临诸多的关键技术挑战,包括:

  • 单个DNS服务商整体故障如何应对?
  • 单个CDN厂商整体或多个区域故障如何应对?
  • 基础设施故障导致的单云整体故障如何保证页面还可以正常访问?
  • 单个云服务区级别故障如何对用户访问影响时间降到最小?
  • 页面访问依赖的后端服务众多,如何最大限度较少故障点,降低方案整体复杂度及成本,保证方案通用可行?

四个方案,轻松应对网站各种故障

针对以上关键挑战,通过华为云官网近几年的实践,总结了4个方案分享给大家,我们将一一拆解,为大家展示这些方案的实际效果。

1、单个DNS服务商整体故障:双DNS服务商解析

DNS是相对来说非常重要但却没有得到应有重视的薄弱环节,对于可用性要求极高的商业门户网站,将DNS依托于一家服务商,不出问题风平浪静,一旦发生全局性故障,导致的影响可能是灾难性的。

我们当前的策略是:采用双DNS厂商域名解析方案,在一家服务商发生部分或整体故障时,可以在短时间内自动实现故障切换,将域名解析工作交给其他服务商完成。此外,我们还构建了统一运维平台实现多厂商域名解析的统一配置,以及DNS可用性监控、故障服务的快速剔除能力。

双厂商DNS配置如图所示:

服务器连接异常,手机cdn服务器连接异常怎么办

 

这个配置的前提是域名注册商及域名解析商支持多厂商Name Server配置。具体配置方面,首先将域名注册托管迁移到支持多厂商NS配置的注册商,然后同步DNS厂商配置的解析记录到新厂商,最后域名注册服务及解析服务同时配置NS记录指向双厂商Name Server(0~72小时生效)。

这样配置可以在单个厂商Name Server发生故障时,ISP Local DNS自动将故障Name Server降低选择优先级(BIND SRTT算法,失败惩罚),使用优选的Name Server进行A记录或CNAME域名解析。

演练步骤可以拆解为:

第一步:双厂商NS记录配置。

服务器连接异常,手机cdn服务器连接异常怎么办

 

第二步:通过浏览器检查服务可正常访问。

 

第三步:拨测Name Server可用性,验证不同地域ISP是否使用了不同厂商的Name Server进行域名解析。

 

第四步:关停Bind模拟单个厂商DNS故障。

 

最后,通过HTTP从多个地域拨测服务是否可以正常访问。

 

2、单个CDN厂商区域性故障:多CDN服务商方案

下面介绍一下多CDN厂商的配置与切换,如图所示:

 

使用这个方案的限制条件有三个:DNS协议不支持多厂商CDN的CNAME解析配置;DNS智能解析支持不同地域或网络配置不同的CNAME解析记录;CDN出现整体故障概率较低,更多是区域性故障。

多CDN厂商的配置要先对国内及海外访问分别做主备CDN加速,然后CDN CNAME解析TTL设置为60s,让单CDN厂商服务不可用时,故障切换生效时间更短;最后是构建CDN管理平台,对接多厂商DNS管理API,预先配置切换和回切策略,出现故障一键切换。

最后的配置效果也很明显,CDN告警厂商A大面积故障后,可通过CDN运维管理平台,将对应区域的CNAME解析Failover到厂商B提供服务,生效时间1分钟。

下图是我们运维平台的切换界面示例,可按不同二级域名分国内及海外用户访问场景分别切换。

 

在2020年和2021年我们遇到了实际的现网故障,CDN的故障切换功能得到了有效应用,让页面访问实现了快速故障恢复。

3、区域性地理灾难场景:页面访问异地多活方案

这里介绍了我们中国站和国际站双站异地多活的组网策略,如图所示:

 

如果发生区域性地理灾难场景,我们使用站点多Region多活部署,使用这个解决方案要保证内容管理服务发布的页面内容在多云服务区保持同步。同时,LB及网关路由配置多活云服务区保持一致。

具体配置时,先将国内及海外用户CDN回源流量按比例分流至不同云服务区;随后配置健康检查策略,当出现云服务区级别故障时告警,便于自动或手动切换回源流量至健康的云服务区;如果海外与国内服务存在差异时,通过云厂商内部专线在LB或网关进行跨云服务区路由。

这样,在非容灾场景下,多云服务区同时提供页面访问服务,降低单云服务区回源压力。即便出现云服务区级别故障时,也可通过CDN Admin API实现一键故障切换,CDN回源快速回到可用状态。

如图所示,通过我们的运维平台,在单个云服务区故障场景下,可实现故障云服务区的快速剔除,这个过程主要通过批量切换二级域名Region级别回源DNS A记录实现的。

 

4、单云全局故障场景:网站备份与切换方案

最后介绍一下整个高可用方案的最底层的保底方案:网站备份与故障切换,首先来看一下网站的备份流程,如图所示:

服务器连接异常,手机cdn服务器连接异常怎么办

 

运维人员先配置站点元数据及配置备份策略,站点管理根据备份策略下发备份任务到调度服务,然后调度服务再定时调用备份服务执行备份任务。

采集的话是由备份服务启动Headless Browser加载入口页,再加载静态页面资源,执行页面脚本加载动态页面资源,然后执行预置脚本加载动态页面资源,最后识别页面跳转URL,包括HTML标记及脚本触发的动态跳转点,启动新Headless Browser实例,实现级联爬取。

采集完是存储,页面主文档及相关页面资源加载完成后通过OBS接口转储到对象存储服务,再通过云厂商提供的对象存储跨Region同步能力实现页面内容异地容灾。跨云复制则通过跨云同步工具将备份站点页面内容,同步到其他云厂商对象存储服务,实现跨云容灾。

备份结束后,再看一下故障切换流程。当基础设施问题等原因导致的单云多Region故障使得Web服务整体不可用时,开始故障检测,页面可用性拨测服务监测到云服务区A、B不可用,在5分钟内发出告警。

往下是故障转移,成立重大问题应急处理作战小组,同时打开运维容灾管理平台,查看不可用区域、备份站点拨测是否正常。如果同云备份站点可用,优先切换同云备份站点;如果不可用,第三方云厂商备份站点可用,切换到备份站点。整个切换通过更新回源域名A记录解析地址指向OBS公网访问地址实现。

最后是故障修复阶段,先定位解决问题,拨测Web Server可用,再手动执行故障回切,然后用户回归正常访问。

本站部分内容由互联网用户自发贡献,该文观点仅代表作者本人,本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如发现本站有涉嫌抄袭侵权/违法违规等内容,请联系我们举报!一经查实,本站将立刻删除。

(0)

相关推荐

  • 小度wifi怎么用,家里没有无线网怎么用小度

    对于这个小度音响因为看了好久,所以就一直想买一个,这一次买了之后,赶紧回来就给大家操作一遍了。我个人感觉是比较好玩的,因为健身的时候,中间休息要有间隔,我就直接让倒计时,所以我是比较喜欢的。接下来也给大家说说他的连接流程。 方法/步骤1 首先就是,我们拿到的小度智能音箱上面写的有,打开扫了以后,先需要下载一个小度智能音响的客户端的。   2 下载好…

    2023-06-28 投稿
  • 学生时代是什么梗(闲鱼上面我是学生的梗)

    本文内容只是简单解释这个梗的意思,不带有任何歧视、人身攻击的内容!请大家理性看待! “我是学生”、“我是学生能塞200吗”还有“我是学生能送我吗”最初都是出自闲鱼的交易平台。 因为有很多人打着学生的幌子去找卖家,道德绑架卖家,要求卖家便宜很多,搞得卖家哭笑不得,也不知道该说些什么。 更有甚者竟然让卖家免费送给他: 现在这个梗多用于调侃,已经没有那么大的嘲讽的…

    2022-05-08 投稿
  • 新年歌曲2022最流行歌,最好听的新年歌曲

    电视里的《春节序曲》,超市里的《恭喜发财》,大街小巷的《恭喜恭喜》…….每一首都是我们耳熟能详的春节歌曲,是几代人的共同回忆。   其实除开这几首歌,还有不少歌曲大家听过但不一定记得歌名,恰逢春节将至,小编就帮大家更新下新春歌单,不知道过年听什么歌的朋友,赶快收藏起来。 一、贺岁电影名曲:辞旧迎新最强音 《新的一年》刘德华、…

    2022-03-16 投稿
  • 未成年不可以看的图片(未成年不可以开酒店吗)

    未成年可以文身吗?给未成年提供文身服务违法吗?发现未成年文身,家长如何维权? 关于“未成年文身”这个话题,在社交平台上曾引起了多次的讨论。 6月13日,#民政部就未成年禁文身答疑#再一次登上热搜。 民政部就未成年人禁文身答疑:即使父母同意也不行 据民政部网站消息,网民6月7日在民政部网站留言提问:1.在文身行为上,是否应完全不考虑未成年人自身的主观意愿? 2…

    2023-05-24 投稿
  • 百度关键词分析,百度关键词分析报告

    选择关键词的核心就是用户搜索多,竞争力小,搜索次数可以用网站优化工具来查看,但是 如何判断关键词的竞争难度是多维度的,有的因素在数值上不确定,比如竞争对手网站优化水平无法给出一个确定的数值,我们今天主要针对多种方式看关键词优化的竞争难度。 1:搜索结果数 结果数越大,竞争难度越大,通常,结果数在10万以下,竞争很少。 结果数达到几十万,说明关键词有一定难度,…

    2022-04-22 SEO优化
  • 日本漫画无翼岛漫(日本漫画无翼岛漫画大全)

    端脑(全彩版)》前情提要:精神小伙夏驰一直有着一个有关于脱单的梦想。而在经过了万里长征般的追求后,晴知终于答应了他的告白。而同为推理社成员的他们还在一起拍摄了一部根据真实事件改编的电影。可令夏驰没想到的是,电影刚刚杀青,晴知便人间蒸发,再也觅不到踪影了…   而现在夏驰收到的唯一线索就是放在晴知桌上的一封诡异信件。上面写着:“当你收到这…

    2021-12-28 投稿
  • 纯流量卡怎么充值续费(纯流量卡要求充值80)

    澎湃新闻首席记者 邹娟 上海市消保委1月4日发布2021年1号消费提醒,APP会员充值务必关自动续费。 市消保委提醒消费者,充值APP会员时要注意以下三点: 一是通过官方渠道充值。一些消费者充值会员时会通过多种平台寻找优惠,或直接将账号给到他人代充,一旦被APP方检测到并判定为违反用户协议及相关条例,会员账号可能遭受“封号”等处罚。建议消费者通过APP自有充…

    投稿 2023-05-27
  • 华润便利店加盟条件(华润万家便利超市加盟费用多少钱)

    新手加盟便利店是开便利店不错的选择,可以省去不少开店的烦恼,也因为有总部的开店指导和资源而避免开店风险。但是加盟便利店一定要三思而后行,提前了解加盟品牌的实力和收费标准,选择到一间真正好的便利店加盟。 加盟便利店大家最关心的应该就是便利店加盟费了吧。今天时尚货架小编就来给大家讲讲便利店加盟费是什么,多少加盟费才合适,希望能帮到各位便利店新人。 便利店加盟费包…

    2021-11-28
  • 最好的求职网站(招聘求职网站哪个靠谱)

    上周,一个做保险团队长的朋友找到我,让我帮忙给她招团队小伙伴出一些主意,她觉得太难找人了。 这个朋友,个人能力特别的强,去年疫情之下,在没有团队小伙伴的情况下,靠个人业绩做到了年入50万+,但今年她想要转型,想通过团队的力量实现被动收入,而不需要自己一个个的跟单和销售,她说这是今年的主要任务。还特意强调,她不在乎投入和成本,只要能给她招到合适满意的人。 &n…

    2021-11-12 投稿
  • 最美的自驾游公路(适合自驾游推荐的地方有哪些)

    有一种风景一直在路上,有一种旅行叫公路旅行。自驾游是一种非常好的旅游方式,可以尽情地欣赏沿途风光,今天途说视界推荐8条中国最美的自驾游公路,看看是否有你心中所向往的远方。   第一条 青藏公路 青藏公路东起青海省西宁市,西止**拉萨市,是世界上海拔最高、线路最长的柏油公路,也是目前通往**里程较短,路况最好且最安全的公路。沿途景观大气磅礴且丰富,可…

    2022-01-08 投稿
  • 解放军加薪(解放军加薪最新消息)

      军人的工资,一头连着军人的获得感和幸福感,一头系着军人家庭的生活水平。   一年到头,万千关于军营的话题里,“什么时候给军人涨工资”,是一个永远不可能过时的存在。   可以说——   “军人的工资”,众人关注;   “给军人涨薪”,万众期待。   因其牵涉甚广,因其干系甚大,所以小道消息,常年不…

    2022-01-21 投稿
  • 北京冬奥会福娃名字,2022北京冬奥会福娃名字

    发布活动现场。中国青年报 中国青年网记者慈 鑫摄 中国青年报客户端北京9月17日电(中国青年报·中国青年网记者 慈鑫)前有福娃,今有冰墩墩。今晚七点,2022北京冬奥会及冬残奥会吉祥物在北京首钢冰球馆发布——是一个生动可爱、精致独特的熊猫,名叫冰墩墩。北京冬奥会吉祥物在体现北京冬奥会、冬残奥会愿景和中国传统文化的同时,又兼具国际化审美。 冰墩墩。中国青年报 …

    2022-03-18