案例-解密腾讯社交业务高可用架构的关键运维技术dr

解密腾讯社交业务高可用架构的关键运维技术G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站目录123腾讯高可用架构的演进面向运维的架构设计织云的架构技术实践G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站为什么要高可用架构？开发：让服务活着运维：不背黑锅ITIL：保障业务的连续性DevOps：实现业务价值G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站典型的架构演进的过程数据与逻sql与巨石架构逻辑分拆缓存服务分库分表负载均衡读写分离主备切换柔性有损辑分离nosql消息队列名字服务•

更大的业务量：高并发、高可用、可扩展G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站移动互联网时代，腾讯的架构演进域名域名•

接入层与逻辑层独立vip接入，数据层共用接入层接入层•

PC与手机的发布变更不相互干扰•

运维保障可区分优先级对待（容量、监控等）•

架构调整简单可快速实现物理部署独立逻辑层逻辑层数据层G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站PC与移动端分离域名vip（BGP）统一接入框架接入层接入逻辑B接入逻辑C接入层逻辑层接入逻辑A物理部署独立读逻辑1写逻辑1逻辑层读逻辑2写逻辑2数据层G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站SET条带化域名vip（上海）vip（深圳）••数据层读写分离，多地读单点写条带化运维管理，抽象运维对象，效率提升统一接入框架统一接入框架接入层接入层接入层接入逻辑A接入逻辑B接入逻辑C接入逻辑A接入逻辑B接入逻辑C•SET化管理，容灾调度快速决策，SET内服务/网络异常，按SET为单元调度用户就近接入，速度提升读逻辑写逻辑••读逻辑1读逻辑1写逻辑1SET容量（支撑用户量）标准化管理，SET数量按需部署写逻辑1逻辑层逻辑层读逻辑2读逻辑2写逻辑2数据层_读（常用）写逻辑2数据层_读（常用）数据层_读（常用）回源读请求数据层_读（全量）数据层_写G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站异地多活华北地区PC专区手机专区1手机专区2华东地区••••多读多写，用户就近接入，体验最优专区按业务量部署，异地互备，数据安全性高可按不同业务场景建设不同专区可实现接入智能调度容错接入层接入层接入层手机专区3手机专区4接入层接入层逻辑层逻辑层逻辑层逻辑层逻辑层数据层数据层数据层数据层数据层华南地区PC专区手机专区1手机专区2建成可靠的数据同步机制，实现多读多写，异地多活西部地区接入层接入层接入层3手机专区4手机专区接入层接入层逻辑层逻辑层逻辑层逻辑层逻辑层数据层数据层数据层数据层数据层G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站目录123腾讯高可用架构的演进面向运维的架构设计织云的架构技术实践G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站优秀的架构对运维的重要性G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站优秀的架构对业务的重要性Bug修复度量验收规划与设计开发客服功能实现产品测试故障处理运维监控与运营投诉与建议用户发布与交付G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站运维想从高可用架构得到什么？G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站腾讯海量运营之道容灾过载保护均衡服务运营可用ET部署发布立体监控运营意识系统小做扛住再优化干净净重构边生活G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站7个核心技术手段柔性可用容灾ⅣⅤⅠ••重要接口重点保障次要接口有损可用•••硬件容灾业务逻辑容灾数据层容灾分SET部署独立自治，规模量化SET间专线窄带化分布规整（同IDC）过载保护•••Ⅱ••••轻重分离频率控制容量管理动态调节灰度发布ⅥⅦ••灰度发布的优势灰度发布的纬度负载均衡Ⅲ••••轮循均衡立体监控权重轮循均衡处理能力均衡……•••系统层监控应用层监控用户层监控G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站目录123腾讯高可用架构的演进面向运维的架构设计织云的架构技术实践G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站求：一张运维的护身符内网寻址？路由服务•

LV

S•

HAProxy•

Nginx•

DNS名字服务负载均衡流量调度G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站路由服务的两种模式G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站织云路由的技术架构•

负载均衡•

本地决策•

秒级调度写入配置变更Web管理系统DB读取配置变更记录路由api

业务进程根据ip:port请求e上atpd配置更新ltUsuRe路由server路由AgentteouR果结用调报返回路由api业务进程主调机器被调服务集群G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站织云路由L5的收益•

质量提升•

效率提升•

覆盖率>95%•

SNG运营规范•

多语言支持12345678910

11

12

13

14

15

16

17

18

19

20月故障总数L5接入率G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站功能特点与算法就近访问，异地容灾一致性hash寻址过载保护Agent计算各被调节点权重W(k)的算法描述如下：1.

服务器k的最终权重W(k)=动态权重Wd(k)*静态权重Ws(k)2.

服务器k的动态权重Wd(k)=1/load(k)精细的服务质量监控单机容错&自动恢复流量调度3.

服务器k的负载值load(k)=delay_load(k)*延时倍率+ok_load(k)*成功率倍率4.

服务器k的延时负载值delay_load(k)=delay(k)/min(delay(0)..delay(n))5.

服务器k的成功率负载值ok_load(k)=max(ok_rate(0)..ok_rate(n))/ok_rate(k)6.

从上面的公式我们可以看出动态权重Wd(k)与被调节点的成功率ok_load(k)正相关，与时延delay_load(k)反相关。静态权重可用于手动调节节点权重，用于灰度，压测等；负载均衡名字服务G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站与业务其他方案对比对比功能项织云路由LVS/F5DNS支持，根据不用国家、省份、运营商进行调度就近访问寻址支持不支持需集中转发业务数据；故障对业务是致命的（通过规范标准的集群容灾规避整集群故障）只提供寻址，不转发业务数据；有缓存机制，故障对业务几乎无影响有缓存机制；故障对业务有影响故障风险负载均衡基于业务应用层反馈，可靠性更高；支持权重，动态自适应调节；负载均衡算法比较简单。基于简单的轮询机制容错能力过载保护支持RS自动容错，恢复有支持自动容错；无无无需要专用设备，或对系统进行特殊配置部署维护主调机器安装agent即可系统缺省提供基于API上报，对服务的请求量、成功率和返回码进行统计，实现服务质量的精

无法提供业务纬度的精细监控

无法提供业务纬度的精细监控细化管理监控统计使用门槛低，需业务代码调用API无，VIP方式，对业务透明低，需业务调用域名查询APIG

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站织云路由架构演进1：路由配置中心G

O

P

S

全

球

运

维

大

会

2

0

1

8

·

深

圳

站织云路由架构演进2：无代码侵入业务应用getaddrinfox.x.x操作系统DNS解析服务注册:x.x.xL5ꢀServer路由从host文件等寻址/etc/resolv.conf监听本机udp:53提供dns解析服务下发获取名字服务被调IP+Portnameserver127.0.0.1nameservery.y.y.y第一个ns解析域名L5ꢀAgentDNSꢀAgent失败选择下一nsꢀꢀꢀꢀ……ꢀꢀꢀꢀL5ꢀAPIApiGetRoutApiRouteResultUpdate主动探测服务被调是否存活e访问服务被调获取服务被调IP+Port访问服务被调业务应用G