云原生大规模应用落地指南 (2020阿里巴巴双11云原生技术实践) (李响 等) (Z-Library)

Author: it-ebooks

技术

No Description

📄 File Format: PDF
💾 File Size: 4.0 MB
26
Views
0
Downloads
0.00
Total Donations

📄 Text Preview (First 20 pages)

ℹ️

Registered users can read the full content for free

Register as a Gaohf Library member to read the complete e-book online for free and enjoy a better reading experience.

📄 Page 1
(This page has no text content)
📄 Page 2
关注阿里巴巴云原生 阿里云开发者“藏经阁” 了解更多技术资讯 海量免费电子书下载
📄 Page 3
目录 序言 4 推荐序 1 5 推荐序 2 6 推荐序 3 8 前言 10 4985 亿交易额的背后,全面揭秘阿里巴巴双 11 的云原生支撑力 11 第一章 技术体系升级 14 阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现 15 以 Kubernetes 为代表的容器技术,已成为云计算的新界面 19 Serverless 如何落地?揭秘阿里核心业务大规模落地实现 29 第二章 技术能力突破 37 七年零故障支撑双 11 的消息中间件 RocketMQ,2020 有何不同? 38 阿里 双 11 同款流控降级组件 Sentinel Go 正式 GA,助力云原生服务稳稳稳 47 「更高更快更稳」,看阿里巴巴如何修炼容器服务「内外功」 59 OpenKruise:阿里巴巴 双 11 全链路应用的云原生部署基座 67 揭开阿里巴巴复杂任务资源混合调度技术面纱 74 云原生趋势下的迁移与容灾思考 93 第三章 双 11云原生实践 111 2020 双 11,Dubbo3.0 在考拉的超大规模实践 112 申通快递 双 11 云原生应用实践 117 「云原生上云」后的聚石塔是如何应对 双 11 下大规模应用挑战的 129 高德最佳实践:Serverless 规模化落地有哪些价值? 145 订单峰值激增 230%,Serverless 如何为世纪联华降本超 40%? 150
📄 Page 4
序言
📄 Page 5
5 > 推荐序 1 推荐序 1 电刚刚被发明时,人类只用它来照明,未曾想过真正广泛应用后,由电带来的革新将远 远超出人们的想象力。 数字技术也是类似的,商业世界仅停留在过去“见招拆招”的思考层面是远远不够的。 现在,我们需要重新理解一个新技术带来的数字原生世界。阿里巴巴经过各类技术不断地迭 代发展到今年,已经为构建这样一个世界完成了初步的技术准备。 以今年的双 11 为例,我们将“光棍节”升级为“双节棍”。过去双 11 的模式是提早 把业务需求固定下来,严阵以待,调试到位,来迎接那一个晚上的峰值节点,这就像打固定 靶。但今年改成了移动靶,我们需要在双 11 进程中变更系统,为消费者与商家持续创新。 从固定靶到移动靶,这显然是一个巨大的挑战。我们正在挑战以前很难实现的事情。 尽管今年我们准备了更高的峰值能力,但交易峰值不再是主要技术看点了。我们希望把 过去 11 年支撑双十一的技术创新融会贯通,形成一个「数字原生商业操作系统」,帮助全 社会在产业链各环节的数字创新。去年双 11 的主题是核心系统「全面上云」,今年双 11 的主题是「云原生」,是在「云上」实现核心系统全面云原生化的的第一年,今年的云和去 年的云有很大不同,有些技术是第一次使用。 我们看到,云的定义在不断变化,它成为了商业领域数字化的底座和基础,不再单指传 统云计算了,而是将未来的方向指向云原生。这种云计算的再升级让商业效率提升和技术创 新变得更加简单。某种程度上,恰恰是因为云原生,我们才能从过去的束缚中解放出来。不 迈出这一步,把业务的创新空间打开,我们的综合能力很维迎来下一次突破。 阿里巴巴的使命是「让天下没有难做的生意」,技术愿景是「技术创造新商业」,沿着 这个方向,数字原生商业操作系统将是阿里巴巴技术接下来的一个重点。这样的「操作系统」, 在数字基础科技与数字商业创新之间架起一座桥梁,一方面,我们让商业要素的资源调度更 高效,另一方面,我们让应用创新变得更简单,两者结合将产生巨大潜力。无论是打造这个 新的基础平台,还是基于它来贴身为客户创造价值,都是用创新在推进全社会的商业数字化 进步,值得我们所有技术人为之兴奋而奋斗不已。 阿里合伙人、阿里巴巴集团首席技术官 程立
📄 Page 6
推荐序 2 < 6 推荐序 2 如今,企业上云已经成为一种必然趋势。与此同时,作为诞生于云计算时代的新技术理 念,云原生让企业用云的方式发生着从“上云”到“云上”的转化。 云原生拥有传统 IT 无法比拟的优势,它能从技术理念、核心架构、最佳实践等方面, 帮助企业 IT 平滑、快速、渐进式地落地上云之路。可以预测,在未来企业加快数字化转型 的过程中,云原生一定会变成现代业务的基础应用。 通过云原生,企业可以最大化使用云的能力,聚焦于自身业务发展,开发者也可以基于 云原生的技术和产品,提升开发效率,并将精力更多地聚焦于业务逻辑的实现。与此同时, 云原生正在成为新基建落地的重要技术抓手。只有提前拥抱基础设施,才不会被时代淘汰。 这个现象在今年体现得非常明显。疫情之下,各行各业都受到了不同程度的影响,但那些基 础设施能力健全的企业抵御风险的能力更强。 比如今年疫情期间,基于阿里云容器解决方案,钉钉 2 小时内扩容 1 万台云主机, 支撑 2 亿上班族在线开工;申通快递将核心系统搬到阿里云上,并进行应用容器化和微服 务改造,在日均处理订单 3000 万的情况下,IT 成本降低 50%;采用了阿里云原生 PaaS 平台的中国联通号卡应用,开卡业务效率提升了 10 倍,需求响应时间缩短了 50%, 支撑访问量由 1000 万上升至 1.1 亿。 经过此次疫情,越来越多的企业坚定了上云和实现数字化转型的信念和步伐,而云原生 技术则是实现数字化转型的最短路径。但不得不说,今天云原生技术的应用和普及显然仍处 于早期发展阶段。 如果说在过去传统的工作方式下,一家企业想使用云原生的技术或产品,需要花费大量 的精力研究一些开源项目,自己做运维和管理,还需要考虑集成、稳定性保障等问题,这样 才能建立一个云原生平台;今天,为了方便企业和开发者更便利地使用云原生的技术和产品, 更好地接受云原生的理念,阿里云在帮助国内企业了解云原生、使用云原生上做了很多工作。 一方面,我们在内部积极去推进云原生技术的使用,阿里巴巴内部有非常丰富的、大规 模的使用场景,通过这些场景可以充分打磨云原生技术;另一方面,阿里云已经拥有国内最 丰富的云原生产品家族、最全面的云原生开源贡献、最大规模的云原生应用实践,去为最大
📄 Page 7
7 > 推荐序 2 的云原生客户群体赋能。在容器、服务网格和 Serverless 等领域均为企业提供丰富的技 术和产品体系,覆盖八大类别 20 余款产品,涵盖底层基础设施、数据智能、分布式应用 等,可以满足不同行业场景的需求,极大地降低企业在云计算方面的部署成本,能从技术理 念、核心架构、最佳实践等方面,帮助企业 IT 平滑、快速、渐进式地踏上落地上云之路。 最后,也正是经历过这样的具体实践,阿里云才有底气在技术成熟以后,将其回馈到社区, 帮助云原生社区提高技术质量和发展水平。 在 2020 年云栖大会期间,阿里云宣布成立“云原生技术委员会”。除了承担推动阿 里巴巴全面云原生化的职责,委员会更加重要的一个责任是将阿里巴巴已经沉淀 10 多年 的云原生实践对外赋能数百万家企业,帮助他们进行云原生改造,提升 30% 研发效率的 同时降低 30% IT 成本,携手客户迈入数字原生时代。 云原生的核心是创新,硬核技术要创新,服务客户的模式要创新。今天我们讲云原生是 阿里云的再升级,其实,云原生也是阿里云的 DNA。相信在阿里云原生的助推下,“云” 也将成为“日用品”,让企业业务“生于云,长于云”,帮助企业实现全面数字化,享受云 原生时代由技术带来的红利。 阿里云高级研究员、阿里云基础产品事业部负责人 蒋江伟
📄 Page 8
推荐序 3 < 8 推荐序 3 云原生已经成为云计算的再升级,通过重塑整个软件生命周期,成为释放云价值的最短 路径,加速企业数字化创新。 如果说过去企业在使用云服务时需要先采购虚拟机,再通过中间件开发应用,那么云原 生就是更进一步的云计算形态体现,追求最大化利用其技术模式,充分发挥云计算的生产力。 利用容器、Kubernetes、微服务、Serverless 等能力,可以让虚拟化、中间件实现进一 步封装。基于云原生架构,企业只需关注自己的应用开发、交付即可,实现生于云长于云。 在这样的模式下,应用从设计、开发、交付、到管理的思维方式与最佳实践有机结合, 大幅降低了 IT 实施和运维成本,让应用可以最快地创造价值,进而提升业务创新效率,这 就是我们所说的“最短路径”。 今天,阿里巴巴作为一家科技公司,我们不仅要对内释放云原生技术红利,实现研发效 率、资源效率和迭代创新效率的整体提升;同时,云原生也升级为阿里云的技术战略,为更 多的客户和开发者赋能。为此,阿里云云原生提出了“三位一体”的策略,将“自研技术”、 “开源项目”、“商业产品”形成统一的技术体系,最大化技术价值。 在阿里巴巴我们常说,没有经过双 11 检验的技术不是成熟的技术。2020 年双 11, 我们实现了核心系统全面云原生化的重大技术突破,带来资源效率、研发效率、交付效率的 三大提升,万笔交易的资源成本 4 年间下降 80%,研发运维效率平均增效 10% 以上, 规模化应用交付效率提升了 100%。可以说,阿里巴巴在 2020 双 11 完成了全球最大规 模的云原生实践。 与 2019 年全面云化相比,2020 年的“全面云原生化”革命性地重构了双 11“技术 引擎”。从产品和技术两方面来看,产品侧,阿里云通过提供容器服务 ACK、云原生数据 库 PolarDB/Redis、消息队列 RocketMQ、企业级分布式应用服务 EDAS、微服务引 擎 MSE、应用监控服务 ARMS 等百款云原生产品全面支撑双 11。技术侧,云原生四大 核心技术实现规模和创新的双重突破,成为从技术能力向业务价值成果转变的样本: 1. 支持全球最大容器集群、全球最大 Mesh 集群,神龙架构和 ACK 容器的组合,可
📄 Page 9
9 > 推荐序 3 以实现 1 小时扩容 1 百万个容器,混部利用率提升 50%,万笔交易成本 4 年下降 80%。 2. 国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到 1.7 EB,实时计算峰值每秒 30 亿条记录;PolarDB 读写性能提高 50%+,计算资源利 用率提高 60%+。 3. 云原生中间件首次实现自研、商用、开源的"三位一体",通过阿里云服务全球客户。云 原生中间件服务框架峰值调用量超百亿 QPS。 4. 核心业务规模实践 Serverless,弹性伸缩能力会提升 10 倍,大幅提升压测支撑效率 和稳定性。 云原生技术不仅在阿里内部大规模普及,也正通过阿里云服务全社会的双 11。大促期 间,阿里云原生还支撑了中国邮政、申通快递、完美日记、世纪联华等客户,稳定高效应对 双 11 大促的流量。以物流行业为例,申通快递将核心系统搬到云上,采用阿里云容器服务, 亿级包裹过境,系统稳如泰山,IT 成本还降低了 30%;以大型商超为例,世纪联华基于 阿里云函数计算(FC)弹性扩容,业务峰值 QPS 超过 2019 年双 11 的 230%,研发效 率交付提效超过 30%,弹性资源成本减少 40% 以上。 回顾阿里巴巴云原生的发展历程,我们就比别人更早一些下定决心。 从 2008 年落地 分布式、互联网中间件,到 2011 年落地容器化,我们在不断发展的过程中看到云原生的 方向,又通过自身实践,证明这是一条正确的道路,从而更加坚定。 当然,任何一家企业,特别是规模越大、历史沉淀越多的企业,一定会有一些历史包袱。 在云原生落地的过程中,即便是阿里也不可能百分百所有的技术全都云原生,全都使用阿里 云的产品。云原生的动作会先从核心系统开始,因为核心系统人员更充沛,并对技术有更极 致的要求。我们将今年在阿里巴巴双 11 核心系统全面云原生化过程中积累的经验沉淀成为 这本电子书,希望帮助更多企业和研发人员去更好地做新技术的尝试、迭代和落地。 未来十年,云计算将无处不不在,真正地融入到我们生活的方方面面。而云原生则让云 计算变得标准、开放、简单高效、触手可及。 如何更好地拥抱云计算、拥抱云原生架构、 用技术加速创新,将成为企业数字化转型升级成功的关键。 阿里云研究员、阿里云云原生应用平台负责人 丁宇
📄 Page 10
前言
📄 Page 11
11 > 4985 亿交易额的背后,全面揭秘阿里巴巴双 11 的云原生支撑力 4985 亿交易额的背后,全面揭秘阿里巴巴 双 11 的云原生支撑力 在新冠肺炎疫情催化下,数字化生活方式渐成新常态。2020 天猫双 11 全球狂欢节(简 称:天猫双 11)如约而至,更直观展现了数字经济的先发优势和巨大潜能。11 月 11 日零点 零分 26 秒,天猫双 11 的订单创建峰值就达到 58.3 万笔/秒,阿里云又一次扛住全球最大 规模流量洪峰。与此前不同的是,继去年天猫双 11 核心系统上云后,阿里巴巴基于数字原 生商业操作系统,实现了全面云原生化,底层硬核技术升级带来了澎湃动力和极致效能。以 支撑订单创建峰值为例,每万笔峰值交易的 IT 成本较四年前下降了 80%。 这次全球最大规模的云原生(Cloud Native)实践也引发了业界新的思考,在企业积 极进行数字化转型,全面提升效率的今天,几乎无人否认云原生代表着云计算的“下一个时 代”,IT 大厂们都不约而同的将其视为未来云应用的发展方向。当企业技术能力突破瓶颈, 将带来业务价值转换,而云原生正是助力企业提升技术竞争力的最佳途径。那么,在双十一 到来的第 12个年头,为何“全面云原生化”可以保障顾客在流量峰值也能拥有丝般润滑的 购物体验?
📄 Page 12
4985 亿交易额的背后,全面揭秘阿里巴巴双 11的云原生支撑力 < 12 当大促场景成为企业业务日常,这个问题的答案非常值得借鉴。 从“双 11 上云”到“云上双 11 云原生重构双 11“技术引擎” 十二年来,双 11 交易峰值屡创新高,2020 年以 58.3 万笔/秒再创世界纪录,是 200 9 年第一次双 11 的 1458 倍。阿里巴巴集团首席技术官程立表示,因为技术,双 11 才成为 可能。2010 年“去 IOE”,阿里发展出互联网海量交易支付的架构与技术;2015 年提出 “中台”战略,阿里迈向移动化、数据化新征程;2017 年达摩院成立,开启阿里双 11 智 能时代;2019 年核心系统 100%上云,让积累多年的双 11 技术,通过阿里云实现技术红 利大迸发。 从 2019“双 11 上云”到 2020“云上双 11”,阿里核心系统在 2020 年实现了全面 云原生化,革命性重构了双 11"技术引擎"。具体实现可以从产品和技术两方面来看。产品侧, 阿里云通过提供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、 企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服务ARMS等数十款云原生 产品全面支撑双 11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技 术能力向业务价值成果转变的样本: 极致弹性:神龙架构和 ACK容器的组合,可以实现 1小时扩容 1百万个容拥有国内最 大计算平台、顶级实时计算能力,支持全球最大容器集群、全球最大Mesh 集群。 极致算力:大数据平台批处理单日计算数据量达到 1.7EB,实时计算峰值每秒 30亿条 记录;PolarDB 读写性能提高 50%+,计算资源利用率提高 60%+。 三位一体:云原生中间件首次实现自研、商用、开源的"三位一体",通过阿里云服务全 球客户。云原生中间件服务框架峰值调用量超百亿QPS。 Serverless 大规模实践:核心业务首次大规模实践 Serverless,弹性伸缩能力会提 升 10 倍,大幅提升压测支撑效率和稳定性。 与其他云计算公司不同的是,阿里云支撑着阿里巴巴的核心业务,阿里云原生应用平台 研究员丁宇表示,"云原生是释放云计算红利的最短路径,也将成为全面上云的新底座。云 原生是云计算的再升级,是真正意义的云技术革命,推动从 Cloud Hosting 演进到 Cloud Native,从基于自有、封闭的技术体系,走向标准、开放公共的云技术体系。除了 支撑双 11 之外,这些双 11 的同款技术也通过阿里云支撑全社会,成为数字新基建的基础设 施。"
📄 Page 13
13 > 4985亿交易额的背后,全面揭秘阿里巴巴双 11 的云原生支撑力 云原生普惠技术红利支撑每一个行业的“双 11” 如今双 11 已经成为“购物节”的代名词,任何一个行业都开始打造自己的“双 11”。 普惠科技的价值已经不仅仅服务于狭义的电商双 11,而是支撑全社会的双 11 场景。云原生 技术不仅在阿里内部大规模普及,也正通过阿里云服务全社会的双 11。大促期间,阿里云 原生还支撑了中国邮政、申通快递、完美日记、世纪联华等客户,稳定高效应对双 11 大促 的流量。 以物流行业为例,申通快递将核心系统搬到云上,采用阿里云容器服务,亿级包裹过境, 系统稳如泰山,IT 成本还降低了 30%;以大型商超为例,世纪联华基于阿里云函数计算( FC)弹性扩容,业务峰值 QPS超过2019 年双11的230%,研发效率交付提效超过 30%, 弹性资源成本减少 40% 以上。在自动驾驶领域,创业公司图森利用通过阿里云的ASK( Alibaba Cloud Serverless Kubernetes)容器服务灵活调度 AI 模型训练时的计算资 源,可缩短了 60% 的模型测试时间,并在完成测试之后可以快速释放算力,极大节约了 成本。 继 2020 年 9 月云栖大会上阿里巴巴宣布成立云原生技术委员会,云原生升级为阿里 技术新战略。2020 双 11 核心系统全面云原生化,成为云原生技术委员会推动阿里巴巴全 面云原生化的重要里程碑。阿里巴巴集团首席技术官程立表示,云原生带来最大的不同是让 阿里真正实现了自研、商用、开源的"三位一体",双 11 的核心技术可以直接给到客户使用, 省略了经过云上沉淀再输出的过程,降低了客户获取"双 11 同款技术引擎"的门槛和成本。 从云计算到云原生——彻底拥抱数字时代的业务架构方式,开启云上商业时代。 正如阿里云创始人王坚博士所言,「核心系统上云让阿里巴巴和客户真正坐上了同一架 飞机」,阿里云也将云原生的实践经验与各个行业分享,让「这架飞机上的每个乘客」都享 受技术创新带来的红利。
📄 Page 14
第一章 技术体系升级 本章主要作者:李响、汤志敏、黄涛、司徒放、许晓斌、杨皓然 注:作者姓名按文章顺序排列
📄 Page 15
15 > 阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现 阿里云原生中间件首次实现自研、开源、商 用“三位一体”,技术飞轮效应显现 对于阿里的技术同学来说,每年的 双 11 都是一场“盛宴”。为了让顾客有顺滑的购 物体验,给商户提供更多样化的让利活动,阿里电商平台对于效率、可靠性、规模性的要求 在 双 11 的驱动下成倍提高,激发着技术人的潜力。作为基础技术核心之一,阿里中间件 也会在每年 双 11 迎来一次技术的全面演进和升级。 阿里在 2019 年完成了全站的核心系统上云,对于阿里中间件来讲,这是一个意义非 凡的机遇和挑战。实际上,从 2011 年 Dubbo 开源开始,阿里中间件就已经尝试在云产 品和开源方面努力探索,希望让支持阿里核心业务的中间件系统从封闭走向开放,服务更广 泛的用户。过去几年,阿里云推出了 EDAS 产品线,希望能够把阿里在微服务和应用托管 体系的实践经验分享给用户;与此同时,阿里云还在开源社区中推出了 Dubbo、 RocketMQ、Nacos、Seata 等多个为人熟知的开源项目,鼓励广大开发者共建中间件生 态体系。 阿里云在探索中一直存在的苦恼,是内部的自研体系、商业化的产品技术与开源的项目, 三方的技术路线一直没有机会融为一体。然而,就在今年阿里云提出了“三位一体”理念, 即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系,最大化技术的价值。 随着阿里自研体系的上云,这个机遇终于到来了。今年,让阿里云中间件技术人最兴奋的, 除了支持 双 11 大促的再一次成功,更是能用这些技术持续赋能阿里云上数以万计的企业、 机构、开发者以及他们的用户,把 双 11 的技术红利发挥到极致。
📄 Page 16
阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现 < 16 基于集团场景,沉淀 Spring Cloud Alibaba 全家桶,形成微服务 领域最佳实践 在考拉入淘过程中,集团基于开源核心预研的下一代服务框架 Dubbo 3.0,完美融合 了内部 HSF 的特性。考拉基于 Dubbo 以及 MSE 提供的服务发现和流量治理能力,轻 松实现了与集团核心电商业务的接入。在今年 双 11 大促中,考拉核心链路上的数百个应 用运行在 Dubbo 3.0 这个版本上。 Nacos 与 Dubbo/Spring Cloud Alibaba 生态完成无缝整合。2018 年,随着阿里 开源战略的推进,阿里云以 10 年 双 11 沉淀的注册中心和配置中心为基础开源了 Nacos,以简单易用、性能卓越、高可用、特性丰富等核心竞争力快速成为领域首选。并 且跟阿里 Dubbo/Spring Cloud Alibaba 生态完成无缝整合,形成微服务领域最佳实践。 2020 年,随着阿里全站上云的全面推进,阿里云将阿里巴巴内部注册中心和配置中心用 Nacos 重构完成,并以云产品 MSE 支撑了淘宝、饿了么、考拉等核心 BU 平稳度过 双 11。 阿里微服务体系通过阿里内部场景锻炼出高性能和高可用的核心竞争力,通过开源构建 了生态和标准,凭借 MSE、EDAS 等云产品完成产品化和能力输出。基于此,阿里云中 间件完成了三位一体的正向循环,通过标准持续输出阿里巴巴的核心竞争力,让外部企业快 速享有阿里微服务能力,加速企业数字化转型! Spring Cloud Alibaba 全家桶
📄 Page 17
17 > 阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现 阿里云 Prometheus 监控服务,提供了水平扩展能力,平均查询 性能比开源提升 30% 以上 基础设施的自动化是云原生红利能够被充分释放的前提,而可观测性是一切自动化决策 的基石。Prometheus 是 CNCF 下第二个毕业的项目,已成为云原生可观测领域的事实 标准之一。如何将开源 Prometheus 的优秀生态与技术架构与阿里云原生基础设施进行 整合,提供一个监、管、控一体化的自动化运维平台,提升业务系统的交付效率与在线稳定 性,是阿里云这一年多来不断探索的目标。在今年的 双 11 期间我们见证了这一目标的实 现,阿里云 Prometheus 服务成功为众多大规模在线业务保驾护航,帮助业务系统顺利 度过洪峰。 相比于自研的监控体系,阿里云 Prometheus 服务与云生态有更紧密的集成,实现 了与托管类产品底层 API 的深度集成与联动。外部用户也无需顾虑运维 Prometheus 服 务,只需一键开启一组资源开销极小的无状态采集组件,即可实现自动服务发现、高可靠的 数据采集与上报,以极低的迁移成本将自建 Prometheus 迁移到阿里云的 Prometheus 服务上。相比于开源版本的 Prometheus,阿里云的 Prometheus 为了应对阿里的大规 模体量,提供了水平扩展能力,能够应对超大规模的指标写入,其优化后的查询引擎,针对 高维查询、正则查询、长时间线查询等场景做了特定优化,平均查询性能比开源版本提升 30% 以上。 钉钉视频会议在今年基于 ASK 实现了全球系统的全量容器化,采用云原生 Serverless 技术,使得整体业务架构变得更加轻量、易运维,能够更好地应对音视频领域 流量特征所带来的特殊资源弹性诉求。阿里云 Prometheus 服务针对 ASK 集群特性做 了一系列定制,实现了无损的 Serverless 指标采集能力,以及钉钉视频会议整个 Serverless 架构的全局可观测能力。与此同时,我们开始在无状态工作负载下探索,基于 Prometheus 指标数据的自动弹性能力。 基于 RocketMQ 的消息产品家族无缝快速上云,拥抱标准,引领 标准 RocketMQ 是阿里巴巴在 2012 年开源的第三代分布式消息中间件,并在 2017 年 正式成为 Apache 顶级开源项目。在阿里巴巴内部,RocketMQ 一直承载着阿里巴巴
📄 Page 18
阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现 < 18 所有核心链路的消息流转,历经多年 双 11 万亿级消息洪峰的严苛考验。随着阿里全站上 云战略的推进,阿里云消息团队打造了三位一体的技术融合架构,克服了微内核抽象统一、 商业化差异性打造等难关,实现了自研、开源、商用三方技术的平滑兼容,以同一消息体系 支撑阿里巴巴、阿里云产品以及开源社区需求。通过三种截然不同场景的打磨, RocketMQ 可以帮助用户无缝快速上云。 今年 双 11,菜鸟、饿了么、考拉等阿里巴巴核心部门将其消息系统迁移到云上消息产 品,相比于原有需要提前预算规划的使用方式,云消息产品为其提供了快速按需扩缩容的弹 性能力,不仅节省了成本,也消除了其对容量预估失准的担忧。除此之外,三位一体技术融 合也为内部用户带来了诸多便利。RocketMQ 开源社区中的一大批生态项目可以快速在阿 里巴巴内部以及云上得以复用,不仅节省了开发成本,也使得开发模式从依赖阿里巴巴内部 组件的封闭方式,走向与社区开源生态协同的开放方式,在拥抱标准的同时引领标准。而这 些生态项目通过阿里巴巴内部严苛场景的打磨,也正在变的愈发成熟,吸引着越来越多的开 发者。 消息队列产品家族 目前,阿里云消息产品已服务于数千家付费企业用户,为其提供开箱即用,稳定可靠的 消息服务。三位一体技术融合使得 RocketMQ 不仅让阿里成熟稳定的技术能够服务外部 客户,造福无数企业和开发者,也通过开源与开放的共赢方式,消除了用户被厂商锁定的担 忧。继今年 9 月云栖大会上阿里巴巴宣布成立云原生技术委员会,云原生升级为阿里技术 新战略。2020 双 11 核心系统全面云原生化,成为云原生技术委员会推动阿里巴巴全面云 原生化的重要里程碑。阿里巴巴集团首席技术官程立表示,“云原生带来最大的不同是让阿 里真正实现了自研、商用、开源的“三位一体”,双 11 的核心技术可以直接给到客户使用, 省略了经过云上沉淀再输出的过程,降低了客户获取 “双 11 同款技术引擎” 的门槛和成 本,可帮助客户快速迈入数字原生时代。”我们坚信驱动技术演进的背后一定是复杂的业务 场景、严格的稳定性和挑战以及来自于用户的的信任和支持。
📄 Page 19
19 > 以 Kubernetes 为代表的容器技术,已成为云计算的新界面 以 Kubernetes 为代表的容器技术,已 成为云计算的新界面 2020 年 双 11,阿里核心系统实现了全面云原生化,扛住了史上最大流量洪峰,向业 界传达出了“云原生正在大规模落地”的信号。这里包含着诸多阿里 "云原生的第一次”, 其中非常关键的一点是 80% 核心业务部署在阿里云容器 ACK 上,可在 1 小时内扩展 超百万容器。 可以说,以 Kubernetes 为代表的容器技术正成为云计算新界面。容器提供了应用分 发和交付标准,将应用与底层运行环境进行解耦。Kubernetes 作为资源调度和编排的标 准,屏蔽底层架构差异性,帮助应用平滑运行在不同基础设施上。CNCF Kubernetes 的 一致性认证,进一步确保不同云厂商 Kubernetes 实现的兼容性,这也让更多的企业愿意 采用容器技术来构建云时代的应用基础设施。 云原生容器新界面的崛起 作为容器编排的事实标准,Kubernetes 支持 IaaS 层不同类型的计算、存储、网络 等能力,不论是 CPU、GPU、FPGA 还是专业的 ASIC 芯片,都可以统一调度、高效 使用异构算力的资源,同时完美支撑各种开源框架、语言和各类型应用。 伴随着 Kubernetes 成为新操作系统的事实,以云原生容器为主的技术,已经成为云计 算的新界面。
📄 Page 20
以 Kubernetes 为代表的容器技术,已成为云计算的新界面 < 20 (一)云原生容器界面特征 云原生容器界面具有以下三个典型特征: 向下封装基础设施,屏蔽底层架构的差异性。 拓展云计算新边界,云边端一体化管理。 向上支撑多种工作负载和分布式架构。 1)向下封装基础设施,屏蔽底层差异性 统一技能栈降低人力成本:Kubernetes 可以在 IDC、云端、边缘等不同场景进行统 一部署和交付,通过云原生提倡的 DevOps 文化和工具集的使用有效提升技术迭代速度, 因此整体上可以降低人力成本。 统一技术栈提升资源利用率:多种计算负载在 Kubernetes 集群统一调度,可以有效 提升资源利用率。Gartner 预测“未来 3 年,70% 的 AI 任务运行在容器和 Serverless 上” ,而 AI 模型训练和大数据计算类工作负载更加需要 Kubernetes 提供 更低的调度延迟、更大的并发调度吞吐和更高的异构资源利用率。 加速数据服务的云原生化:由于计算存储分离具备巨大的灵活性和成本优势,数据服务 的云原生化也逐渐成为趋势。容器和 Serverless 的弹性可以简化对计算任务的容量规划。 结合分布式缓存加速(比如 Alluxio 或阿里云 Jindofs)和调度优化,也可以大大提升数 据计算类和 AI 任务的计算效率。 安全能力进一步加强:随着数字经济的发展,企业的数据资产成为新“石油”,大量数 据需要在云端进行交换、处理。如何保障数据的安全、隐私、可信成为了企业上云的最大挑 战。我们需要用技术手段,建立数字化信任基础,保护数据,帮助企业创建可信任的商业合 作关系,促进业务增长。比如基于 Intel SGX 等加密计算技术,阿里云为云上客户提供了 可信的执行环境。不过,可信应用开发和使用门槛都很高,需要用户对现有应用进行重构, 处理大量的底层技术细节,让这项技术落地非常困难。 2)拓展云计算新边界,云边端一体化管理 随着边缘计算的场景和需求不断增加,“云边协同”、“边缘云原生”正在逐渐成为新 的技术焦点。Kubernetes 具有强大的容器编排、资源调度能力,可以满足边缘/IoT 场景 中,对低功耗、异构资源适配、云边网络协同等方面的独特需求。为了推动云原生和边缘计
The above is a preview of the first 20 pages. Register to read the complete e-book.

💝 Support Author

0.00
Total Amount (¥)
0
Donation Count

Login to support the author

Login Now
Back to List