揭秘华为云瑶光智慧云脑的成长之路

  • 时间:
  • 浏览:1

作为北斗第七星,瑶光自古就可用来判断四季更迭、引向定时。而作为全新发布的智能云操作系统,瑶光健康健康智慧脑又是要怎样做到统领云上各类资源、实现租户需求与资源供应之间最佳匹配的呢?在华为云瑶光实验室、华为云算法

作为北斗第七星,瑶光自古就可用来判断四季更迭、引向定时。而作为全新发布的智能云操作系统,瑶光健康健康智慧脑又是要怎样做到统领云上各类资源、实现租户需求与资源供应之间最佳匹配的呢?在华为云瑶光实验室、华为云算法创新实验室里,我们都找到了答案。

#初识资源调度# 云OS:我太“南”了

依托虚拟化技术,我们都得以将数据中心海量的计算、存储资源以云服务的形式对外提供。而随着数据中心规模扩展、边缘计算带来的算力延伸,承担着高效、精准资源调度的云操作系统面临着三大挑战:

第有另一个多多挑战是云计算的资源消耗/售卖模式带来的。云计算的资源申请通常随机到达、按需计费、用完即释放,无法土妙招恒定指标构建目标函数求解;

第一个多挑战是华为云快速增长带来的。根据Frost & Sullivan对于中国公有云市场的调查研究结果显示,2019年Q3华为云IaaS市场份额排名上升至第,成为增速最快的Top厂商。高速增长使得用户资源请求的分布随时间变化,而传统的研究多是针对稳定的请求分布来设计避免方案的;

第有另一个多多挑战是服务器三种架构带来的。不同服务器体系架构的不同组合土妙招会原因分析分析分析性能差异,一些一些哪些不同挂接就像装箱什么的问题中箱子之间加了一些一些不同隔板,使得放置资源的同需要要考虑性能约束。

#致敬经典# 传统装箱模型为什么么行不通

装箱什么的问题最早能也能追溯到1831年高斯(Gauss)开始英文研究的布局什么的问题,其本质与装箱一样,是不是希望将尽如果多的货物放上箱中。云端虚拟机的部署是把具有多种资源需求的虚拟机向物理机分配的过程,如下图,云操作系统时刻收到虚拟机的资源创建请求,它需要决策将资源部署到哪台物理机上也能保证碎片率最低。

1 当装箱算法遇到云上资源调度

从过程中能也能发现,相比经典装箱什么的问题,云上资源调度有了新的约束:

1、实时云环境下,虚拟机是动态、依次部署到物理机上的,事先虚拟机的创删申请和资源需求信息具有不挑选性;

2、指在问题的物理机资源利用率如果会原因分析分析分析业务负载指在波动,故资源调度需要充分考虑物理机的资源和性能约束,并避免如果出現的性能突发诉求;

3、根据业务不同的在线/离线属性,调度过程也需考虑同物理机上不同虚拟机之间,因资源抢占如果指在的“扰邻”什么的问题,并尽如果降低影响。

#成为健康健康智慧脑# 瑶光的学习成长路径

沿着经典装箱什么的问题思路,瑶光身前的专家们尝试了如FirstFit、BestFit等运筹学土妙招,以一台物理机为例,通过比对“请求资源量”和“可用资源量”的匹配程度,即其向量的余弦夹角值来判断对可用资源量的利用请况,如下图所示。

图2 利用余弦夹角土妙招求解调度

而站在资源池全局的角度看,当指在随机请求与资源池扩缩容时,目标函数也会随即改变。此时,瑶光引入了具有强大搜索能力的强化学习算法,通过预模拟来尝试各种策略,并反复强化最终收益最大的方案。强化学习以数据为基础,其思路我们都能也能通过迷宫游戏来理解:

图3 通过强化学习算法模拟求解最优调度

熊猫在寻找出口处竹子的过程中,“上下左右”每一步决策都如果“碰壁”、“通过”或“吃到竹子”,哪些都是不是不同经验值的“奖励”。通过反复的模拟,尝试在不同位置(即“请况”)挑选不同行动(即“决策”)所分得的奖励,此时“请况State”与“奖励Reward”的关系可是我资源池挑选哪台机器来满足请求的决策土妙招

更进一步,不同体系架构的云服务器、不同租户间的QoS要求,原因分析分析分析分析强化学习算法应对的环境在不停变化,就像上图不断复杂化变换的迷宫。而强化学习训练用的历史数据不具有概括性与对抗性,这时瑶光开始英文基于历史数据完成研究会习与进化,以应对快速规模发展下的资源调度什么的问题。

图4 基于瑶光调度算法实现研究会习调度策略调优

为了验证方案的可行性,瑶光实验室基于随机请求序列(基于华为云现网数据随机打散生成)对专家经验与模型数据双驱动的“瑶光资源调度算法”进行了仿真测试:

1 仿真测试场景一

表2 仿真测试场景二

测试结果表明,采用瑶光资源调度算法后平均碎片率优化效果提升150%、同一仿真序列下节省服务器数量约6%、资源池碎片挂接触发周期延长约150%。

#HDC.Cloud# 有瑶光、有技术、有未来

华为云设立瑶光实验室的初衷可是我聚焦避免云基础服务在创新过程中遇到的痛点,计算资源碎片的优化是其中核心的技术专项,而在本次华为开发者大会HDC.Cloud的华为云基础服务展区,你还能参与到更多构建在瑶光健康健康智慧脑之上多样计算、智能边缘等应用,体验云+AI+5G时代下技术为先、创新为源的未来感!

      (本内容属于网络转载,文中涉及图片等内容如有侵权,请联系编辑删除)