【IT168 SACC现场报道】在数字化转型时代,云已成为万物智能的数字化大脑。而随着大数据应用、人工智能、移动互联网等技术的飞速发展,“智慧+”的概念正在深入到各行各业,提升企业效率,释放商业潜能,创造全新机遇。作为国内优异技术盛会之一,2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。
许令波,花名君山,现任滴滴出行资源调度平台 Leader,前阿里巴巴高级技术专家,09 年毕业进入淘宝后,一直工作了 7 年多时间,所有的工作经历都和淘宝的发展阶段相关。11 年淘宝 PV 从一亿到 10 亿 PV 阶段,系统的性能成为最大的挑战,针对大流量的读系统设计了高可用的静态化方案,应用在详情、购物车以及秒杀系统中,参与到双 11 大促的交易链路优化。目前加入滴滴基础平台,现负责滴滴统一资源调度平台建设,参与滴滴基础设施的建设。
在SACC2017《统一资源调度平台建设实践》演讲中,深入介绍滴滴搭建统一资源调度平台的关键技术实践方案以及在建设过程中遇到的典型问题分析。介绍滴滴场景下物理资源调度技术的选型思考以及容器技术的选择方案;2以及滴滴的统一资源调度平台的系统架构与非常好的实践案例;此外,围绕mesos、docker、lxc 以及 lxcfs 等开源技术的应用中遇到的疑难问题分享。
许令波在演讲中提到,大部分工作都在设私有云,需要将物理资源进行统一的抽象要么进行虚拟化要么进行容器化,一般分为两个阶段:一是实现物理资源的虚拟化(即资源的抽象),将物理机分割成更小单位的虚拟机可以显著提升机器的利用效率,实现存储计算分离以及在离线混部等;二是将资源虚拟化后进一步实现编排更细粒度在时间和空间上优化资源的使用,进而实现自动化运维、弹性伸缩以及故障自愈等。
关于资源调度,一般分为两个阶段:虚拟化(即资源的抽象):虚拟机或容器技术来隔离资源;编排:更细粒度在时间和空间上优化资源的使用。
在硬件资源配置方面,从物理机迁入oceanbank,一台GIFT-PROXY可省:22核,120G内存。一台GIFT-FS可省9核CPU,40G内存。
节约成本统计:53台GIFT-PROXY共节约1166核,6360G内存。62台GIFT-FS共节约558核,2480G内存。全部共:1724核,8840G内存。折算成物理机共省下约:71台(节省了约一半的机器)M10物理机机型。
许令波介绍,所谓抽象资源实质是对具体物理资源的收集和管理。包括虚拟化、数据持久化两个层面。
虚拟化:将抽象的硬件资源属性进行重新封装,封装成上层可以使用的一个实体,可以是容器也可以是虚拟机或者一个资源集合。
数据持久化:业务少不了会有数据存储在本机,这样就会把机器变成有状态,不利于对资源的全局调度,所以有三种种场景需要解决:一是不需要永久本地存储但是会实时写到本地如应用的日志;二是需要永久存储如DB。三是分布式存储场景,做到存储与计算分离
许令波表示,如果想在容器中获取正确Loadavg信息的那么就要具备以下几点:获取运行在容器中的所有进程(包括:线程);获取运行在容器中的进程总数;获取运行在容器中的所有进程运行状态;Loadavg计算公式;难点是如何控制性能消耗;控制对进程信息获取的系统调用。而大数据接入方面,直接提供容器as vm给大数据使用,将yarn部署在容器里,在离线混部需要考虑磁盘的存储容量问题,对资源动态调度支持。
▲更多精彩点击大会专题:http://sacc.it168.com/topic2017