云计算 频道

美团云入选Top100年度技术创新案例

  Top100summit是科技界一年一度的案例研究峰会,每年甄选有学习价值的100个技术创新或研发管理实践,分享本年度最值得总结、盘点的实践启示。12月5-7日,Top100summit案例研究峰会在北京国家会议中心隆重举办。美团云作为领先的O2O电商云和大数据解决方案提供商,入选TOP100年度技术创新案例。美团网高级技术专家王昕溥在大会上发表了以《软硬结合,新旧并举》为主题的演讲,揭秘美团云网络演化进程。

  王昕溥讲到,似乎提到美团大家联想到的只是团购,但美团早已不是单纯的团购,更有猫眼电影、机票、酒店、外卖等丰富的业务。同时,总有人会问美团为什么要做云?做好电商才是美团该走的路。实则不然。电商拥有的大数据是天然做云优势,数据在高峰期的波动也使得电商在资源弹性调度方面有一定的积累。而美团早已在2012年开始逐步创建自己的云平台,2013年5对正式对外推出公有云服务。同年7月,美团所有业务迁移至美团云平台上。至今,美团云已创建多年,在大数据分析服务上有了很深的积累,希望将此经验分享给大家。

美团云入选Top100年度技术创新案例

  美团云没有完全选用OpenStack,而是决定基于OpenStack自研云平台。原因在于当时OpenStack并不成熟,例如需要软件网关在VM上,网络模式配置比较死板,无法满足美团业务的需求。现在看来,因祸得福。由于OpenStack偏向私有云,如果当初完全基于OpenStack,现在做公有云将比较困难。但美团云选择自研云平台,结合自身业务,在OpenStack的基础上不断加入自研的策略,现如今平稳地支撑着所有业务。

  美团私有云研发目标除自研外还包括:资源云化和减少性能损耗。这需要做到快速交付、灵活地调整以及对访问控制和资源隔离不做太多要求。办公云的目标是动态地开发测试资源、从计费系统和公有云的预发环境入手试水公有云。而早期公有云的目标在于:纯软解决方案,底层采用VLAN,通过OVS控制器对用户进行隔离;因为当时仅为千兆网络,因此对软件性能要求不高。由此可预想到早期公有云存在着诸多问题。首先,内外网单连线,任何地方不稳定都将导致重大问题,若为三根网线,成本则太高;交换机对VLAN的支持能力限制了网络规模的扩展,用户数量受到限制;软件隔离占用宿主机计算资源;无法实现用户自定义网络,灵活性低。

  经过不断地改进,现美团新公有云网络架构得到全面升级。

  首先,从物理链路来看,实现万兆互联、双机冗余,管理网做粘接,用户的内外网全部覆盖在管理网上。通过VLAN隔离用户,可自定义网络,灵活性大大提高。并且,拥有浮动IP、负载均衡、对象存储、块存储、RDS、Redis等丰富的产品。具体来看,采用10G Base-T电口万兆网络。而网络一分为二:overlay网络和underlay网络。这意味着不再受限于物理上的连接和端口数量,可以按照资源池的概念来分配网络资源。而Underlay网络作为整个SDN框架的基础,充分吸取和延续了过去长期积累的物理网络优势。同时,核心机柜封闭冷通道,此举大大降低了成本,同时方便了运维。

  其次,网关、主机网络、控制3方面性能释放。浮动IP网关、负载均衡网关、DDos清洗设备等全面DPDK化,64字节小包20G线速,并发1000w链接情况下新建连接100w/s。主机上又是如何充分释放万兆互联呢?在曾经V1.1版本上千兆仍可行,但万兆不行。升级到V2.3后平台创建能够满足要求,但利用率仅为20-30%。而升级到V2.4V,支持DPDK,进一步提升单流转发性能。控制上早期选择有iptables,主要选用OVS控制器对数据包进行过滤和处理。但存在需要配置或更新大量规则和难以实现更灵活控制的问题。后通过VXLAN对用户进行隔离、VNI内数据包不隔离、OFFLOAD VXLAN的封装解封装到交换机上。

  目前,美团云更多地采用自动化运维,将过去长期通过debug或diag等手段去查看改为,通过openflow或者netconf等通信手段提取到控制器上,进一步整理和分析。未来,美团云将在此基础上不断进行架构升级与技术创新,软硬结合,新旧并举,大幅提高运维效率,为用户提供更优质的公有云服务。

0
相关文章