云计算是以分布式资源管理技术、虚拟化技术等多种技术为依托,将服务器等硬件资源池化形成共享池,并按需提供计算、网络、存储等产品服务的综合性资源型基础设施服务平台。在历经多年的技术沉淀后,于2006年Google首席执行官在搜索引擎大会上首次提出“云计算”的概念,并在同年推出使用Xen虚拟化技术来提供的虚拟化实例服务,为最早的商业化云产品雏形。
云计算作为数字经济的底座,华为云、阿里云、腾讯云等云厂商整体处于第一梯队。2010年 Rackspace 和 NASA 公开Openstack 云架构,2008年阿里云开始孵化并在2009年飞天写下第一行代码,2010年华为云发布云操作系统 FusionSphere,同时腾讯云等也相继投入云计算的研究工作。我国云厂商历经10多年的发展,在技术创新、产品能力方面已经取得了长足的进步。目前,大型云数据中心正在向着新型数据中心演进,在数字转型、智能升级、融合创新等应用领域及政务云、行业云等非公有云领域发挥着巨大作用。
当前云平台在各个行业已有比较大的应用,本文从非专业角度,就华为云、阿里云、腾讯云等第一梯队云成员,做比较粗浅的介绍,抛砖引玉,促进交流,不当之处,敬请斧正。
课题主持:郑伟 某金融机构系统架构师 twt社区云平台领域专业委员
课题协作:社区互动委员:三虎
华为云
华为私有云基本信息介绍,包括解决方案名称、部署形式、一般网络规划、组件部署架构、云平台基本服务及整体架构及说明几部分,简述如下:
一、华为的私有云解决方案
华为私有云解决方案为 FusionCloud ,主要包含以下组件
( 1 ) FusionSphere :云套件(云操作系统)
( 2 ) ManageOne :云管平台
( 3 ) esight :监控平台
( 4 ) OceanStor BCManager :容灾组件
二、 FusionCloud 部署形式
FusionCloud 按照组网结构,部署可分为软件 SDN 部署、硬 SDN 部署和无 SDN 部署三种形式
举例:无 SDN 部署基本流程
一台基本管理节点:安装部署云操作系统
通过 CPS 确认其他节点的角色(计算、存储等)及另外两台基本管理节点(采用 3 基本管理节点方案)
通过 PXE 推送云操作系统部署到其他节点
通过 CPS 创建虚拟机并部署 ManageOne 服务
云平台 IaaS 安装部署完成
确认部署的其他 PaaS 层服务或云高阶服务
选择要部署服务控制台虚拟机运行的扩展管理节点
针对各 PaaS 服务,在管理节点上创建虚拟机并部署各服务管控功能
三、一般网络规划
四、云平台组件部署架构
基本组件部署架构如下:
基础管理节点:安装 OpenStack 控制节点、 ManageOne 、公共组件和基础云服务组件。
扩展管理节点:安装基础云服务以外的其他高阶云服务。
网络计算融合节点:安装软件 SDN 组件,提供 vRouter 、 ELB 、 EIP 、 VPN 、 NAT 网关等功能,同时也作为计算节点,为客户提供计算资源。
五、云平台基本服务及说明
六、私有云整体架构
华为私有云整体架构由基础设施层、资源池层、云服务层和管理层组成,如下图示:
( 1 )基础设施层包括构建数据中心所需的服务器、存储设备和网络设备,提供基于物理资源构建的虚拟计算、虚拟存储和虚拟网络资源池,并提供可直接使用的物理服务器资源;基础设施层可根据不同业务的需求,提供多种类型的硬件部署架构。
( 2 )资源池层以资源组合形式分为物理层、统一资源层和业务层。
物理层通常包括多个物理地域分布的数据中心;单个物理数据中心分为物理基础设施和物理基础架构;采用扁平化二层网络设计,将数据中心 IT 设备高速连接到一起。
统一资源池层包括统一的计算资源池、存储资源池和网络资源池;每种类型的资源池,都有实际的作用域。资源池的划分和底层物理设备位置无任何关联, FusionSphere 将物理分散的计算、存储、网络设备纳入逻辑统一资源池,供上层业务按需调度。
( 3 )云服务层作为云服务的管理及运营平台,主要包括服务自动化层、服务接入层及服务门户层。服务自动化层通过对资源池层 IaaS 、灾备资源的封装,实现云资源服务的发现、路由、编排、计量、接入等功能,显现从资源到服务的转换。服务接入层是云管理平台的对外呈现,分为用户门户及管理员门户。用户门户面向各部门的业务管理员等,管理员门户面向系统管理员等。用户可通过服务租户自助操作门户(服务 console )实现对服务的操作、使用、监控等生命周期管理。
( 4 )管理层分为运营管理和运维管理两部分。
运营管理,提供运营管理门户,提供对云服务的统一运营能力,提升运营操作的敏捷性,提升业务运营效率。运营管理门户除提供云服务申请和自助服务控制台外,支持包括 VDC 管理、租户管理、服务目录、服务控制台、计量等运营管理功能。
运维管理,提供运维管理门户,提供对虚拟资源和物理资源的统一运维能力,支持对多数据中心的统一运维管理,包括资源管理、告警管理、拓扑管理、性能管理以及统计报表等,提升运维操作效率。
腾讯云
腾讯专有云TCE 基本信息介绍,分为简介、主要特点、功能架构、技术架构及跨区域架构几个部分,简要介绍如下。
一、TCE介绍
腾讯专有云 (TCE) 为腾讯公有云的私有化企业版, 是智能时代的数据中心大脑 ;为新一代智能云系统管理数据中心的物理资源,提供智能调度和面向未来应用的多样性云服务框架 ,同时,TCE是一款能在智能时代满足企业数字化转型所需的一站式产品解决方案。
二、TCE主要特点
(1) IaaS:完全自主研发, 提供 弹性灵活的基础架构和 先进技术架构帮助客户摆脱IOE束缚 。
(2) PaaS:提供 专有云丰富的数据库、中间件 等服务。
(3) 安全:依托云的安全服务能力,提供数据多重保障, 满足行业监管和法律法规要求。
(4)核心技术自主研发:如腾讯自研云计算分布式 调度系统 Vstation,为云服务器的创建和生命周期管理提供了非常高效 。
(5) 使用自研操作系统:TencentOS是针对云场景研发的Linux 操作系 统,为云服务器实例中的应用程序提供高性能、安全可靠的运行环境。
(6) 兼容主要CPU和操作系统:TCE兼容鲲鹏、飞腾等芯片,兼容UOS等操 作系统,同时支持多种异构资源池的混合部署。
三、功能架构
(1)管理平台能力
用户管理、文档管理、策略管理、权限管理、资源管理、日志管理、监控管理等
(2)数据库能力
HTAP数据库TBase、分布式数据库TDSQL、监控日志、采集日志等
(3)中间件能力
Kafka消息队列、CMQ消息队列、Redis缓存管理、API网关、TSF微服务框架等
(4)安全能力
攻击威胁防护及 Web应用防火墙、主机安全防护、密钥管理和云加密机、堡垒机和数据安全审计、入侵防护和威胁检测等
(5)计算和存储能力
云服务器迁移故障查询及迁移、秒级启动、云硬盘集群管理、跨地域复制容灾、跨介质升级等
(6)网络能力
专线网关通道、负载均衡管理、证书管理、 EIP管理、SDN控制器等
三、 技术架构
技术架构说明:
前端接入:用户接入与权限管理,通过DNS、LB将用户请求分发到不同区域的控制台。
服务转发:云API根据租户选择,将操作请求转发到对应区域的云服务OSS控制组件。
服务控制:运行在容器中的云服务管控OSS组件,负责具体云服务操作调度,监控运维等。
支撑组件:TCE管控需要的支持服务,都统一运行在基础支撑集群中,在多中心主备或多活。
云服务:接收云服务OSS指令,在设备上执行最终资源分配和服务。
四、 跨区域架构
跨区域架构说明:
每个区域部署一套TCenter,区域内多可用区AZ共用一套管控平台。
任意管控平台可作为全局管理,通过API、Web纳管其他区域。
各区域同步管控数据库和账号,多数据中心多活容灾。
每个AZ部署一套DCOS作为代理宿主机管理服务器。
区域互联:跨区域互联网络
支撑组件:跨区域支撑平台
阿里云
一、简介
阿里专有云是基于阿里云分布式架构,与阿里云公共云同根同源,主要有如下特点。
1.资源弹性扩张
资源打通,将所有资源变成一台超级计算机,通过弹性扩容,使得成本、性能及稳定性达到最优。
2.敏捷的系统部署服务
通过 ACE云引擎,可快速部署业务系统,通过互联网化、微服务化,让企业快速实现创新。
3.超大规模
单区域部署节点超 1W台,满足超大规模业务量运行需求。
4.安全可靠
分层安全架构提供多层级、一体化安全防护服务及金融级别的容灾方案,保证系统高可靠和业务连续性。
二、云操作系统
阿里云平台基于阿里自主研发的 Apsara Stack架构,有别于常规O penStack 架构;主要功能集中在阿里云操作系统中;如下为阿里云操作系统主要组件及功能介绍。阿里云操作系统为取名飞天,是一个大规模分布式计算通用操作系统,包括飞天内核和飞天开放服务两大部分。
(a)飞天内核
负责管理数据中心Linux集群的物理资源,控制分布式程序运行, 隐藏下层故障恢复和数据冗余等细节,提供弹性计算和负载均衡;主要包括如下服务。
1.分布式底层服务
提供分布式环境所需要的协调服务、远程过程调用、安全管理和资源管理的服务。这些底层服务为上层的分布式文件系统、任务调度等模块提供支持。
(1)协调服务(女娲)
提供高可用的集群协调服务,是分布式应用的核心服务,主要作用是采用类似文件系统的树形命名空间来让分布式进程互相协同工作。
(2)远程过程调用(夸父)
分布式系统中,计算机之间只能通过消息交换的方式进行通信。显式消息通信手段为 Socket接口,隐式消息通信手段为远程过程调用(RPC)。夸父(Kuafu)是飞天平台内核中负责网络通信的模块,提供了RPC的接口,简化编写基于网络的分布式应用。
(3)安全管理(钟馗)
钟馗是飞天平台内核中负责安全管理的模块,提供了以用户为单位的身份认证和授权以及对集群数据资源和服务进行的访问控制。基于密钥机制对用户进行身份认证,基于权能机制对用户资源的访问控制进行授权。
2.分布式文件系统(盘古)
盘古是一个分布式文件系统,提供一个海量的、可靠的、可扩展的数据存储服务,将集群中各个节点的存储能力聚集起来,自动屏蔽软硬件故障,提供大规模、高可靠、高可用、高吞吐量和可扩展的存储服务,是飞天平台内核中的一个重要组成部分
3.资源管理和任务调度(伏羲)
伏羲是飞天平台内核中负责资源管理和任务调度的模块,同时也为应用开发提供了一套编程基础框架,支持强调响应速度的在线服务和强调处理数据吞吐量的离线任务。
(1)资源管理
负责调度和分配集群的存储、计算等资源给上层应用;管理运行在集群节点上任务的生命周期;在多用户运行环境中,支持计算额度、访问控制、作业优先级和资源抢占,在保证公平的前提下,达到有效地共享集群资源。
(2)任务调度
面向海量数据处理和大规模计算类型的复杂应用,提供了一个数据驱动的多级流水线并行计算框架,兼容 MapReduce、Map-Reduce-Merge等多种编程模式;自动检测故障和系统热点,重试失败任务,保证作业稳定可靠运行完成;具有高可扩展性,能够根据数据分布优化网络开销。
4.集群监控和部署
(1)集群监控(神农)
神农是飞天平台内核中负责信息收集、监控和诊断的模块。通过在每台物理机器上部署轻量级的信息采集模块,获取各个机器的操作系统与应用软件运行状态,监控集群中的故障,并通过分析引擎对整个飞天的运行状态进行评估。
(2)集群部署(大禹)
大禹是飞天内核中负责提供配置管理和部署的模块,它包括一套为集群的运维人员提供的完整工具集,功能涵盖了集群配置信息的集中管理、集群的自动化部署、集群的在线升级、集群扩容、集群缩容,以及为其他模块提供集群基本信息等。每个飞天模块的发布包都包含一个部署升级的描述文件,定义了该模块部署和升级的流程,提供给大禹使用。
(b)飞天开放服务
为用户应用程序提供计算和存储两接口和服务,包括如下服务。
1.弹性计算服务(ECS)
2.开放存储服务(OSS)
3.开放结构化数据服务(OTS)
4.关系型数据库服务(RDS)
5.开放数据处理服务(ODPS)
6 .云服务引擎 (ACE )
三、云系统架构图
物理层:包括用于云计算的物理机房、服务器、网络等硬件设备。
基础服务层:物理环境之上,为上层应用提供基础服务。
融合管控层:利用融合的管控架构,为上层应用或服务等提供统一的调度。
云服务与接口层:通过融合的服务节点管理,对虚拟机和物理机提供统一管理和运维;通过开放的 API管理平台,统一接口并支持定制化开发。
云平台统一管理层:提供统一的运营和运维管理入口。
四、专有云逻辑架构
专有云将物理服务器及网络设备以虚拟化技术池化为虚拟计算、分布式存储和软件定义网络三大能力,并在此基础上提供云计算、云存储、云数据库、数据处理、数据仓库、分布式中间件等云应用平台或产品。
五、专有云容灾架构
阿里云容灾方案是基于自身的云计算能力设计与开发的,可实现网络接入层双活,应用层双活,数据持久化层主备等功能;支持异地容灾、同城容灾,以及两地三中心容灾等模式 。
示例:云数据库RDS两地三中心容灾
两地指同城、异地,三中心是指生产中心、同城灾备中心、异地灾备中心。RDS在生产站点和灾备站点中独立部署;生产站点有两个机房,RDS在这两个机房中都是独立部署。生产站点的两个RDS实例分别为主RDS和从RDS,组成了同城容灾。生产站点和灾备站点之间组成异地容灾。
写在最后——恳请各位同行提供云服务使用切实感受
云平台为综合性平台,技术复杂,功能较多,下面从平台技术实现及云平台服务侧重点两方面说明一下各云平台比较直观简单的区别。
1、技术实现框架
三家云厂商技术架构实现框架基本相同,自研率都比较高;可能因各自云平台战略目标的不同,自研及开发侧重点不同。
基本框架:硬件设备-->云操作系统-->平台IAAS层-->云引擎-->PAAS服务层-->SAAS服务层
云操作系统环节主要作用为硬件的虚拟化、分布式调度及管理以及IAAS层服务的实现;虚拟化方面华为云和腾讯云采用KVM技术,分布式调度及管理如阿里的飞天系统及腾讯的V-Station分布式调度系统;云平台服务实现框架华为和腾讯分别基于OpenStack技术自研相关产品,如华为HCS和腾讯TStack ,阿里自研框架如 ApsaraStack 与OpenStack区别较大。
2、云服务侧重点
云平台基本能力方面,计算服务阿里云比较丰富;存储服务,都有经典的存储服务,阿里衍生产品较多;网络及安全服务,都有丰富的服务;中间件服务,都有经典的中间件服务,阿里衍生产品较多;数据库服务,均提供有关系型及非关系型、云原生及数据仓库等产品。SAAS层服务,阿里云及腾讯云较华为云丰富。