登录 / 注册
IT168云计算频道
IT168首页 > 云计算 > 云计算厂商动态 > 正文

人民在线,混合云架构下的业务进阶之路

2016-12-12 14:15    厂商稿 来源:厂商稿  作者: 厂商投稿 编辑: 信雪蕊

  一、 项目背景

  作为人民网控股的公司,北京人民在线网络有限公司与人民网舆情监测室一个机构、两块牌子,是国内最早从事网络舆情与新媒体生态研究的专业机构之一,在大数据时代的舆情监测、管理、应对以及人才培养等方面都处于国内领先地位,有很高的社会知名度、影响力和美誉度。

  随着移动互联网快速增长,人民在线的舆情监测业务呈快速上升、蓬勃发展趋势。截止2015年底,在线运营的各类舆情应用系统已超过200个,并且持续以每月6至10个新系统上线的速度增加,服务客户覆盖金融、证券、能源、电信、医药、交通、教育等行业以及纪委、地方政府等行政管理部门。然而,由于前期投入不足,技术积累不够及数据量的爆发式增长(超过5PB数据,2000+服务实例),人民在线当前技术平台半人工式运作的无力性问题已越来越突显,已经成为业务发展的掣肘!人民在线领导在2015年12月份就下定决心,一定要借助云计算的技术力量,给人民在线业务腾飞插上一双有力的翅膀!

  二、 用户需求痛点

  人民在线舆情检测技术平台构建于2012年,属于传统的应用孤岛式数据中心模型,随着业务规模增长,逐步暴露出财务效率低(一次性投入大、资源分配与业务发展不匹配、资源利用不均衡、现有投资无法达到最优化的利用)、人员效率低(业务管理人工参与程度高、自动化程度低)、业务效率低(新业务部署难度增大、现有业务持续性得不到保证、安全面临威胁)的问题,已影响到人民在线的客户服务水平和能力,同时也成为制约公司未来业务发展的重要因素。

  三、 解决方案

  基于人民在线的业务模式和痛点,结合云计算和大数据方面的国际领先技术和产品,人民在线采用了一整套的云计算+大数据解决方案,核心是其基于OpenStack构建的场景化混合云2.0解决方案。通过采用开放的OpenStack框架,融合计算虚拟化、存储虚拟化、SDN/NFV等技术,辅以业界领先的PaaS基础层服务,实现基础架构资源的按需供应、弹性支撑,从而满足不同应用灵活的性能需求, 从而达到提升财务效率、人员效率、业务效率的目的。

  3.1 概括介绍

  通过一期项目建设,混合云集群总共涵盖80台顶配物理服务器,交换机设备24台,防火墙设备2台。可以提供1600+物理计算核心、16TB物理内存、160TB以上 SSD高效存储、480TB 以上SAS硬盘存储。整个物理集群使用万兆网络实现云服务器内部、外部通信和数据传输。

  其他一些细节如下:

  * 机房网络设计兼容扩展性、高可用及安全性;

  * OpenStack控制节点 3台,计算节点77台;

  * 采用kvm虚拟化技术,Ceph分布式文件系统作为存储支撑,提供rds, lb,vpn,对象存储等IaaS基础服务;

  * 全部组件无单点,尤其实现业界少有的虚拟机ha功能、drs功能;

  * 根据业务特性划分管理网络、数据网络、存储网络,全部万兆;

  * 根据业务特色采用vlan + 硬件三层的网络方案,实现性能和隔离、灵活性的平衡;

  * 完整的安全体系:抗DDos、waf、防火墙及安全组、公钥等,保证用户业务的安全可靠;

  * 采用业界领先的PaaS基础层服务,涵盖:基础运维、业务运维、云监控及服务管理等;

  * 支持物理机的管理功能,包括:重启、监控、重装等。

  3.2 平台架构

  3.2.1 业务规模

  经过不断调整与优化,混合云平台稳定性和性能指标已经完全满足生产环境要求。当前,混合云平台运行了超过2000+虚拟服务器实例,作为人民在线的生产环境,承载了通用舆情监测、在线课堂、旅游咨询等60%业务量。部署的系统包括:

  在线类服务

  消息队列MQ、分布式缓存Redis、搜索引擎Solr、MySQL数据库、各类Web前端应用等。

  离线类业务

  分布式网络爬虫、日志处理分析ELK、流式计算Storm、语义分析业务等

  每天有5000多万条网页信息被实时地采集、处理、分析、存储和索引,数据总规模已达到30亿。这些Web应用产品与服务每天要处理上百万的查询请求与数据访问,高峰期经常超过5000QPS。

  在上云过程中:

  对原有应用系统进行升级改造,优化网络组织结构、提高系统安全性和可靠性,更好支持现有应用系统和业务发展需求;

  以构建模块化小规模云计算应用为起点,实现计算资源平台根据业务需求动态扩展,为新业务和业务的可持续发展提供保障;

  建立统一的云管理平台,实现对基础设施、IT设备等资源进行动态调度和自动管控,简化管理,提高运营效率,降低运营成本;

  部署了完整的舆情系统应用体系、灾备体系,提供高并发和大数据业务服务能力;

  运行海量数据采集集群,负责采集新闻、论坛、微博、微信等大数据舆情信息;

  部署大规模存储集群,用于存储所有的历史数据,包括文本、图片和视频等信息。

  方案亮点:

  大规模生产环境应用

  国内为数不多的在生产环境大规模应用的混合云案例,支持虚拟机实例3000+,支持各类在线业务、离线业务20+种,业务实例2000+,处理数据量5PB+, 承载人民在线60%的业务量。在业务上云、运行调优过程中,积累了大量的云落地与生产经验。

  2. 产生价值大

  业务上云,人民在线实现了从半人工业务平台到全自动化的舆情云的转变,实现财务效率、

  人员效率、业务效率的大幅提升。据统计,实现人力成本降低35%,业务效率实现10倍的提升,资源效率提升26%。

  3. 业务契合度高

  人民在线私有云平台进行了大量的结合业务的优化,实现客户业务与基础架构的完美融合:

  1) 使用自动化部署工具实现云平台的平滑、智能扩容,满足人民在线对于计算资源快速和弹性的扩展的需求;

  2) 针对人民在线业务海量数据的难题,采用分布式存储系统Ceph, 满足舆情系统面监海量的数据存储需求,实现海量数据存储动态扩容,有效的帮助人民在线解决了大数据的存储难题;

   提供丰富的监控和自动化运维服务。提供实时的物理监控和云监控服务,并提供实时化故障告警,精准掌控业务和各个云产品健康状况。平台自动化运维服务提供了一整套自动化工具链,能够帮助人民在线针对系统运维、业务运维及研发工程师等不同角色,提供自动化工具,同时可实现在线系统登陆的集中管理及操作审计,使被入侵概率有效降低至少10%以上。

  4) 云平台提供RESTful的大数据相关应用接口,用于管理、存储和大数据分析;

  5) 匹配业务的网络设计、安全体系、操作系统内核调优等,比如:针对流处理storm系统,分别在二层网络划分、安全acl规则设定、操作系统内核参数调优、jvm参数调优等方面进行了特殊优化;

  6) 支持动态调整挖掘算法中的参数,可以随时通过仪表盘查看、调整处理过程;

  7) 数据处理过程中,可根据不同加密措施对数据进行保护;

  四、 客户价值

  人民在线私有云平台投入运行以来,在提高运维效率、降低技术成本等方面带来了改变,实现人力

  成本降低35%,业务效率实现10倍的提升,资源效率提升26%,管理效率达到5倍的提升。具体体现在:

  ⑴ 云管理平台提供了快速创建、部署计算与存储节点的工具。实际应用中,可以在几小时内完成上百台虚拟服务器的申请、安装,快速构建所需基础环境,极大地提高了工作效率、降低了大量人为操作的失误风险,让运维人员有时间和精力关注运维质量的提升方面。

  ⑵ 私有云平台具有弹性资源分配能力,减少了每年频繁采购和集成机房硬件设备的投入成本,提升了资源的利用率和复用率。

  ⑶ 缩短了新系统新产品的上线周期。例如慕课产品,从决定系统上线到分配资源、部署、调试、正式发布,只用了不到半天时间。

  ⑷ 私有云平台使用Zabbix负责监控物理机、操作系统、虚拟机、网络等云基础资源和服务;使用Nagios、Cacti监控云服务器上各应用系统;各种状态尽在掌握。

  ⑸使用私有云提供的安全组策略,创建了基础网络区、Web应用区、数据存储区、分析计算区、开发测试区等;通过严格限制各区域服务器间的相互访问,提高了应用与数据安全,从没有发生过由于越权访问而造成的安全事故。

标签: Openstack
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐
首页 评论 返回顶部