登录 / 注册
IT168云计算频道
IT168首页 > 云计算 > 云计算技术 > 正文

金融领域传统“小数据”处理模式优化

2016-12-19 10:25    it168网站原创  作者: 厂商投稿 编辑: 张苗苗

  【IT168 云计算】12月8-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司、CSDN共同协办的BDTC2016中国大数据技术大会在北京新云南皇冠假日酒盛大举行。在金融大数据论坛上,中科天玑大数据平台事业部总经理、中科院计算所副研究员张敬亮登台亮相,发表了题为《金融领域传统“小数据”处理模式优化》的演讲。张敬亮认为与互联网行业不同,传统行业尤其是金融领域对“小数据”的处理才是关键。

  张敬亮博士在分布式系统、集群存储、云计算等方向拥有10余年的从业经验,在海量数据存储、MPP数仓、敏捷BI、探索式建模、分布式数据挖掘及计算框架等诸多领域颇有建树,目前主要从事中科天玑大数据产品在传统行业的落地及数据驱动的业务模式创新。

  作为中国工程院院士李国杰的学生,张敬亮对“小数据”有着深刻的认识和理解。张敬亮认为,以Hadoop生态为代表的大数据技术以互联网起家。虽然互联网数据覆盖各行各业,但是很多核心数据还是从传统的小数据而来,所以对小数据的处理非常关键。与互联网数据相比,传统行业的数据,体量小、积累慢、结构强、侧重于结果描述、价值更高。金融、能源、政府、医疗、教育、交通、制造业等传统行业,其核心数据依然是以结构化关系型数据为主体的“小数据”。

金融领域传统“小数据”处理模式优化

  张敬亮认为,目前市场上针对结构化数据处理的产品,很多形态都是软硬件解耦,投资成本极高。而传统分布式数据库及新兴的SQL@Hadoop技术体系,在解决结构化数据问题时虽各有擅长,但都无法同时满足其对高扩展能力与标准兼容的要求。

金融领域传统“小数据”处理模式优化

  目前中科天玑在大数据领域主要针对方向是对行业技术平台的落地。针对市场上现存的大多数数据库无法满足行业需求的现状,中科天玑自主研发了MPP数仓DSQL,通过创新性的P2P架构来支持计算存储全并发,结合开放式执行框架可实现应用逻辑下推分载,实现了类Hadoop的规模性能扩展。同时通过轻量级编译适配技术,高效解决了对传统SQL及存储过程的兼容,有效支持程序利旧和团队复用,很好地适应了目前大数据在银行金融领域的转型和探索。

金融领域传统“小数据”处理模式优化

  在数仓平台之上,用户的痛点是分析报表。如何保障实时调取所需数据,在统计分析技术上结合深度分析,敏捷部署快速上线,让报表结果真正闭环到业务流程是目前普遍存在的难题。针对以上问题,基于高性能MPP数仓,中科天玑开发出了“统一自助式分析平台”, 融合了动态报表及敏捷BI系统Golaxy aBI系统与深度建模分析系统Golaxy DiD,可协助用户进行可视化建模,并实现动态按需生成维度报表。通过结合传统多维分析及深度挖掘手段,可实现一线业务人员对数据的实时“把玩”,从而将用户业务知识与时效数据有效结合,并将分析价值闭环到业务流程,最终实现从数据输入到价值变现的最短路径。

金融领域传统“小数据”处理模式优化

  据张敬亮介绍,中科天玑联合亚联创新集团旗下数美威讯公司推出了一款专门面向金融领域的大数据整体解决方案——新型混合数仓及一站式分析引擎,融合了小数据处理的核心—数仓和报表分析系统。通过此一站式信息平台,用户可做自助式的多维度分析和数据挖掘。目前中科天玑已经与多家国家商业银行及金融机构达成战略合作关系。

金融领域传统“小数据”处理模式优化

  中科天玑与数朗科创合作为银联数据搭建的信用卡实时反欺诈系统,通过创新性全分布P2P架构来支持计算与存储的完全并发,同时结合开放式执行框架可有效实现应用逻辑下推分载,实现了类Hadoop的规模及性能扩展,解决了多源复杂数据处理与底层多种复杂文本分析的技术难题。该方案基于中科天玑大数据平台,可以实现全量历史数据验证;采用中文模糊匹配技术,可以实现多数据源间的地址比对、黑灰白名单检查、多源数据源公司名称模糊比对;帮助银联数据防范80%以上的申请欺诈。在账管系统上,相较Oracle的平台方案,该方案的数据扩展性更强,性能相较之前提升20倍以上。通过该系统,银联数据可以更好地为不同银行提供服务。

金融领域传统“小数据”处理模式优化

  在人工智能、自然语言理解、机器学习等智能化处理技术方面,中科天玑也有很多积累和行业实践,尤其是金融领域的大数据服务保障。中科天玑为互联网金融平台搭建的风险预警模型,融合了合规性、倾向性、运营健康度、资质等多维度信息,并按照地域进行整体风险评估,为国家有关部门提供预警和建议。此外,在集团性客服及呼叫中心领域,用户通过采用中科天玑的情感分析引擎和主题分析引擎,对客户意见进行归集和情感打分,为客服绩效考核和产品优化提供了重要参考依据。

  最后,需要提醒大家的是,数据带来的不仅是技术的变革,更多的是思维方式的转变。传统企业必须要改变原有的思维模式,尝试以数据驱动业务,从融合数据里发现新价值,从而创新出新的业务模式。

标签: 大数据
相关文章
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫码送文库金币

编辑推荐
系统架构师大会
系统架构师大会
点击或扫描关注
IT168企业级微信关注送礼
IT168企业级微信关注送礼
扫描关注
首页 评论 返回顶部