云计算·大数据 频道

大数据并没有死,只不过你已经不认识它了

  去年年初,Jordan Tigani发表了一个演讲《Big data is dead》,这个演讲引发了不少争论。如果是别人谈这件事,可能很多人会不以为然,不过了解Jordan Tigani的履历的人可能就得在脑子里多转几个弯了。

  这哥们可不是一般人,曾经是谷歌BigQuery项目的第一批程序员,写过几本大数据的书,又是利用DuckDB开展大数据云服务的服务商的联合创始人。妥妥的根正苗红的大数据前辈,连这种浓眉大眼的人都叛变了,难道大数据真的快死翘翘了吗?

  对于大数据方面的观点,我一直是有些滞后于主流观点的。当大家认为大数据会颠覆关系型数据库的时候,我十分固执的认为这件事不会发生。当然涉及到自己的饭碗,固执己见是必然的。而当现在很多人在唱衰大数据的时候,我依然不以为然。因为大数据无需唱衰,大数据已经融入了社会生活。当我们跳入水里的时候会有所感知,但是我们会感知我们走入了空气中吗?不会,因为我们一直存在与空气中。大数据也是如此,当我们融入大数据的时候,大数据的关注度就降低了,我们无需感知它的存在了。

  当我们每天开车上班的时候,大数据在为我们选择出行方式与行车路径;当我们在地铁上遗失了贵重物品的时候,大数据帮我们很快追踪到失物的踪迹;大数据会让气象预报以小时为单位发布,并且能够比较准确的预测到15天甚至更远的大致情况;大数据能帮助税务部门发现某些人在十年前的税务违规,能够帮助海关发现潜在的走私行为;而当我们打开抖音的时候,总是能刷到自己喜欢类型的小姐姐。这一切的背后都是大数据和大数据处理。大数据不是死了,而是进化了,进化得让我们不需要感知到它的存在了,因为它的幽灵已经无处不在了。

  不谈大数据到底是不是已经成为了我们的空气,单单就Jordan的那个演讲来看,似乎观点也不大靠谱,这篇演讲稿里充满了浓厚的商业气息,妥妥的是作为一个CPO(首席产品官)而不是一个CTO在演讲。离开了谷歌BigQuery后,从事的业务变了,立场也就变了。其中的一些主要观点都存在一些偏颇的地方。

  去年3月份,在Jordan发表演讲后不就,加州伯克利的数据科学家Aditya Parameswaran撰写了一篇长文,对Jordan的一些存在错误的关键点进行了一一分析。Aditya也不是无名之辈,他发起的Ponder目前已经被SnowFlake收购。相对而言,我还是比较认同Aditya的观点的,有兴趣的朋友可以仔细阅读一下他的文章(https://ponder.io/big-data-is-dead-long-live-big-data/),具体的观点我就不在这里多啰嗦了。

  2021年我曾经去参观过一个智能工厂,用2000多个机械臂替代了以前的2000名工人。当时他们的车间主管说支撑这个工厂的数据库每天会产生一个TB的数据,这些数据需要用比较便宜一点的存储设备长期保存起来。对这些数据的分析可以帮他们发现机器人参数中存在的问题,从而优化这些参数,进一步提高良品率。这些数据的价值是巨大的,刚开始的时候他们并不了解这些数据的用途,一般保留几天后就会自动删除。自从一个高校和他们的科研项目开展起来后,他们才发现这些数据的价值,于是他们立即投资建设了数据归档系统。Jordan的演讲中认为历史数据访问频率不高,利用价值不大 ,只是不知道如何删除它才会被错误的长期保存,这种对数据价值的描述明显是错误的。

  实际上我们在做智能化运维系统的时候也经常发现,因为缺乏历史数据,某些算法的应用和研究往往就无法进行。前些年构建运维知识图谱的时候,有位客户拿出了压箱底的10年积累的故障案例,我们如获至宝,不过这项工作并没有顺利的进行下去,因为他们只保留了日志文件和当时的分析报告,缺乏大量的指标数据,因此很难用于建模。

  “计算需求不会随着时间的推移而保持不变,因为日常工作负载的需求会有所不同,数据大小和计算维度的灵活性是关键”,上述Aditya的观点正好与我上面所说的例子吻合。当我们需要某种计算的时候,经常会发现数据的不足。

  大数据的计算与应用需求来自于业务,一些感觉大数据是忽悠的朋友,可能是因为企业上大数据项目的时候只是为了赶时髦,而并不是真实的需求而已。不过不要紧,计算需求会随着时间推移而变化的,随着企业数字化转型的发展,你也许会在未来看到这些大数据的价值的。

  我们今天所说的大数据处理早已经不是2004年谷歌发表那几篇论文时代的大数据处理了。正如大数据兴起时,Nosql能颠覆RDBMS的革命正如我所期望的那样并没有发生,如今我们对大数据有了更丰富的处理方式。大量的SQL ON HADOOP技术的出现,数据湖、实时数仓、湖仓一体、HTAP等技术的出现与演进,让大数据的处理变得更加简单了。硬件技术的发展也让单机集中式数据库的处理能力飞速提升。关系型数据库也能够处理大数据了。

  随着大语言模型的高速发展(大语言模型实际上也是大数据的产物),AI4BI的发展也在发生质变。融合计算也日益被公众所接受,文档处理不再是MongoDB的专利,Oracle 23c中已经十分成功的将向量计算、图计算、文档处理与传统的关系型数据处理融为一体。融合计算会让大数据处理更加高效,大数据应用的成本更加低廉,这只会加快大数据价值的增值,而绝不会让大数据死亡。

  数据已经快成为与土地、劳动力、技术、资本并列成为第五生产要素了,这时候唱衰大数据的行为大多数只是一些商业的炒作而已。想给大数据烧纸的朋友可能要当心了,大数据的一丝游魂已经进化成了人工智能CHATGPT,而它据说已经进军殡葬业,今后谁会给谁烧纸还真不好说啊。

0
相关文章