大数据产业腾飞 基础设施需先行
迈入数字化的时代,数据正在成为企业乃至国家的核心竞争力。在大数据的驱动下,各行各业的数字化转型也在如火如荼的进行之中。特别是近几年来,随着国家各项大数据相关政策的陆续出台,大数据正在上升为国家战略。
作为一种新兴的经济形态,近年来大数据产业在行业创新应用、产业发展等方面进行了诸多探索与实践。而与此同时,想要真正挖掘大数据的红利、充分利用享受大数据优势,还需要对大数据产业发展中的诸多关键技术等进行突破与创新。云计算、软件定义网络、开放数据中心、人工智能等众多基础设施技术构成的大数据基础设施的发展与建设,便是其中重要一环。
近日,大数据基础设施认知RONG论坛暨大数据基础设施研究中心成立仪式在清华大学FIT楼成功举行。在当天的会议上,清华大学数据科学研究院与北京龙腾佳讯科技股份公司签署了共建清华大学数据科学研究院大数据基础设施研究中心(以下简称“中心”)的合作协议。论坛环节UC伯克利大学教授宋晓东、中心主任徐葳、中证资本市场运行统计监测中心总监李刚先后进行了主题演讲,分享了对大数据基础设施的理解、需求和认知。
清华大学数据科学研究院韩亦舜常务副院长介绍,此项合作是清华大学数据科学研究院打造“问题引导”型学术研究的尝试,旨在以大数据产业分布式数据中心的优化运营为核心应用场景,为数据挖掘的科学研究与产业应用提供一系列高效率、高可用和高度智能化的数据产业支撑性生产实验环境、软硬件产品、服务和运营体系。
大数据基础设施对于整个大数据产业而言起着十分重要的支撑作用。据中心主任徐葳介绍:大数据基础设施包含数据中心设计、网络、计算存储硬件、以及相应的管理软件和运维等等。此外,对于终端用户来说,诸如大数据处理平台系统、深度学习软硬件框架、数据安全方案等一系列帮助其快速满足业务需求的软件平台,也包含在大数据基础设施之中。
随着人工智能时代的到来,对大数据而言,基础架构也产生了新的需求,值得关注。徐葳表示:在新的时代,对大数据基础架构的新需求包括:对深度学习的支持,需要异构的架构;支持物联网、虚拟现实应用,需要云+端的方案,以及网络边缘的中小数据中心与云的协同等;运维和开发人员成本上升,也需要重新考虑软硬件容错与软件开发和运维复杂度的关系。其次,网络、尤其是广域网和边缘网络的瓶颈效应越发明显,这就需要网络和数据中心一体化的设计。“总而言之,我们需要从高端数据科学家到运维人员的多层次,多种背景的人才。对数据垄断、隐私、数据安全的担忧,需要集成更好的安全方案。”徐葳说道。
在大数据产业发展中有关基础设施的需求和问题的解决,离不开大规模的社会化实践与经验相结合。中心副主任赵强表示:“大数据是一个复合型专业方向,与大数据相关的行业场景正在慢慢出现,这就需要到生产环境中寻找数据、寻找更优的架构、解决实际问题的方案。研究和一线的生产试验不结合在一起,永远都是纸上谈兵。协同跨界也正是大数据基础设施研究中心所要采取的研究方式。”
在赵强看来,大数据中心数量非常之多,尽管每个行业的大数据中心对于计算存储传输需求都不尽相同,但在底层却有很多共性的东西。“比如每个行业大数据中心都有相对软性的如知识图谱这样的工作要进行,但这却是很多企业是不愿意去做的。知识图谱对于一个行业而言非常重要,画出知识图谱后,大数据才有一个背后的辞典,才能够让计算机使用这个语义辞典进行识别。当知识图谱可以通过这样的科研项目打下基础之后,就可以支持各个行业的大数据应用。”赵强说道。
各方专家表示,中心将在大数据计算架构、云计算、软件定义网络、开放计算项目以及人工智能知识图谱等领域展开研究,为校内院系和研究机构提供大数据基础设施支撑和研究能力,积极开展与相关开源社区的交流与合作,并尝试引进各个方向上的产业界高端人才,培养多层次数据专业人才,实现技术整合、工程实践、标准发布、服务设计与共识推广。赵强对此次合作提出了期望:“大数据基础设施建设必须面向行业、产业去做。我们希望得到产业里最真实的一线需求,也需要把最新的成果真正部署到生产中去。大数据是研究应用的学问,龙腾佳讯为我们提供了真实的生产环境和问题,中心也希望有更多的一线架构师将他们的问题进行反馈,与我们的研究融合起来,得到真正有用的研究成果。”
谈到此次合作时,中心主任徐葳表示:“龙腾佳讯具有丰富的边缘数据中心设计、部署和运维的经验。公司开发了许多基于软件定义网络等新型方案,与我们的研究思路比较相近。龙腾佳讯也积极支持科研平台的建设,支持我们建设了广域网分布式实验环境,对新的云+边缘模式的科研是个重要的促进。”龙腾佳讯董事长曾光在当天的仪式上表示:“对于产业而言,一些类似大数据基础设施这样看不到的工作已经成为整个产业的瓶颈,我们需要做的是优化工具、调整视角,同时也找到更多商业机会。一个新的概念的提出,认知二字非常重要。龙腾佳讯愿意做好第一个吃螃蟹的人。如果研究院是灯塔的话,我们愿成为合格的领航员。”
放眼未来,大数据正在成为推动企业数字化转型的新动力,也正成为增强国家综合竞争力的新力量。做好大数据基础设施的研究与建设,无疑将对整个大数据产业的发展提供新机遇和新途径。我们期待此次清华大学大数据基础设施研究中心的成立,为大数据产业的教学和科研、以及大数据的社会服务标准和方案提供支持,助力大数据产业的健康快速发展。