|
9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云Stack，使能政企从业务上云到云上创新”专题演讲中，清华大学软件学院院长、大数据系统软件国家工程实验室执行主任王建民教授，发表“清华大学携手华为云FusionInsight共筑软件创新体系”演讲。大数据作为一种新型战略资源，在今年来随着其逐步进入生产系统，已改变人们传统认知。同时，大数据的创新模式则离不开开源，近几年人们已不再满足于简单地修改开源大数据软件，在中国，已陆续诞生一批优秀的开源大数据软件项目和商用大数据解决方案，我国已不仅是全球开源软件生态的重要参与方，众多软件创新者在向引领者转变，并成为全球开源生态所不可或缺的贡献力量。清华大学软件团队在大数据软件技术和应用方面持续创新，积极在开源软件持续贡献;同时，清华大学携手华为云Stack的FusionInsight智能数据湖团队，持续探索商业化的软件创新模式。首先在开源方面，王建民教授认为对高校大数据研究和创新有着三大好处：1)开源是高校对外进行技术输出的一种有效手段。开源可以让新一代软件人接触到来自现实应用中的真实需求，能培养他们在学校里难以学到的大数据软件开发技能。开源也是一种对世界、对人类的一种无私的回馈，也是对高校师生奉献精神的重要培养渠道。2)开源是一个重要的软件工程培训环境。在清华大学软件学院，鼓励学生和教授为开源软件做出贡献。自2018年起，清华大学软件学院在学生奖学金的评定标准当中，不仅强调论文发表，还考察学生对开源项目的贡献。3)开源是将科研成果溢价的有效手段。在实践方面，清华大学软件学院从2011年开始筹备，2015年正式启动工业物联网时序数据库开发项目。至2019年，该项目正式成为Apache的顶级项目，即IoTDB。今年，在最新的ASF年报上，IoTDB的代码提交活跃度，在Apache基金会351个项目中排名第七。近年来，清华大学和华为云FusionInsight团队以Apache IoTDB开源组件为基础，开始一种新型的、基于开源社区的产、学、研合作模式，正是这种开源与开源的合作、开源和商业的碰撞，以及对工业时序数据库软件的期待，双方最终成功在华为云FusionInsight 8.1.0版本的MRS云原生数据湖服务中完成IoTDB商用版本开发和集成，进一步完善了MRS三湖一集市能力，为工业海量时序数据分析提供企业级的时序数据库。IoTDB时序数据库聚焦海量时序数据的处理，具有“专、快、稳、省、易”五大特点，轻松应对海量时间序列数据的处理，一套引擎打通云边端时序数据分析。专：IoTDB总结了过去十年来在工业应用中遇到的典型需求，解决了传统数据库和列式数据库在超大规模复杂时序场景存在功能短板和性能瓶颈的问题，适用于如千万级超大规模测点处理、乱序处理、多序列对齐、序列分割、子序列匹配、旋转门压缩、降采样存储等专业场景。而且针对工业物联网时序分析场景，设计了TsFile专业时序存储格式和tLSM时序处理算法，弥补了传统方案的功能短板和性能瓶颈;快：时序数据库面临数据采集频率高，每秒上万次采集，数据存储周期长，时间跨度大的现状，IoTDB可实现单台服务器千万级数据秒级写入，十亿量级数据毫秒级聚合检索;稳：工业级的时序数据库，需要具备高可用特征，才能达到商用要求，IoTDB通过创新算法研究，采用对等分布式架构、双层多Raft协议、边云节点同步双活等机制实现高可用，保障工业物联网7*24小时的零故障运行;省：工业海量时序数据库的存储成本往往随数据量指数级增长，IoTDB提供了高压缩比算法，包括有损压缩和无损压缩，针对不同场景可以自动识别，降低海量时序数据的存储成本;易：易用性是成熟的商用软件产品基础特征，IoTDB采用类SQL，降低客户使用门槛，为客户打造集查询、存储、分析为一体的工业时序数据解决方案。目前，IoTDB已在交通、制造等众多工业级时序数据分析应用中落地。在IoTDB商用过程中，清华大学软件学院持续与华为云FusionInsight团队，通过组织与企业，人员与人员，代码和代码的丝丝相扣，实现IoTDB时序数据库在FusionInsight8.1.0新版本中正式商用。正是这种企业和高校，在代码开发中面对面，开发者和研究者深入交流，才会形成软件创新的一个正向循环;通过形成的开源项目，将技术与产品贡献给客户使用，不仅实现技术的应用落地，而且从客户那里不断打磨产品，这将又形成一个正向循环。“独行快，众行远”，正是这种环环相扣的正向循环，促使企业、客户、高校多方共同受益，进一步让清华大学和华为云FusionInsight团队，在中国大数据软件创新之路上越走越远。未来，清华大学大数据软件团队携手华为云FusionInsight，持续聚焦工业大数据软件，在国家特色化、示范性软件学院旗帜的引领下，加强建设中国高校大数据人才高地，让大数据人才“学以致其道”，让华为云大数据“算以致其用”，通过持续技术创新，为大数据软件产业蓬勃发展，贡献源源不断的能量，最终服务于国家大数据战略。 |
打印本文 
关闭窗口