|
近日，中国地震台网中心与火山引擎达成合作，双方将围绕ByteHouse实时数仓展开合作。中国地震台网中心为中国地震局直属事业单位，是我国防震减灾工作的重要业务枢纽、核心技术平台和基础信息国际交流的重要窗口;从事地震监测、预报预警、应急响应和信息化工作，是统一指导省地震台、中心站业务的国家地震台。中国地震台网中心地球物理台网部负责人邹锐主任表示，此前中心一直使用开源数据引擎ClickHouse，但随着数据量不断扩大，在数据的实时写入去重，数据的更新、删除以及集群运维方面存在严重不足，因此亟需找到新的解决方案。如何在保持高性能查询的情况下完成数据的实时写入去重数据更新以及删除，一直是ClickHouse用户比较头疼的问题。以中国地震台网中心为例，中心日常在处理海量数据时，由于开源Clickhouse的去重延迟导致数据的准确性降低，同时随着元数据的不断增长，导致集群的重启时间过长，进而影响业务的时效性。字节跳动在2017年就开始大规模启用ClickHouse，并拥有着国内规模最大的ClickHouse集群。在深度使用的过程中，字节跳动积累了大量经验，并对ClickHouse做了深度优化与自研改造的工作，最终在2021年8月正式发布ByteHouse，并通过火山引擎对外服务。架构上，火山引擎ByteHouse采用自研的高可用引擎HaEngine，数据实时更新、删除的HaUnique引擎，以及高可用实时写入的HaKafka引擎，同时在集群的运维和多表关联的场景都做了相应的增强。在上述提到的实时数仓场景下，ByteHouse使用全自研的优化，在复杂查询的场景下具备更高的查询效能，丰富的表引擎不仅能帮助地震台网中心实现数据的快速写入去重、更新、删除与分析，还能支持高效方便的运维方式，实现高性能更灵活的实时查询。作为一款云原生数据仓库，火山引擎ByteHouse也可以私有化部署，为像中国地震台网中心等面临海量数据实时分析场景的政企用户们，带来极速的分析体验，助力企业数字化转型。(作者：马梓) |
打印本文 
关闭窗口