随着互联网和物联网的快速发展,实时数据分析应用的业务需求量日益增长,例如实时推荐、实时风控、实时监测、精准营销等,数据实时处理能力成为企业提升竞争力的一大因素。华为云GaussDB(DWS)实时数仓提供即开即用、可扩展且完全托管的分析型数据仓库服务,支撑高并发高性能实时数据分析。4月8日,在华为云TechWave全球技术峰会数据使能分论坛上,GaussDB(DWS)技术专家详谈实时数仓黑科技。
GaussDB(DWS)实时数据分析技术架构基于企业级内核,采用统一SQL引擎,多引擎协同,实现数据体系内自闭环,从而达到一份数据多个引擎调用,高效多维度分析。依据流数据和时序数据特征打造出从优化器、执行器到存储的全系列、高性能、可扩展的实时数仓,提供四大技术创新:
1.CEP引擎告别T+1模式
改变传统数据先入库再查询的分析模式,CEP引擎提供流计算能力:数据先计算分析,并实时反馈计算结果,计算结果可以继续进行下一步计算或者保存,大大降低了数据处理时延。
2.1=N:GaussDB(DWS)实时数仓=Flink/SparkStreaming+Druid+InfluxDB……
国内首创在同一套系统内实现流和时序数据的处理和预聚合操作,减少数据跨系统间迁移,降低冗余存储和加载时间,最大化的利用系统缓存,提高处理效率。
3.预置丰富时序、流处理函数,一切皆SQL
采用最简洁高效的数据开发语言SQL,并预置丰富的时序和流处理函数,通过SQL即可完成复杂流式计算,可实现亿级数据,秒级聚合,极大简化应用开发。
4.高达40:1的压缩比,极大节约存储成本
通过自适应压缩算法,充分利用行列混合存储+时序数据专用压缩算法优势,实现低时延查询和高效存储。
技术专家还分享了实时智能监控平台的实践,传统数据仓库单节点入口性能和散列度存在瓶颈,GaussDB(DWS)实时数仓单节点入库性能超过10w/s,支持千万级散列度计算,彻底解决时序数据和流数据“装不进”和“算不动”的问题。
目前GaussDB(DWS)实时数仓已经正式发布公测。华为云GaussDB(DWS)实时数仓仍将不断迭代优化,为企业用户提供更强大的实时数据分析能力。