大数据时代湖仓一体三种建设形态

一、仓、湖并行建设阶段；
仓、湖各各独立建设，形成数据孤岛，数据协同性差；
二、湖在下，仓在上立体建设模式；
1、湖来承载仓的贴源层和基础层；仓聚焦在共性加工层及集市层；
2、湖来承载半结构化数据和非结构化数据；
带来的问题是：数据搬迁成本高；
三、湖内建仓方式；
云原生时代，尽量少搬迁数据，以hudi、iceburg为代表的新型表格式可以跨对象存储、文件存储来统一存储层，不搬迁数据，虽然性能不太好，但是是趋势；
计算层根据场景选择适合的计算引擎；
技术架构从存算一体变成了存算分离架构，通过缓存加速来极大程度降低性能损耗；计算层可以以弹性的方式自动伸缩，成本代价低，也符合高质量发展的时代要求；

声音（1）评价（0）

正序 | 倒序