一文入门大数据准流式计算引擎 Spark【万字详解,全网最新】

Spark 发展、特点、概述,三大组件:Spark Core、Saprk SQL、Spark Streaming,RDD 算子、RDD 转换和行动操作、RDD 持久化和缓存、检查点机制、宽窄依赖、DAG、Stage,Spark、SQL 发展、概述、特点、dataframe、dataset,Spark Streaming 工作机制、缓存、容错、DStream、常见流式计算和离线计算,Spark 多种部署方式

数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS

数仓分层,数据源层:ODS(Operational Data Store),数据仓库层:DW(Data Warehouse)、数据明细层:DWD(Data Warehouse Detail)、数据中间层:DWM(Data WareHouse Midddle)、数据服务层:DWS(Data WareHouse Service)、 数据应用层:ADS(Application Data Service)、 维表层:DIM(Dimension)