在當今電商行業競爭激烈的環境下,數據實時處理與分析成為企業取得成功的關鍵因素之一。實時處理領域,Flink被普遍認為是下一代大數據流計算引擎,本項目基于Flink實現電商實時數倉,利用Flink強大的功能,實時采集、處理和存儲電商業務中的海量數據,并為企業提供了全面、深入的數據分析能力。
教程通過思路分析、畫圖演示、代碼開發等多維方式,對數倉的構架過程及整體實現進行了詳細的講解。相較于實時數倉項目4.0,升級了項目架構設計和各個軟件的版本,并采用GitFlow任務流的形式對整體項目進行版本控制,使用StreamPark對項目進行部署和監控。
項目采用的軟件及版本:Flink 1.17.1、Hadoop 3.3.4、Flume 1.10.1、Zookeeper 3.7.1、Kafka 3.6.1、Maxwell 1.29.2、Redis 6.0.8、HBase 2.4.11、Doris 2.1.0、StreamPark 2.1.4、FlinkCDC 2.4.2、MySQL 8.0.31等。