大數(shù)據(jù)平臺支持?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)湖的建設(shè),提供一個完整的任務(wù)開發(fā)和運(yùn)維的平臺能力。平臺主要分為Data Studio 以及運(yùn)維平臺,數(shù)據(jù)開發(fā)方面主要支持 Flink SQL、Flink Jar 以及普通的 SQL 任務(wù)。
核心特性包括:
DataStudio提供專業(yè)的大數(shù)據(jù)開發(fā)功能,支持血緣分析、元數(shù)據(jù)查詢 、自動提示與補(bǔ)全、語法校驗(yàn)、 MetaStore等。
運(yùn)維平臺提供從開發(fā)調(diào)試到上線下線的運(yùn)維監(jiān)控及 SQL 的查詢執(zhí)行能力,使數(shù)倉建設(shè)及數(shù)據(jù)治理一體化。
DolphinScheduler 進(jìn)行離線工作流編排和調(diào)度。
Flink CDC 和 Flink SQL 實(shí)現(xiàn)流處理能力,進(jìn)行實(shí)時任務(wù)的開發(fā)。
選擇 Doris 作為實(shí)時數(shù)據(jù)倉庫來寫入數(shù)據(jù)并進(jìn)行 OLAP 查詢。