大數據存儲計算平臺架構
平臺基于Hadoop生態,能夠無縫對接多種數據倉庫,提供了對數據倉庫的可視化監控、任務管理;提供多種計算框架,滿足復雜的數據處理場景;同時平臺提供高可靠、安全易用的集群管理機制,支持集群線性擴展和大規模集群自動部署、性能調優,提升工作效率
針對大容量靜態數據集,提供分布式存儲、列存儲引擎,提供分布式計算、并行計算能力,靈活應對海量數據集的離線分析;平臺支持TB級、PB級離線數據處理
提供流數據的實時計算能力,將結果可及時投遞到在線系統,毫秒級低延遲,實現實時數據流的快速處理和反饋
提供交互式SQL查詢,千萬級數據查詢秒級響應,給數據分析人員提供快速實驗、驗證想法的大數據分析能力
提供全局的ES搜索功能,支持實時全文檢索,支持多值索引模糊搜索,搜索接口秒級響應,滿足企業數據查詢、文件檢索等多種需求
控制臺可提供可視化管理界面,提供全面的資源管理能力;支持大規模集群的多維監控、統一告警、性能調優、安全防護
平臺具備穩定的擴展能力,保障當前任務正常運行,實現零感知服務器、節點擴容