大數據集成系統

產品概述
大數據集成系統是一款基于分布式并行計算架構開發的ETL數據集成系統。具備高吞吐、高可用、高擴展特性，可以為海量數據的超大規模數據倉庫建設提供抽取、整合、清洗、入庫等集成業務。
提供對結構化、半結構化、非結構化資源的統一抽取&整合，采用組件化設計，為文本采集、特征提取、數據庫直連抽取、大文件傳輸、互聯網信息提取等組件提供運行與統一調度監控，能夠依據數據元規范，實現資源的標準化入庫。同時通過規則引擎，實現了數據質量的評估與問題數據的清洗。

方案亮點
■全面適配全行業云規范構建的云計算平臺環境，打破云平臺廠商壁壘；
■靈活支持主流大數據平臺的數據交換和ETL任務；
■內嵌式大數據資源庫整合流程、插個集及模板，提升公安數據采集實施規范性和效率；
■發揮分布式并行+多核處理技術優勢，實現海量數據匯聚的時效性，支持100個以上分布式ETL節點的部署，實現云的線性擴展能力；
■提供開放式平臺接口，擴展第三方ETL插件的集成、定制開發能力；
■高吞吐處理能力；
■高擴展、高可靠；
■可視化流程配置。