|
當前,數字經濟成為我國經濟高質量發展的新引擎,企業面臨著以大數據為核心的數字化轉型重要機遇和挑戰。如何打造安全可靠的數據基礎設施和價值挖掘平臺,發揮數據資產的核心價值是企業能否贏取未來的關鍵所在。 9月28日,在上海舉辦的“云智技術論壇”智能大數據專場,百度智能云帶來了云智一體的大數據產品架構全景圖,為企業提供從構建新型數據基礎設施、深度挖掘數據價值,到保障數據安全的全流程大數據解決方案。 百度智能云大數據產品架構全景圖共三層:底層通過湖倉數據基礎設施為企業提供數據存儲、數據處理、數據開發等能力;中層的數據價值挖掘平臺,充分利用百度智能大數據技術,實現企業數據資產價值最大化;頂層,即基于底層和中層的技術,幫助各行各業落地大數據應用落地。
構建新型數據基礎設施 隨著企業數字化轉型的加速,企業日常運營中產生的數據量呈指數級增長,且數據的類型更加多樣化,數據的應用場景日益繁雜,以及基于實時數據的快速決策越來越普及,單一的數據倉庫或者數據湖解決方案滿足不了用戶對數據挖掘和使用的需求。于是湖倉一體架構成為云原生時代數據架構演變的必然趨勢。 百度智能云湖倉一體架構的優勢主要體現在三個方面。 首先是云原生,它是數倉基礎架構的一個基本的演變方向。百度智能云云原生湖倉架構以云為基礎,為客戶提供彈性、低成本的數據存儲和按需伸縮的計算資源。在存儲上,百度智能云BOS是業界領先的數據湖對象存儲;在計算上,BMR是靈活、高性價比的托管大數據處理,憑借先進的計算存儲分離架構、智能彈性伸縮技術確保高可靠的同時,真正幫助用戶實現用時高效獲取資源、閑時及時釋放資源,用最低的成本獲取最高的計算性能。 其次,百度智能云通過數據湖架構為客戶提供全面的數據分析能力。百度Palo是數據湖分析能力的核心產品,是百度基于Apache?Doris構建的企業級MPP數據倉庫,專門應對高并發、低延時的 PB級實時數據倉庫使用場景,全面兼容 MySQL協議,可以毫秒級、針對億萬級數據進行及時的多維分析透視和業務探查。 在架構上來看,Palo與常見的分布式存儲系統的架構有些不同。Palo主要有FEFrontend和BEBackend這兩類系統進程,其中FE可以理解為Palo的管控節點,主要負責用戶請求的介入、查詢計劃的解析、元數據的存儲以及集群管理等工作,BE主要負責數據存儲以及查詢計劃的執行,這兩類系統進程都可以橫向拓展,而不需要依賴任何第三方系統如HDFS、ZooKeeper等,這樣高度集成的架構設計也極大簡化了一款分布式系統的運維成本。同時Palo在FE進程中實現了MySQL兼容協議層,這樣用戶通過標準MySQL客戶端或其他各類工具即可便捷連接到Palo,并且Palo還支持標準SQL語言,不論是簡單的單表聚合、排序過濾或復雜的多表關聯、子查詢、窗口函數、自定義函數等,都可以通過SQL快速完成,極大減少用戶的使用成本。 使用 Palo時,可以從本地、RDS、BOS、百度智能云 MapReduce等導入海量數據,進行大數據的多維分析。同時?Palo還兼容主流 BI工具,數據分析師可以通過可視化的方式分析和展示數據,快速獲取洞察以輔助決策。此外,Palo還提供了全新 UI支持,5分鐘上手,輕松實現建庫建表、數據導入、數據查詢。 最后,百度智能云利用數據湖管理與分析平臺EasyDAP,以統一元數據為抓手,一站式完成數據集成、治理、開發、分析、服務。EasyDAP是全場景、低門檻、兼容開放、安全可靠的一站式數據湖管理與分析平臺,其服務范圍覆蓋數據集成、數據管理、數據治理、數據開發、數據分析、數據服務,實現采、存、管、用一體化。
挖掘數據資產價值 完成數據基礎設施構建后,企業如何實現數據資產價值最大化?百度智能云給出了答案。 首先,百度智能云通過數據資產管理與運營平臺DAMP將各類數據經過基礎治理后形成的數據資產進行統一管理,以資產目錄的形式讓企業內部資產更清晰化,同時通過應用超市幫助企業更好的運營數據資產,實現數據資產要素“好管理”、“好找到”、“好理解”、“好應用”。 其次,百度智能云通過商業智能和數據科學工具讓數據發揮大價值。 在商業智能方面,百度Sugar?BI可以快速搭建數據可視化頁面,幫助客戶洞察過去。Sugar BI是百度自助 BI報表分析和制作可視化數據大屏的工具,直連MySQL、本地excel等各類數據源,通過豐富的圖表和拖拽式編輯幫助客戶5分鐘即可生成可視化頁面,并以炫酷大屏呈現,讓數據信息更直觀。同時,Sugar融合了百度語音、語義識別等多種 AI技術,客戶通過語音的方式就可以快速獲取想要的數據。 在數據科學方面,百度智能云通過全功能AI開發平臺BML為數據科學的場景提供全流程開發支持,幫助客戶預測未來。BML整合了大數據和百度AI技術,可以實現從數據源管理、數據清洗與擴充、數據標注、數據預處理,到模型構建,模型管理與優化、預測服務部署、服務管理與監控等全流程能力支撐,降低企業應用數據技術的門檻。BML為數據科學提供高效的算力管理和調度、高性能數據科學引擎、自動機器學習、豐富的建模方式四大核心功能。 在算力管理和調度方面,BML提供計算資源、存儲資源的管理和調度。在這之上,提供一套作業執行與調度機制,幫助客戶實現模型與服務管理。 在高性能數據科學引擎方面,BML提供高度兼容的 Pandas/Sklearn,面向單機的數據分析和機器學習,提供5-10倍的開源工具的數據處理能力。 在自動機器學習方面,BML提供自動建模工具,實現從數據拆分、訓練數據集、黑盒優化算法、模型訓練、效果評估等全流程的自動化。 在豐富的建模方式方面,BML提供豐富的交互界面、文本編輯器、可視化的拖拉拽、腳本調參等工具。
保護數據隱私安全 百度數據安全體系貫穿了大數據基礎設施構建、數據價值挖掘的全過程,覆蓋了數據全生命周期,從多個維度保護企業數據安全。 在數據資產安全方面,百度數據安全體系提供細粒度數據權限、數據加密脫敏、統一身份認證、多租戶資源隔離等技術,確保資產生命周期過程中的安全性,以及數據在企業內外部應用過程中的安全性。 在隱私保護方面,百度數據安全體系實現了事前安全隱患發現、事中敏感數據保護、事后精準溯源的安全保護閉環,為客戶提供安全合規的數據應用能力。 在隱私計算方面,百度智能云通過“百度點石”實現“數據可用不可見”與“數據不動算法動”基礎之上的隱私計算。百度點石數據安全及隱私保護方案是基于百度內部數據安全治理以及千行百業的合作伙伴業務實踐,整合了信息安全技術、隱私計算技術、區塊鏈技術,沉淀形成了整套的數據安全及隱私保護解決方案。 方案整合了四款隱私計算引擎: 1、數據安全沙箱:利用信息安全技術,在集中計算的基礎上,實現了數據不動算法動。以較高的安全性和無損的性能,實現數據價值的挖掘和應用。廣泛的應用于集中數據源向外輸出數據價值的各類場景。 2、聯邦學習平臺:利用機器學習及密碼學算法,在分散計算的基礎上,通過調度多節點的算法、算力,實現了數據不動算法動。以較高的安全性的和較少的性能損失,實現多方數據的融合計算。廣泛應用于多方數據聯合構建機器學習模型的場景中。 3、多方安全計算:利用密碼學算法,在分散計算的基礎上,通過協調多個節點的算法、算力,實現了數據的可用不可見。以極高的安全性和可接受的性能損失,實現多方數據在密態下的聯合計算?？捎糜谳^多數據聯合計算的場景。 4、機密計算MesaTEE:利用第三方可信硬件,基于密碼學,在集中計算的基礎上,通過安全硬件的保護,實現多方數據的密態計算。是目前世界上應用最廣泛的隱私計算引擎,廣泛應用于保護個人隱私、商機機密等場景中。 目前,百度點石數據安全及隱私保護方案已在政務、金融、醫療、電商、教育、媒體等多個領域成功落地。 安全、合規是百度智能云服務客戶的基礎。目前,百度智能云共獲取了40+項國家、國際機構認可的資質認證,包括SOC1 Type2、 SOC2 Type1、SOC2 Type2、SOC3等多項SOC安全審計,以及MTCS最高安全評級等國內外安全權威機構認證。同時,百度智能云是國內首家通過ISO 27032、ISO 29151、ISO 27081、ISO 27017、BS 10012認證的云服務商。
推動數據落地應用 百度智能云大數據治理方案已在智慧城市、智慧金融、智慧能源、智能制造等多個領域落地。 北京海淀城市大腦基于百度智能云數據治理和大數據分析落地了智能運營指揮中心,實現了城管事件的智能發現和自動化處理。例如,通過300余臺檢測基站,實現了空氣質量實時監測預警;將976家重點單位納入消防物聯網監控系統,火災防控和隱患處置實現最優化。 中國人壽財險大數據部門,將百度Sugar?BI作為提升可視化界面開發效率的工具,在總公司及全國幾十個分公司集中推廣使用,實現了零編碼“可見即可得”地展現頁面開發,比原生開發的速度提升了幾十倍,應用場景包括實時業績展示、理賠關鍵指標監控、合作伙伴地圖展現、系統運行監控等。 泉州水務與百度智能云合作構建了水務數據資產體系,解決了水務場景中基于人的不安全行為和物的不穩定狀態的監管預警問題,同時將算法智能模型集中化管理,提升了模型復用率,實現了高效智能化監管。從應用效果看,泉州水務大腦使集團整體人員效率提升5以上,制水供水單位能耗下降8,分散式污水處理設施正常運行率提升5。 憑借多年的技術積累和豐富的落地經驗,百度智能云大數據平臺產品和服務能力深受業界認可。數據湖管理與分析平臺EasyDAP、托管大數據平臺BMR、數據倉庫Palo、數據可視化Sugar?BI均通過了信通院專項能力測評。在行業內,數據湖管理與分析平臺EasyDAP獲2020中國國際大數據大會最佳用戶體驗獎;數據可視化Sugar?BI獲2021中國國際大數據大會創新方案獎;數據資產管理與運營平臺DAMP獲2021中國國際大數據大會應用實踐獎等,彰顯了百度智能云大數據平臺領先的技術能力和創新解決方案。
在數字經濟浪潮下,大數據領域呈現出 4V特性更凸顯、數據應用場景更繁雜、數據安全隱患更高的趨勢。百度智能云打造的智能大數據產品架構全景圖,為更多企業構建云智一體的大數據技術與能力體系,實現對更大規模、更多類型、更多源數據進行處理和應用,全面助推企業數字化轉型。 |
- 關注天氣:
