二八科技-二八科技新聞資訊

5月13日,在北京舉辦的“騰訊云原生智能數據湖”發布會上,騰訊云首次對外展示完整云端數據湖產品圖譜,并推出兩款“開箱即用”數據湖產品,數據湖計算服務DLC和數據湖構建DLF。

騰訊云大數據產品中心副總經理雷小平表示:“伴隨著企業對于數據洞察敏捷度要求的不斷提升,騰訊云正在不斷探索更智能、更靈活、更高性價比的大數據工具。我們看到,數據湖架構已經成為在數據智能時代的新趨勢,而云是數據湖最佳的實踐場所。騰訊云原生智能數據湖將助力各行各業解決多元化數據分析場景的新需求,更好地激發大數據在企業數字化升級過程中的價值?！?/p>

六大層級產品構筑全方位數據湖服務

云原生數據湖可以賦予客戶更高的數據敏捷度、更優的數據存儲分析成本,以及更極致的資源彈性能力,在打破數據孤島、實現多元化數據分析等方面具有獨特優勢。

騰訊云此次展示的完整云原生數據湖產品矩陣包括數據湖存儲、數據湖算力調度、數據湖大數據分析、數據湖AI能力、以及數據湖應用和云上基礎服務六個層面,提供一體化的全方位服務。

騰訊云原生智能數據湖產品圖譜

數據湖存儲以對象存儲COS服務為核心,理論上可以存儲任意規模的異構數據,具有高可靠性和高持久性,同時也支持將其他云端數據設施作為數據湖的存儲服務。在數據湖算力調度方面,基于騰訊云彈性容器服務EKS,開放的容器化的分析架構讓數據分析功能可組合性更強,擴展性更強,資源利用率更高。

在數據分析層,騰訊云數據湖既提供半托管的泛Hadoop服務,滿足用戶自定義需求,也提供全托管的數據服務,便于用戶獲取海量數據的洞察力。此外,用戶還可利用騰訊云提供的數據協作工具對計算服務進行編排和調用,大幅度提升企業數據的便捷性和敏捷度。

值得一提的是,針對越來越多的音視圖文數據,騰訊云數據湖包含豐富的AI服務,為圖像處理、音頻處理、自然語言處理、視頻處理等提供有力的數據支撐。在數據應用服務中,騰訊云推出基于數據湖的數據應用服務,比如企業畫像、聯邦計算、商業智能分析等。

最后,云原生的基礎服務為騰訊云數據湖體系提供了有力的保障。

雷小平表示,這六大層面基本涵蓋了客戶的諸多需求,此外,騰訊云還在不斷的研發更多的數據湖產品,以完善云原生智能數據湖矩陣。

兩款“開箱即用”數據湖新品消除數據孤島

為了幫助客戶快速構建和分析數據湖,騰訊云此次正式推出兩款開箱即用的數據湖產品:數據湖計算服務Data Lake Compute,簡稱DLC和數據湖構建Data Lake Formation,簡稱DLF。

數據湖計算服務作為敏捷高效的的數據湖分析引擎,采用無服務器架構設計,用戶無需關注底層架構或維護計算資源,使用標準 SQL即可完成對象存儲服務及其它云端數據設施的聯合分析。此外,用戶無需進行傳統的數據分層建模,大幅縮減了海量數據分析的準備時間,有效提升了企業數據敏捷度。

數據湖構建則能幫助用戶快速高效的構建企業數據湖技術架構,包括統一元數據管理、多源數據入湖、任務編排、權限管理等數據湖構建工具。同時,借助數據湖構建,用戶可以極大提高數據入湖準備的效率,方便地管理散落各處的孤島數據。

雷小平表示,基于這兩款數據湖產品,相比于本地自建大數據集群,數據湖構建時間減少了60,數據分析計算性能提升35.5,云端數據湖架構投入使用后可使存算數據量增長75,配合其他大數據服務,在業務峰值期可以節約30的硬件資源,以及一半的大數據工程師和運維工程師。

三大趨勢催生國內首個云原生智能數據湖

騰訊云此次推出云原生智能數據湖的背后,是數智時代的數據分析新趨勢,包括以云計算為中心、以數據驅動業務及可組合式數據架構。

預計到2021年低,云將承載80的應用開發和部署。與此同時,數據驅動業務的浪潮席卷了各行各業,據知名咨詢機構統計,到2025年全球數據總量將超過160ZB,全球數據總量的近 20將成為影響日常生活的關鍵數據,近 10將變為超關鍵數據。

為此,企業迫切需要可以利用多個數據源、使用不同的大數據分析技術,快速構建靈活友好的數據架構,解決多元化分析場景的數據需求?！?/p>

“面對這些變化,騰訊云原生智能數據湖應勢而生?！崩仔∑秸J為:“云原生智能數據湖,能夠很好的擴展計算和存儲資源,同時能極大地降低運維管理難度,實現業務靈活部署。

騰訊云云原生智能數據湖具備更高的數據敏捷度、更優的數據性價比、更強的數據智能化能力,可以更好地激發數據業務價值。同時,它天然具備云服務的眾多優勢,包括多租戶的權限管控、存儲計算資源彈性伸縮、底層資源免運維、云端服務高可用高可靠、僅需按照使用量付費等。

在應用方面,騰訊云正在積極推動數據湖在政務、工業、零售等領域的大規模落地。騰訊云數據湖體系已服務眾多內外部客戶,其整體算力彈性資源池已達500萬核,存儲數據超過100PB,每日分析任務數達1500萬,每日實時計算次數超過萬億,能支持上億維度的數據訓練。

業內人士認為:“作為數智時代的新引擎,云原生智能數據湖能夠為用戶帶來更多的可能性,挖掘更大的數據潛能。在新一輪的產業互聯網浪潮中,政企都需要掛上新引擎,實現更好的數智化轉型?！?/p>