|
“OLAP”這個名詞最早誕生于1993年,由關系型數據庫之父E.F.Codd博士提出,這也是世界范圍內首次對多維數據庫與多維分析有一個蓋棺定論的概念定義。但可能連考特博士本人也沒有預料到,在短短二十余年的時間里OLAP型數據庫迅速在千億數據庫市場中站穩了腳跟,并在大數據浪潮的推動下不斷拓寬著屬于自己的市場版圖。在當下這個時代,傳輸的數據即是流動的石油,而OLAP數據庫則是企業從數據中獲取價值最為直接的工具。 不同于OLTP領域在漫長的時間積淀下所形成的穩定技術格局,OLAP領域的數據庫產品目前還處于百家爭鳴、群雄割據的狀態。正所謂“亂世出英豪”,2016年由俄羅斯搜索巨頭Yandex開發并開源的一款OLAP型數據庫產品ClickHouse在短時間內迅速躥紅。作為后起之秀,ClickHouse憑借著先天的設計優勢、極致的速度性能與靈活可擴展性,受到了國內外企業的廣泛關注與使用。 當然對于數據庫產品而言,僅僅做到性能上的出眾是遠遠不夠的,無論是開發者看重的上手難度、學習成本,還是企業看重的產品穩定性與業務兼容性,現階段ClickHouse都難以滿足企業級用戶的使用需求。2021年8月,火山引擎正式對外發布了「ByteHouse」企業級數據庫產品。作為ClickHouse的企業版,ByteHouse在解決上手與試錯難題的同時,還能夠為企業用戶提供完善的產品技術支持服務。
極限業務場景下的千錘百煉, 國內最大ClickHouse“玩家”打造的ByteHouse 如果我們想為ClickHouse尋找一個完美的“壓力測試場景”,那么坐擁抖音、頭條、西瓜視頻等一系列頭部產品的字節跳動一定會榜上有名?！肮濣c總數超過15000個、管理總數據超過600PB、最大集群規模在2400余個節點”,從數字上我們不難看出ClickHouse在字節跳動內部業務場景中的深度應用。 火山引擎是字節跳動旗下企業級技術服務平臺,其基于開源的ClickHouse進行深度優化和改造后,推出了企業版產品ByteHouse。除自研表引擎、擴展數據類型、冷熱數據分離等諸多自研優勢以外,ByteHouse的數據實時寫入能力也相較原生ClickHouse提升了兩倍以上。在極限業務場景的打磨下,ByteHouse完成了由一個優秀的開源OLAP引擎向完善的商業化企業級產品的蛻變,能夠為企業級用戶海量數據的生產環境,提供更強的數據查詢和寫入服務。 這里我們為大家分享ClickHouse在字節跳動代表性業務場景的應用案例與ByteHouse的優化方案: A/B測試下的推薦系統實時指標 2016年,字節跳動搭建了支持大規模產品實驗的A/B測試平臺。在完成對抖音、西瓜視頻等全線業務的接入后,字節跳動每天同時進行的A/B測試達到上萬場,單日新增實驗數量超過1500個,覆蓋400多個大大小小的業務,累計A/B測試次數已經突破70萬截至2021年4月。隨著推薦系統產生的數據量越來越大,單個節點消費能力的要求自然也水漲船高。在使用ClickHouse支持A/B測試推薦系統的實時數據時,火山引擎研發團隊也遇到了諸如單次數據吞吐量大、數據落盤時延低,以及數據傳輸過程中不丟失且不重復等技術需求。 ByteHouse通過異步構建輔助索引的方式,及基于自研的Kafka Engine,保證寫入性能在OLAP數據庫中具有領先優勢。同時,ByteHouse也支持exactly once語義,確保數據傳輸中的原子性,有效保障和滿足了字節業務部門在熱門活動實時數據分析上的訴求。 頭部APP端的大數據分析 上線短短四年時間,字節跳動的短視頻APP產品抖音的日活用戶便已突破6億。除了抖音,字節跳動也還有其他日活過億的頭部App產品,在龐大日活用戶的背后產生了海量的產品使用數據分析需求。從業務的角度分析,APP端產品的數據分析具有指標計算相對復雜、數據總量較大且查詢模式多變的業務特點,為此也需要具備高可用保障,以及能夠應對超大數據規模下交互式實時響應的能力。 ByteHouse提供了 PB級數據秒級響應,通過增強的自研引擎,確保95以上的查詢均可在秒級返回,針對APP端的業務多變性,引入了新的數據類型支持動態schema。同時通過自研的HAEngine和元數據持久化等優化,ByteHouse提供了新的生產級高可用方案,能夠保障其在大數據量場景下依然不會影響到查詢分析體驗。 “運維工具+技術支持”,齊頭并進的ToB服務雙頭馬車 “使用難度、運維成本”相信這是每一個企業級用戶在選型數據庫產品時,會去關注的兩大衡量指標。同時,這兩項指標也成為了橫跨在ClickHouse“關注者”與“使用者”之間巨大的鴻溝。無論是國內還是國外的開發論壇上,ClickHouse“上手容易,用好很難”已經成為開發者共同的認知。正所謂“九層之臺,起于累土”,對于企業級用戶的實際應用場景而言,配套的運維能力與技術支持是企業級產品的基石,發揮的作用至關重要。 ByteHouse提供了一個自助服務平臺,針對部署和運維提供了多種工具進行集群管理。對于常規的運維操作,ByteHouse支持自動下發版本調整、節點重啟和替換等運維任務,并具有自動發現和替換故障節點的能力。同時,針對系統的運行情況,ByteHouse也提供了全面的監控、負載指標,使其具備便捷、清晰的管理能力。比如說,在集群使用過程中,ByteHouse可以隨時對CPU利用率與磁盤利用率的警戒水位線等關鍵指標進行監控,對健康度進行可視化展示。ByteHouse系統內部還可以根據企業自身需求,配置故障、服務異常等報警功能的閾值,方便企業級用戶進行預處理操作。 針對數據庫產品不可避免存在的慢查詢問題,ByteHouse提供了強大的查詢診斷功能,對負載過重的后臺合并任務,也可以進行自動診斷。這些“事前”、“事中”、“事后”的運維能力,有效提升了可用性,大大降低了運維復雜度。在ByteHouse的加持下,大型企業用戶或許只需七名SRE工程師就能支持上萬節點的運維。 此外,火山引擎圍繞ByteHouse提供了完善的產品技術支持,從產品的安裝部署、業務應用與項目的0到1、端到端落地的多重維度,為企業用戶提供包括架構咨詢、使用優化、進階培訓等服務。從完善的自動化運維工具,到覆蓋產品與項目的專業技術支持,火山引擎ByteHouse的ToB拓展之路,走的平穩且堅實。 先狹義后廣義,企業級數據庫產品的商業化范式 雖千行百業皆需賦能,但需求痛點個個不同。對于企業級交互式分析數據庫產品而言,既要儲備深度足夠的技術能力,同時還要具備靈活適應不同業務場景的泛化能力?！跋泉M義,后廣義”,這也是火山引擎在開發ByteHouse產品中貫穿始終的心路歷程。 作為企業級交互式數據庫產品,目前ByteHouse已經成功在金融、制造、零售、互聯網等行業中逐漸落地生根,并切實地幫助企業解決其在大數據分析領域中的痛點?；鹕揭嫦駽SDN分享了ByteHouse在實際應用場景中取得的進展: 在服務傳統工業制造應用場景中,客戶基于工業互聯網大數據平臺,積累了數十萬臺大型設備,并以每天5億條的速度不間斷產生IoT數據,急需構建一個具有高性能、高可用、易擴展的大數據平臺,以支撐千億級數據的性能指標查詢和高效的數據計算分析。ByteHouse在技術選型中脫穎而出,在實時數據寫入性能、并發查詢、高可用和集群穩定性、監控可視化等方面滿足其核心訴求,并進一步支持了報警預測實時推送、電子圍欄等場景。 作為泛互聯網場景下的代表性產業,“數據驅動”正逐漸成為游戲行業發展的核心源動力。在游戲行業的實際應用場景中,客戶需要根據人群包,在豐富的維度標簽下洞察人群特征分布,實現快速理解用戶。而現有的技術棧面臨著高基維、標簽數據良多,以及復雜的業務邏輯等眾多難題。ByteHouse憑借高基維優化、BitmapEngine等核心優化,有效支持了用戶包的運算和亞秒級查詢響應,極大提升了人群畫像洞察、差異分析、個體畫像分析等場景下的查詢體驗。 在OLAP場景需求快速增長的當下,企業對于交互式分析數據庫產品的需求,仍將會進一步增加?；鹕揭鍮yteHouse利用自身場景的沉淀推出企業級“ClickHouse”服務,在CSDN看來可謂是恰逢其時。它的出現,為處在大數據浪潮中的企業級用戶提供了OLAP場景下的一站式服務,有助于其打通大數據分析場景化落地的“最后一公里”。 |
- 關注天氣:
