二八科技-二八科技新聞資訊

中國人民銀行《金融科技發展規劃（2019-2021）》指出：“加強分布式數據庫研發應用……有計劃、分步驟地穩妥推動分布式數據庫產品先行先試，形成可借鑒、能推廣的典型案例和解決方案，為分布式數據庫在金融領域的全面應用探明路徑?！?/p>

大型銀行實現核心系統由國外主機平臺向國產分布式平臺遷移，是大勢所趨，也是一個巨大的工程。確保遷移過程的可觀察性（observability）、保證業務連續不中斷，是重中之重，核心下移的過程是三分開發+七分運維。

核心下移過程充滿嚴峻挑戰，尤其是數據庫的分布化，給運維帶來極大的難度，而交易監控系統事前、事中、事后都會發揮不可替代的作用。

挑戰之一：集中式運維到分布式運維

銀行核心系統從主機系統遷移到X86分布式平臺，相當于實現了從集中式單節點到多節點架構的飛躍，難度不亞于乾坤大挪移。

集中式系統中的交易實現過程相對簡單，而遷移到分布式系統后，交易的流轉過程大大復雜化了，原來很簡單的一筆交易，都可能由數臺甚至數十臺節點協同完成，可能跨越多個集群和數據中心。如何跟蹤這些復雜的交易過程，及時處理其中出現的問題，優化不合理的資源配置，正是所有分布式系統的運維工作難度所在。

例如，某大型銀行的X86核心系統采用多地多中心的部署架構，外圍系統通過DNS域名解析、F5負載均衡訪問應用集群，應用集群通過PROXY訪問數據庫，同時集群中還包括REDIS、全局事物管理節點、元數據管理節點等。數百臺服務器構成的集群，結構復雜，節點眾多。

華青融天鷹眼交易監控系統（EZSonar）采集和分析業務系統產生的數據流量，解析所有報文，從而貫通了分布式節點構成的整個交易鏈路，從業務視角實時監控交易量、響應率、成功率等指標。當有故障發生時，可以按交易鏈路順藤摸瓜，快速發現出現性能問題和故障的節點，為分布式系統的運維實現提供了利器。

挑戰之二：建立分布式環境下的運維體系

中國人民銀行《金融科技發展規劃（2019-2021）》強調：“做好分布式數據庫金融應用的長期規劃，加大研發與應用投入力度，妥善解決分布式數據庫產品在數據一致性、實際場景驗證、遷移保障規范、新型運維體系等方面的問題?！?/p>

可見，要實現分布式環境下的運維，僅僅有監控系統還是不夠的，必須建立新的運維體系，并使運維人員具備新的技能，在系統遷移的事前、事中、事后實施全面的監控。

正如飛行員在飛上藍天之前必須做大量模擬訓練，要建立新的運維體系，讓運維團隊實現從集中式到分布式環境的轉變，就必須在系統投產前進行大量的實兵演練，以轉換工作方式，勝任新平臺的運維工作。

為此，必須建立一套盡可能接近真實的模擬環境，部署真實的服務器集群、數據庫、應用軟件和監控系統，還要有真實的數據流量輸入。某大型銀行在核心系統者投產之前，提前搭建了高仿真系統，與真實環境近乎1：1，用于模擬上線后的新核心系統，以訓練運維人員學習和適應新平臺。

華青融天鷹眼系統在高仿真環境下，扮演了仿真工具和監控工具的雙重角色，成為了運維團隊的好幫手。

挑戰之三：如何快速定位故障節點

在業務系統運行中，交易的異常會直觀體現在應用節點，但經常是由于數據庫、REDIS等節點異常導致的，比如熱點賬戶導致數據庫響應時間上升，進而引起交易響應時間上升。

這個問題主要通過華青融天鷹眼系統的全鏈路解碼來解決。X86核心下移節點間的通訊涉及多種報文格式，包括XML報文、HTTP報文、MYSQL報文、REDIS報文、定長報文等。通過將全部節點接入鷹眼交易監控系統，針對每一個IP配置告警，可以在集群運行正常但單臺設備異常時產生告警，第一時間定位異常節點。

同時，可以利用鷹眼交易監控系統的多維分析功能，比對每類節點的運行趨勢曲線來判斷故障節點。比如，交易在一段時間內響應時間升高，可以分別查看REDIS、PROXY、數據庫等節點的響應時間曲線，如果和交易響應曲線趨勢一致，說明此類節點存在響應時間高的情況。

挑戰之四：如何跟蹤交易在各節點的處理情況

在個別交易出現異常，或進行交易性能調優時，運維團隊需要短時間內分析出該交易在各節點的耗時、訪問了哪些數據庫表、執行了什么操作，等等。

通過華青融天鷹眼監控系統的交易追蹤功能，可以將業務系統全鏈路串接起來，實現交易追蹤的功能。通過在各節點通訊報文中增加全局流水號，以全局流水號標識每一筆交易，將報文中的全局流水號解碼后，通過全局流水號跟蹤一筆交易的整個執行過程，打開了復雜分布式集群和應用系統的黑箱，讓一切過程一目了然。

這項技術非常適合判斷交易的耗時點。比如，數據庫節點單條語句執行時間很短，但如果一筆交易頻繁訪問數據庫，累計的總時間會加長，通過全局流水號串接后，就可以看到交易訪問數據庫的次數和總耗時，進而可以分析出問題點。

挑戰之五：解決數據庫分片的處理性能差異

金融級分布式數據庫的采用，是銀行核心系統分布化的重點。在數據庫實現分布化以后，數據庫節點各分片訪問量是否均勻、響應時間是否一致、是否存在頻繁訪問的單分片表等，就成為運維團隊必須密切關注的問題。

解決數據庫各分片處理性能差異，可以通過華青融天鷹眼監控系統的SQL語義解析來定位問題。將SQL語句中的執行操作、訪問的數據庫表、WHERE條件、全局流水號等元素進行解析，通過多維分析找出訪問量最高的表、執行最頻繁的操作和耗時等情況，從而讓SQL語句在節點間的執行軌跡直觀呈現，為解決故障和調優性能提供了客觀依據。