1、Apache ShardingSphere 論文被 ICED 收錄

近日，由 Apache ShardingSphere 社區(qū)、SphereEx 以及重慶大學計算機系團隊共同撰寫的關于《Apache ShardingSphere：A Holistic and Pluggable Platform for Data Sharding》論文，被數(shù)據(jù)管理與數(shù)據(jù)庫國際頂級會議 ICDE 長文錄用，成為業(yè)界首篇關于數(shù)據(jù)分片的頂級會議論文。

ICDE（The International Conference on Data Engineering）是中國計算機協(xié)會（CCF）推薦的 A 類國際學術會議，是數(shù)據(jù)庫和數(shù)據(jù)挖掘領域頂級學術會議之一，是電氣與電子工程師協(xié)會（IEEE）的旗艦會議，和 SIGMOD、VLDB 并稱數(shù)據(jù)管理與數(shù)據(jù)庫領域的三大國際頂尖學術會議。

此次被收錄，代表 Apache ShardingSphere 所倡導 Database Plus 理念的工程化實踐，經(jīng)過 5 年多的研發(fā)及生產(chǎn)驗證外，已經(jīng)得到理論層面的驗證。其提出的基于數(shù)據(jù)庫之上的增強計算引擎，及內(nèi)置的多層可插拔架構得到很好的印證。其研究成果獲全球頂會認可，也代表著 Apache ShardingSphere 在數(shù)據(jù)庫底層核心基礎性技術研究方面持續(xù)獲得了創(chuàng)新性突破。該論文印證了在關系型數(shù)據(jù)庫仍然是在線事務處理的主力，但缺乏可擴展性以及無法高效解決高并發(fā)問題，以及 NewSQL 數(shù)據(jù)庫會帶來額外學習成本的背景下，Apache ShardingSphere 作為一款數(shù)據(jù)庫中間件來連接和管理眾多已有的數(shù)據(jù)庫，已經(jīng)成為一種十分友好且高效的方式。

2、驗證 Apache ShardingSphere 的科學發(fā)展路徑

Apache ShardingSphere 從誕生至今，已經(jīng)走過了 6 年多時間。在旁觀者的視角看來，不論是項目本身或是開源社區(qū)，Apache ShardingSphere 都已經(jīng)相當成功。

（1）我們?yōu)槭裁匆晟片F(xiàn)有的數(shù)據(jù)庫生態(tài)，而并非新建一款數(shù)據(jù)庫？

Apache ShardingSphere 旨在充分合理地在分布式的場景下利用關系型數(shù)據(jù)庫的計算和存儲能力，而并非實現(xiàn)一個全新的關系型數(shù)據(jù)庫。

時至今日，關系型數(shù)據(jù)庫作為支持完整事務的最優(yōu)選擇，其仍然是在線事務處理的主力。但由于關系型數(shù)據(jù)庫在設計初期是針對單臺機器的，并沒有考慮到流量、數(shù)據(jù)過大時的場景，因此可擴展性欠佳并且無法高效解決高并發(fā)問題。在此背景下 NewSQL 應運而生，New 就意味著是從零開始開發(fā)的數(shù)據(jù)庫。雖然適合現(xiàn)在的應用場景，但其還沒有大量接受過真實生產(chǎn)環(huán)境的檢驗，并且還會為企業(yè)的維護人員帶來額外學習成本。

在此背景下，Apache ShardingSphere 也一步步從工具發(fā)展到生態(tài)，立足點越來越高，影響范圍越來越廣，這樣的系統(tǒng)打破了關系型數(shù)據(jù)庫架構的限制。目前，Apache ShardingSphere 已更新 5.1.0 正式版。伴隨著此次更新，Apache ShardingSphere 也正式將產(chǎn)品定位轉(zhuǎn)向以 Database Plus 為核心的全新領域，旨在構建多模數(shù)據(jù)庫上層的標準和生態(tài)。除在數(shù)據(jù)庫上層提供強大的增量能力之外，Database Plus 架構也為開發(fā)者和用戶開放了高度可擴展的數(shù)據(jù)庫生態(tài)，幫助用戶站在數(shù)據(jù)庫的上層視角，更多關注數(shù)據(jù)庫之間的協(xié)作。

（2）Apache ShardingSphere 的多重特性

可插拔

Apache ShardingSphere 項目采用微內(nèi)核 + 三層可插拔模型，使內(nèi)核、功能組件以及生態(tài)對接完全能夠靈活的方式進行插拔式擴展， 開發(fā)者能夠像使用積木一樣定制屬于自己的獨特系統(tǒng)。在 Apache ShardingSphere 的框架下，所有功能均可通過積木化的形式組裝到 Apache ShardingSphere 體系中，且可以疊加使用。而在開發(fā)者面向標準的 SPI 編程中，內(nèi)核對增量功能是無感知的，所以 Apache ShardingSphere 在實際的應用場景中可以靈活組合多個功能模塊，為用戶提供無限的想象空間。

此外，Apache ShardingSphere 是基于 SPI（Service Provider Interface, 一種 Java 語言中的服務發(fā)現(xiàn)機制）和多種設計模式設計的。因此，更多類型的數(shù)據(jù)庫、功能、分片算法都能夠非常方便地加入、移除以及自由組合。

其中，作為研發(fā)ShardingSphere的起源訴求，數(shù)據(jù)分片一直以來都是ShardingSphere的重要特性之一。對于許多用戶來說，分片功能也是其使用ShardingSphere的初期原因之一。綜合來看，對關系型數(shù)據(jù)庫進行數(shù)據(jù)分片操作，以水平數(shù)據(jù)分片的方式突破單臺機器存儲量的限制，是基于現(xiàn)有情況下更適合于企業(yè)的解決方案。

高性能

論文中提到，重慶大學與 SphereEx 在 Sysbench 和 TPCC 這兩個測試環(huán)境下進行了多輪實驗，驗證了在相同的配置下 Apache ShardingSphere 的性能都優(yōu)于大多數(shù)分片系統(tǒng)和新架構數(shù)據(jù)庫。詳細數(shù)據(jù)可參照下圖：

（Sysbench 測試結果）

（使用 TPCC 對不同分布式系統(tǒng)的比較)

結 語

Apache ShardingSphere 目前已經(jīng)在數(shù)百家海內(nèi)外企業(yè)的生產(chǎn)環(huán)境中得到應用，涉及互聯(lián)網(wǎng)、游戲、銀行、保險、證券、制造業(yè)、電信、新零售、政府等多個行業(yè)，已得到多個真實生產(chǎn)場景的驗證。

隨著本篇論文被 ICDE 收錄，也標志著學術界對 Apache ShardingSphere 理念的的認可，將會為數(shù)據(jù)庫行業(yè)發(fā)展、提升數(shù)據(jù)處理效能等方面提供了新的解決思路，也為關系型數(shù)據(jù)庫應用分布式能力、可插拔架構的普及、數(shù)據(jù)庫上層生態(tài)的建設奠定了堅實的理論基礎。

通過本篇論文，希望 Apache ShardingSphere 在該領域下的探索可以啟發(fā)到其他數(shù)據(jù)庫領域的開發(fā)者與學者，共同繁榮數(shù)據(jù)庫生態(tài)，將數(shù)據(jù)庫打造為更加貼合業(yè)務場景的數(shù)據(jù)服務平臺而努力。