伴隨著數(shù)字化轉(zhuǎn)型的深入推進,產(chǎn)業(yè)對數(shù)據(jù)化的需求發(fā)生了革命性的變化。而開源對數(shù)據(jù)庫的影響也在不斷增強,已經(jīng)覆蓋軟件開發(fā)的全域場景。
9 月 22 日,中國工程院倪光南院士在企業(yè)級開源分布式數(shù)據(jù)庫廠商 PingCAP 用戶峰會上的致辭中提到:“全球開源數(shù)據(jù)庫已經(jīng)超過商用數(shù)據(jù)庫,占比達到 52%。全球最受歡迎的前 10 名數(shù)據(jù)庫中有 6 個是開源數(shù)據(jù)庫。同時,分布式、云計算、大數(shù)據(jù)正在重塑數(shù)據(jù)庫的市場格局,2021 年全球云數(shù)據(jù)庫市場份額已超過傳統(tǒng)部署模式的數(shù)據(jù)庫,標志著云數(shù)據(jù)庫取代傳統(tǒng)數(shù)據(jù)庫地位的趨勢已經(jīng)確立。”
開源模式以及分而治之的開放式架構(gòu)備受用戶認可
認識 PingCAP 是在 4-5 年前,彼時筆者就關(guān)注到了開源數(shù)據(jù)庫領(lǐng)域,對 PingCAP 聯(lián)合創(chuàng)始人兼 CTO 黃東旭進行了一期專訪。如今時隔多年,來到 PingCAP 用戶峰會,筆者最大的感受就是這家開源分布式數(shù)據(jù)庫廠商對用戶需求的洞察已非常深入,相信貼近用戶這一點也是其能夠快速成長的重要原因之一。
仍記得企業(yè)網(wǎng) D1Net 在對某位金融行業(yè) CIO 進行專訪時曾聊到過 PingCAP,那位 CIO 對 PingCAP 贊賞有加,他當時提到:“在交流的過程中 PingCAP 告訴我 TiDB 社區(qū)版就能滿足我們企業(yè)的需求,讓我用社區(qū)版就好,是免費的,有問題可以向他們反饋。這是第一家真心幫助用戶解決需求問題卻不要求我付費的廠商,給我留下了非常好的印象。即使接下來公司業(yè)務(wù)發(fā)展需要用到商業(yè)版,我也非常樂意付費。”這位 CIO 的表述,真實地反映了用戶對開源社區(qū)商業(yè)模式的高度認可。
PingCAP 創(chuàng)始人兼 CEO 劉奇
PingCAP 創(chuàng)始人兼 CEO 劉奇在會上提到:“分布式數(shù)據(jù)庫是一個高度復(fù)雜的系統(tǒng),與云的結(jié)合讓復(fù)雜度進一步上升。分布式數(shù)據(jù)庫是否能生存下去,本質(zhì)在于能否掌控復(fù)雜度。”在過去的一年中劉奇做的最重要的工作之一是拜訪用戶,在與大量用戶溝通后劉奇發(fā)現(xiàn):分而治之的開放式架構(gòu)被認為是未來分布式云原生數(shù)據(jù)庫活下去的唯一方法,大多數(shù)用戶選擇 TiDB 的首要原因在于 TiDB 采用分離式架構(gòu),更能管理復(fù)雜性。
據(jù)用戶反饋:PingCAP 更受 CEO 和 CFO 的歡迎,因為使用 TiDB 替換傳統(tǒng)數(shù)據(jù)庫,至少可以將使用成本降低一半,還能破解企業(yè)在技術(shù)人才匱乏方面的難題。除此之外,越來越多的年輕用戶已不再關(guān)心數(shù)據(jù)庫的底層架構(gòu),只關(guān)注數(shù)據(jù)庫產(chǎn)品能否應(yīng)對業(yè)務(wù)敏捷挑戰(zhàn),能否在不確定的環(huán)境下滿足業(yè)務(wù)高速發(fā)展的需求。
數(shù)據(jù)庫能力如何支持企業(yè)級用戶業(yè)務(wù)的敏捷性?
商業(yè)模式的成功,只是企業(yè)駛?cè)氚l(fā)展快車道的第一步,而第二步則是不斷打磨產(chǎn)品。劉奇提到:企業(yè)級用戶對數(shù)據(jù)庫產(chǎn)品敏捷性的需求使 PingCAP 重新思考,及時調(diào)整組織架構(gòu)以及產(chǎn)品方案,以滿足用戶核心系統(tǒng)對敏捷性和穩(wěn)定性的要求。
TiDB 早在 1.0 版本就實現(xiàn)了在線事務(wù)處理的規(guī)模化擴展,為 HTAP 能力打下堅實的基石;4.0 版本實現(xiàn)初步的 HTAP 能力,OLAP 與 OLTP 分區(qū)獨立,物理隔離;5.0 版本在原有 HTAP 引擎的基礎(chǔ)上引入 MPP 架構(gòu),進一步提升海量數(shù)據(jù)下的并行計算與分析能力,支持同一架構(gòu)下對 Spark、Flink 等技術(shù)棧的集成,成為具備完整實時 HTAP 能力的分布式數(shù)據(jù)庫,助力企業(yè)提升關(guān)鍵業(yè)務(wù)的時效性。
2022 年, TiDB 6.1版本發(fā)布,強化了系統(tǒng)優(yōu)化器,支持系統(tǒng)智能選擇存儲方式,這是第一個面向企業(yè)級的長期支持版( Long Term Support,簡稱 LTS),可穩(wěn)定維護。對于用戶而言,在沒有特定需求開發(fā)的情況下,可以選擇最新的 LTS 版本投產(chǎn)。如果需要某個 DMR(開發(fā)里程碑版本)發(fā)布的新功能,可以選擇 DMR 版本進行 PoC 以及試運行,待到對應(yīng)的 LTS 版本發(fā)布后升級 TiDB 到穩(wěn)定生產(chǎn)狀態(tài)。PingCAP 期望通過“敏態(tài)+穩(wěn)態(tài)”快慢結(jié)合的方式最大限度兼顧快速迭代和穩(wěn)定投產(chǎn)兩方面的需求。
PingCAP 研發(fā)副總裁 唐劉
“PingCAP 是一家非常年輕的公司,我們的產(chǎn)品也在不斷打磨和完善。一方面我們需要快速迭代,不斷將產(chǎn)品的價值快速交付給客戶,另一方面面對諸多核心場景,我們還要打磨一個更加穩(wěn)定的產(chǎn)品,讓客戶能夠非常高效、放心地使用。” PingCAP 研發(fā)副總裁唐劉如是說。
PingCAP 的做法是采用“穩(wěn)態(tài)+敏態(tài)”雙軌并行的研發(fā)機制:一方面采用開放式架構(gòu),另一方面充分利用豐富的用戶場景持續(xù)打磨產(chǎn)品。這樣的好處是既能保證用戶對產(chǎn)品觸手可及、隨時可用,又能在核心場景穩(wěn)定放心地使用。
數(shù)據(jù)服務(wù)的敏捷性究竟有多快呢?最好的例子就是 OSS Insight。這是一款從 0 到 1 快速打造的產(chǎn)品,OSS Insight 起初只是劉奇為了在 5-8 分鐘內(nèi)講清楚什么是 HTAP 的一個 Demo,它支持復(fù)雜條件的查詢和分析,可以讓用戶從熟悉的簡單數(shù)據(jù)中獲得全新視角的洞察,同時也是一個真實承載了 50 億條數(shù)據(jù)的平臺,更是一個一秒就能體驗的真實、好看、好用、好玩且易于傳播的平臺。
用戶普遍認為,要做 OSS Insight 這樣一個查詢和分析的平臺大概需要 4-6 個人花費半年時間。實際上,基于 TiDB Cloud,2 個人只花一個周末就可以將第一個版本推向市場。以這樣的速度,企業(yè)通過 TiDB 可以領(lǐng)先對手幾倍時間,也可以節(jié)約大量人力成本,真正做到以更低的技能要求、更快的速度將產(chǎn)品推向市場,從而更快產(chǎn)生價值。
PingCAP 研發(fā)副總裁唐劉提到: OSS Insight 有將近 50 億條開源數(shù)據(jù),查詢條件非常復(fù)雜,面對這樣高度復(fù)雜的情況,PingCAP 和 OSS Insight 研發(fā)工程師不停打磨、重構(gòu)、加固優(yōu)化器,如今不但研發(fā)工程師不再需要寫 HINT ,而且智能優(yōu)化水平比人工寫 HINT 提速了 20-30%。
“通過 OSS Insight ,我們可以讓人人都能在 5 秒鐘內(nèi)獲得 Insight 。我們設(shè)想每個組織、每個企業(yè)、每個人都可以獲得這項能力,都有好奇心去獲取 Insight,基于 OSS Insight 中的開源數(shù)據(jù),任何人都能提出自己的 Idea。”劉奇如是說。
另外一個例子是一家銀行客戶,這家頭部股份制銀行將 TiDB 產(chǎn)品應(yīng)用到銀行核心系統(tǒng),與 PingCAP 持續(xù)打磨 TiDB 的內(nèi)核能力。如今的成果是:在 7×24 小時性能測試中,可以將整個延遲抖動控制在 2% 以內(nèi);在某頭部城商行互聯(lián)網(wǎng)交易系統(tǒng)上將延遲縮短了 4 倍,滿足了客戶互聯(lián)網(wǎng)銀行核心上線的需求。
據(jù)了解,作為一棧式數(shù)據(jù)服務(wù)平臺,TiDB 一直致力于提升用戶業(yè)務(wù)的敏捷性,近兩年產(chǎn)品內(nèi)核性能和穩(wěn)定性也在不斷提升,成為各行業(yè)頭部企業(yè)的選擇。TiDB OLTP 的 TPCC 性能提升 200%-300%,實時 HTAP 性能提升 200%-300%,核心場景性能也獲得持續(xù)突破,例如銀行的轉(zhuǎn)賬核心負載延遲優(yōu)化達 4 倍之多,物流等超高吞吐實時在線交易讀寫混合負載性能提升 100% 以上,保障了數(shù)億用戶的順滑體驗。
為何 PingCAP 成為行業(yè)頭部客戶的共同選擇?
會上,來自建信金科、百勝中國、傳音控股、老虎國際、平安科技、杭州銀行、中國人壽財險、工商銀行、東軟集團、中電金信、嘉和美康、神州數(shù)碼、云徙科技、天翼云等多家 PingCAP 重量級客戶、合作伙伴及產(chǎn)業(yè)大咖為其站臺,分享數(shù)字化轉(zhuǎn)型與數(shù)據(jù)價值創(chuàng)新中的選擇,探討如何通過面向未來的敏捷數(shù)據(jù)服務(wù)平臺實現(xiàn)業(yè)務(wù)的加速和創(chuàng)新。
建信金科是中國建設(shè)銀行金融科技子公司。建信金科基礎(chǔ)技術(shù)中心副總裁邢磊道出了其選擇 PingCAP 的三大理由:一是服務(wù)于客戶成功,關(guān)注客戶遇到的實際問題;二是 PingCAP 具有開源開放的特征,相信開源和開放的力量會成為未來企業(yè)技術(shù)重要的組成部分;三是 PingCAP 有很好的成長性,與 PingCAP 一起、與優(yōu)秀的開發(fā)者和專家一起將取得更快的成長。
建信金科基礎(chǔ)技術(shù)中心副總裁 邢磊
與大多數(shù)用戶不同的是,建信金科與 PingCAP 的接觸始于 TiKV。建信金科在做微服務(wù)、分布式時要對數(shù)據(jù)做拆分,要求在現(xiàn)有的傳統(tǒng)渠道、傳統(tǒng)業(yè)務(wù)和交易不受影響的前提下改造后端的服務(wù)能力,建信金科過去使用的是國外開源軟件,在安全穩(wěn)定運行方面存在很大挑戰(zhàn),而 TiKV 在這樣的背景下進入了建信金科的視野。
邢磊提到:為了能自己掌控技術(shù),建信金科從 2020 年開始接觸 TiKV,與 PingCAP 共同努力投入研發(fā)資源和精力做業(yè)務(wù)場景適配,經(jīng)過一年時間成功將 TiKV 5.0.4 版接入到全行分布式體系中,順利扛住 4 萬多 TPS 壓力穩(wěn)定運行。伴隨核心業(yè)務(wù)改造,建信金科于 2021 年底將整個核心業(yè)務(wù)在分布式平臺上進行切換,TiKV 起到了關(guān)鍵作用。2022 年建信金科進一步借助 TiKV 的高可用體系構(gòu)建了跨地域、跨中心的災(zāi)備能力。
由于前期只關(guān)注應(yīng)用系統(tǒng)項目,建信金科的業(yè)務(wù)在大規(guī)模分布式體系當中遇到了一系列穩(wěn)定性、可用性問題,基礎(chǔ)平臺、基礎(chǔ)軟件等的可用性如何保障是一大難題。借助 PingCAP 的Chaos Mesh 混沌工程框架,在雙方的共同努力下,建信金科在 2021 年 7 月完成了第一批最重要的 18 個混沌和故障場景的注入。如今,建信金科已完成混沌工程平臺方案設(shè)計和平臺一期開發(fā)、建設(shè)工作,逐個攻破其在虛擬化環(huán)境、容器環(huán)境下的各種故障場景的模擬以及自動化裝配、組裝難題,使各類組件和數(shù)據(jù)庫能在場景下進行完整檢驗后再推向應(yīng)用型項目。
傳統(tǒng)金融企業(yè)交易業(yè)務(wù)線和數(shù)據(jù)分析業(yè)務(wù)線的數(shù)據(jù)處理通常是分開的,多維查詢和管理類分析業(yè)務(wù)傾向于用大數(shù)據(jù)業(yè)務(wù)處理,但是隨著企業(yè)數(shù)字化轉(zhuǎn)型的逐步深入以及平臺生態(tài)的繁榮建設(shè),所有的關(guān)鍵業(yè)務(wù)、核心業(yè)務(wù)都面臨著新的挑戰(zhàn),用傳統(tǒng)的大數(shù)據(jù)技術(shù)很難在數(shù)據(jù)實時更新場景下同時提供多維的分析和查詢能力,這恰恰是 HTAP 要解決的問題。邢磊回憶:“當時建信金科遇到了非常大的挑戰(zhàn),留給 PingCAP 的時間非常短,從2021年 4 月底提出到 5 月底完成技術(shù)驗證測試,只有一個月的時間,而到 10 月建信金科已正式投產(chǎn)進入穩(wěn)定迭代。現(xiàn)在,建信金科的每個新場景都有 TiDB 的身影。”當前,建信金科正在嘗試將系統(tǒng)升級到 TiDB 的最新版本,同時將統(tǒng)一視圖、全量資產(chǎn)、反洗錢業(yè)務(wù)等在 HTAP 上做驗證和遷移。
百勝中國是中國最大的餐飲企業(yè),致力于成為全球最創(chuàng)新的餐飲先鋒。百勝中國首席技術(shù)官張雷提到:“TiDB 是業(yè)內(nèi)開源分布式數(shù)據(jù)庫的翹楚,百勝中國在 2019 年就開始用 TiDB 嘗試替代傳統(tǒng)的商業(yè)數(shù)據(jù)庫產(chǎn)品。百勝中國非常看重核心數(shù)據(jù)的處理主權(quán),開源數(shù)據(jù)庫恰恰能夠幫助掌握這一主權(quán),同時借助活躍的開源社區(qū),進行企業(yè)內(nèi)部創(chuàng)新性的架構(gòu)研究以及落地。”經(jīng)過一年的探索,TiDB 最終在百勝的業(yè)務(wù)中臺得以落地實施,穩(wěn)定可靠地支撐海量的線上交易,實現(xiàn)了降本增效的目標。此外,百勝中國將 ERP 中的交易數(shù)據(jù)同步到 TiDB 中,與 BI 工具進行集成,大幅縮短了企業(yè)內(nèi)部的財務(wù)報表生成時間,極大提升了內(nèi)部的工作效率。
傳音控股是一家致力于成為新興市場消費者最喜愛的智能終端產(chǎn)品和移動互聯(lián)服務(wù)提供商,在與 PingCAP 的合作中,將其移動商店的整體服務(wù)架構(gòu)遷移到了 TiDB 上。傳音控股移動互聯(lián) CTO 史團委提到:“PingCAP 使得傳音控股可以將更多資源投入在業(yè)務(wù)的推進上,從龐大、復(fù)雜且耗時的中后臺工作中解放出來,提升人效,大幅降低成本。”據(jù)悉,TiDB 的水平擴展、故障自恢復(fù)、數(shù)據(jù)強一致性、高度兼容性等特點,幫助傳音控股實現(xiàn)了技術(shù)進階,大幅縮減了成本,提升了用戶體驗,加速了技術(shù)架構(gòu)平臺化與垂直化的演進。
老虎國際作為全球知名的國際化券商,在新加坡、美國、中國香港、澳大利亞等地持有 59 張牌照或資質(zhì),在全球多地開展業(yè)務(wù)。老虎國際技術(shù)副總裁柳鍇表示,只有真正的全球化公司才能服務(wù)全球化客戶。基于全球化的業(yè)務(wù),老虎國際面臨著全球業(yè)務(wù)拓展、數(shù)據(jù)架構(gòu)復(fù)雜以及金融數(shù)據(jù)安全等方面的挑戰(zhàn)。TiDB 可以解決系統(tǒng)架構(gòu)的復(fù)雜度,同時通過低延遲、數(shù)據(jù)強一致性,解決業(yè)務(wù)挑戰(zhàn)與數(shù)據(jù)安全挑戰(zhàn),獲得了老虎國際研發(fā)、運維以及業(yè)務(wù)等多個部門的一致認可。
持續(xù)引領(lǐng)數(shù)據(jù)庫的演進方向
據(jù)悉,接下來 PingCAP 將在 DB 微服務(wù)化、云原生、智能化以及未來數(shù)據(jù)生態(tài)等方面不斷探索,持續(xù)引領(lǐng)數(shù)據(jù)服務(wù)的演進方向。對用戶而言,最直觀的感受是 PingCAP 正在不斷降低數(shù)據(jù)庫的行業(yè)門檻。TiDB 在提供數(shù)據(jù)庫本身能力的同時,提供非常強的實時在線分析能力,并且通過規(guī)模效應(yīng)將成本降低至原來的十分之一甚至是百分之一。
唐劉提到:TiDB 包括存儲層、計算層在內(nèi)的各個組件都可以以微服務(wù)的方式提供,通過微服務(wù)化的方式做 TiDB 系統(tǒng)架構(gòu)的演進是 PingCAP 一直堅持的研發(fā)原則。DB 微服務(wù)化可以將數(shù)據(jù)庫任何可分離的組件都實現(xiàn)服務(wù)化,打造 PB 級在線數(shù)據(jù)服務(wù)平臺,提供更高的規(guī)模效應(yīng)、更好的容錯能力以及更強的風(fēng)險控制手段。最近半年以來 PingCAP 正在進行存算分離的拆分,TiFlash 的存算分離是第一個階段;第二個階段,TiKV 會將 Compaction 移出做一個新的功能架構(gòu),預(yù)計將在半年到一年之內(nèi)發(fā)布新產(chǎn)品。
可以看到,過去幾年 TiDB 提升的速度非常快,隨著架構(gòu)本身被分離得越來越好,產(chǎn)品性能的提升和改進將會非常驚人。唐劉進一步表示:“一個好的架構(gòu),一個正確的內(nèi)核才有成長的可能,才有更高的天花板,接下來幾個月大家還能看到更多驚人的表現(xiàn)。”