遮天辰东小说,魔天记忘语小说,盗墓笔记小说全集

Ozone | 數(shù)據(jù)湖存儲(chǔ)，統(tǒng)一和融合哪個(gè)更好？

（2025年9月6日更新）

關(guān)于Alluxio這篇文章把注意力轉(zhuǎn)移到了大數(shù)據(jù)上。

芯片采購(gòu)網(wǎng)專注于整合國(guó)內(nèi)外授權(quán)IC代理商現(xiàn)貨資源，芯片庫(kù)存實(shí)時(shí)查詢，行業(yè)價(jià)格合理，采購(gòu)方便IC芯片，國(guó)內(nèi)專業(yè)芯片采購(gòu)平臺(tái)。

文中提及Cloudera作為Hadoop為什么生態(tài)最后的種子選手沒(méi)有制造麻煩？Alluxio這樣的東西？

沒(méi)想到在學(xué)習(xí)Cloudera在這個(gè)過(guò)程中，我過(guò)程中Ozone，回答了潭主之前的問(wèn)題。

技術(shù)體系復(fù)雜，有許多平行宇宙。今日，潭主與大家分享一項(xiàng)最近學(xué)到的數(shù)據(jù)湖存儲(chǔ)技術(shù)，Ozone。

Ozone是哪路神

Ozone是Apache軟件基金會(huì)下的一個(gè)項(xiàng)目定位為：用戶大數(shù)據(jù)分析和云本地應(yīng)用程序分布式，擴(kuò)展性高，一致性強(qiáng)Key-Value對(duì)象存儲(chǔ)。

讀過(guò)潭主文章的讀者自然會(huì)Alluxio對(duì)使用功能有所了解，Ozone跟Alluxio同樣，也兼容支持S3和HDFS的API。

由于上述特點(diǎn)，Ozone現(xiàn)有可以透明支持Hadoop生態(tài)中如Spark和Hive等待上層計(jì)算框架，無(wú)需修改應(yīng)用代碼。

套路是一樣的，把自己模仿成大師。當(dāng)然，簡(jiǎn)單的模仿肯定不好，但也有自己的創(chuàng)新。

潭主的窮人思維

由于商業(yè)模式的限制，傳統(tǒng)的保險(xiǎn)業(yè)有很多數(shù)據(jù)孤島

然而，近年來(lái)，非結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)增長(zhǎng)迅速，之前引入的HCP對(duì)象存儲(chǔ)已經(jīng)是數(shù)十億的量級(jí)。

據(jù)潭主所知，雖然之前也推出了一些大數(shù)據(jù)項(xiàng)目，Hadoop其實(shí)集群的規(guī)模并不大，所以在寫(xiě)這篇文章之前，潭主受到自己經(jīng)驗(yàn)的限制Hadoop沒(méi)有疼痛。

即使在互聯(lián)網(wǎng)行業(yè)，十多年前也可能無(wú)法預(yù)測(cè)數(shù)據(jù)會(huì)膨脹得如此之快，以至于Hadoop很快就變得無(wú)能為力。

互聯(lián)網(wǎng)富人思維

在過(guò)去的兩年里，數(shù)據(jù)湖這個(gè)詞非常流行。

人們對(duì)數(shù)據(jù)湖有不同的理解。有人認(rèn)為Hadoop是數(shù)據(jù)湖，有人認(rèn)為是數(shù)據(jù)湖，有人認(rèn)為是數(shù)據(jù)湖。S也是數(shù)據(jù)湖。

從網(wǎng)上公有云的角度來(lái)看，S三是主流存儲(chǔ)，而線下私有云，Hadoop這種情況似乎更有優(yōu)勢(shì)，無(wú)形中對(duì)混合云的統(tǒng)一江湖形成了儲(chǔ)存障礙。

因此，未來(lái)的數(shù)據(jù)湖技術(shù)應(yīng)與各種主流計(jì)算框架相兼容，平穩(wěn)支持各種應(yīng)用場(chǎng)景，對(duì)接不同的存儲(chǔ)引擎，實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)接口的標(biāo)準(zhǔn)化。

從最近的技術(shù)發(fā)展趨勢(shì)來(lái)看，這種統(tǒng)一標(biāo)準(zhǔn)的存儲(chǔ)技術(shù)將成為下一代數(shù)據(jù)湖的顯著特征。

而且對(duì)互聯(lián)網(wǎng)，HDFS該系統(tǒng)在集群擴(kuò)展和支持應(yīng)用標(biāo)準(zhǔn)方面確實(shí)存在一些局限性。

為了解決HDFS開(kāi)源社區(qū)這幾年沒(méi)閑著，嘗試了很多解決方案。

HDFS聯(lián)邦時(shí)代

最初Hadoop只允許命名空間（Namespace），而且只有一個(gè)NameNode管理。

雖然可以添加底層DataNode由于所有節(jié)點(diǎn)的水平擴(kuò)展和存儲(chǔ)空間的增加Block元數(shù)據(jù)都停留了NameNode在內(nèi)存中，當(dāng)集群規(guī)模增大時(shí)，NameNode很容易成為瓶頸，直接限制HDFS文件、目錄和數(shù)據(jù)塊的數(shù)量。

Hadoop 為了解決社區(qū)問(wèn)題 HDFS 兩個(gè)聯(lián)邦方案(如上圖制定了兩個(gè)聯(lián)邦計(jì)劃（如上圖所示）：

· NNF（NameNode Federation）

· RBF（Router Based Federation）

早期的NNF在計(jì)劃中，集群引入了多個(gè)NameNode，管理不同Namespace和對(duì)應(yīng)的BlockPool，多個(gè)NameNode可以共享Hadoop集群中的DataNode。

雖然解決了Namespace但是擴(kuò)展問(wèn)題需要對(duì)HDFS的Client結(jié)合靜態(tài)配置掛載ViewFS實(shí)現(xiàn)統(tǒng)一入口。

而在RBF在聯(lián)邦計(jì)劃中，試圖將掛載表從Client中抽出形成Router，雖然Hadoop集群是獨(dú)立的，但同時(shí)又增加了一個(gè)State Store構(gòu)件，結(jié)構(gòu)變得更加復(fù)雜。

對(duì)于面向未來(lái)的大數(shù)據(jù)存儲(chǔ)，局部改進(jìn)的聯(lián)邦方案治標(biāo)不治本。

藍(lán)而不是藍(lán)

有時(shí)候，最好的優(yōu)化是重新開(kāi)始爐灶。

畢竟Hadoop技術(shù)多年，目前的軟硬件環(huán)境與當(dāng)初大不相同，系統(tǒng)重構(gòu)也是合理的。

與其等別人去革HDFS人生不如自我革命。Ozone確實(shí)為用戶提供了新的選擇。

就好像CDH和HDP最終融合成CDP一樣，HDFS和S3也可融合成Ozone。

總之，Ozone站在Hadoop在這個(gè)巨人的肩膀上，設(shè)計(jì)是為了取代它HDFS，藍(lán)而不是藍(lán)。

潭主家的儲(chǔ)存一哥

早年接觸過(guò)Ceph，也搞過(guò)HCP（Hitachi Content Platform）對(duì)象存儲(chǔ)，這些經(jīng)驗(yàn)理解潭主Ozone大有裨益。

專門(mén)查了自己的HCP，發(fā)現(xiàn)圖像文件已超過(guò)20億Susumu代理，存儲(chǔ)容量也小2PB。但在查詢過(guò)程中明顯感覺(jué)到元數(shù)據(jù)響應(yīng)緩慢，估計(jì)很快就會(huì)擴(kuò)容。

言歸正傳，再來(lái)說(shuō)說(shuō)Ozone核心概念：

· Volume：通常表示用戶、業(yè)務(wù)和HCP中的租戶（Tenant）對(duì)應(yīng)

· Bucket：通常表示業(yè)務(wù)、應(yīng)用和HCP命名空間（Namespace）對(duì)應(yīng)

· Key：對(duì)應(yīng)的是實(shí)際的Object

Ozone存儲(chǔ)路徑為/Volume/Bucket/Key，一個(gè)業(yè)務(wù)可以對(duì)應(yīng)一個(gè)或多個(gè)Volume，每個(gè)Volume可包含多個(gè)Bucket，訪問(wèn)方式Ozone實(shí)現(xiàn)了ofs和o3fs適配和協(xié)議包裝。

值得注意的是，HCP有文件夾的概念，即對(duì)象文件有層次結(jié)構(gòu)，但Ozone設(shè)計(jì)扁平，目錄是偽目錄的概念，是文件名的一部分，統(tǒng)一Key而存在。

Ozone的體系架構(gòu)

介紹完概念，再看Ozone系統(tǒng)架構(gòu)(如上圖):

· OM（Ozone Manager）：通過(guò)RocksDB的K-V方式管理Namespace，Raft協(xié)議保持高可用性，Shardig實(shí)現(xiàn)水平擴(kuò)展

· SCM（Storage Container Manager）：用于Ozone集群管理，負(fù)責(zé)分配Block，跟蹤SC復(fù)制狀態(tài)

· DataNode：負(fù)責(zé)向SCM匯報(bào)SC狀態(tài)

· SC（Storage Container）：Ozone實(shí)際存儲(chǔ)單元

· Recon Server：用于監(jiān)控Ozone集群

Ozone架構(gòu)優(yōu)化，上層實(shí)現(xiàn)功能分離，OM負(fù)責(zé)管理Namespace，SCM負(fù)責(zé)管理Storage Containers。

下層實(shí)現(xiàn)了一個(gè)名字Hadoop Distributed Data Store（HDDS）高可用性、塊存儲(chǔ)層。

Ozone中的一個(gè)DataNode包括多個(gè)Storage Container，每個(gè)SC(默認(rèn)5)容量GB，可配置)遠(yuǎn)大于Hadoop中Block容量（默認(rèn)128MB），這種設(shè)計(jì)使每一個(gè)DN發(fā)送給SCM的Container-Report系統(tǒng)壓力遠(yuǎn)小于傳統(tǒng)壓力Hadoop集群的Block-Report。

Storage Container作為Ozone通過(guò)其內(nèi)置，基本存儲(chǔ)和復(fù)制單元類似于超級(jí)塊RocksDB（key記錄BlockID，Value記錄object對(duì)小文件的塊管理實(shí)現(xiàn)了文件名、偏移量和長(zhǎng)度。