Apache冰山：一種現(xiàn)代餐桌格式，用於增強(qiáng)數(shù)據(jù)湖管理

Apache Iceberg是一種尖端的表格格式，旨在解決傳統(tǒng)蜂巢桌的缺點(diǎn)，提供出色的性能，數(shù)據(jù)一致性和可擴(kuò)展性。本文探討了冰山的演變，關(guān)鍵特徵（酸性交易，架構(gòu)進(jìn)化，時(shí)間旅行），建築和與其他桌面格式（如三角洲湖和帕quet）的比較。我們還將研究其與現(xiàn)代數(shù)據(jù)湖泊的集成及其對(duì)大規(guī)模數(shù)據(jù)管理和分析的影響。

關(guān)鍵學(xué)習(xí)點(diǎn)

• 掌握Apache Iceberg的核心特徵和建築。
• 了解冰山如何在沒(méi)有數(shù)據(jù)重寫(xiě)的情況下促進(jìn)模式和分區(qū)演變。
• 探索酸交易和時(shí)間旅行如何增強(qiáng)數(shù)據(jù)一致性。
• 比較冰山對(duì)Delta Lake和Hudi的能力。
• 確定冰山優(yōu)化數(shù)據(jù)湖性能的方案。

目錄

• 阿帕奇冰山簡(jiǎn)介
• 冰山的演變
• 了解冰山格式
• 阿帕奇冰山的核心特徵
• 深入研究冰山的建築
• 冰山與其他表格格式：比較
• 結(jié)論
• 常見(jiàn)問(wèn)題

阿帕奇冰山簡(jiǎn)介

Apache Iceberg起源於2017年的Netflix（Ryan Blue和Daniel Weeks的創(chuàng)意），是為了解決蜂巢表格式固有的固有局限性的效果瓶頸，一致性問(wèn)題和局限性。開(kāi)源並於2018年捐贈(zèng)給Apache軟件基金會(huì)，迅速獲得了吸引力，吸引了蘋(píng)果，AWS和LinkedIn等行業(yè)巨頭的貢獻(xiàn)。

阿帕奇冰山的演變

Netflix的經(jīng)驗(yàn)強(qiáng)調(diào)了Hive的一個(gè)危險(xiǎn)弱點(diǎn)：它依靠目錄的桌面跟蹤。這種方法缺乏穩(wěn)健一致性，有效並發(fā)性以及現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)中預(yù)期的高級(jí)功能所需的粒度。冰山的發(fā)展旨在克服這些局限性，重點(diǎn)是：

關(guān)鍵設(shè)計(jì)目標(biāo)

• 數(shù)據(jù)一致性：多個(gè)分區(qū)之間的更新必須是原子和無(wú)縫的，從而阻止用戶看到不一致的數(shù)據(jù)。
• 績(jī)效優(yōu)化：有效的元數(shù)據(jù)管理是消除查詢計(jì)劃瓶頸並加快查詢執(zhí)行的最重要的。
• 用戶友好性：分區(qū)應(yīng)該對(duì)用戶透明，允許無(wú)需手動(dòng)干預(yù)即可自動(dòng)查詢優(yōu)化。
• 架構(gòu)適應(yīng)性：應(yīng)安全處理架構(gòu)修改，而無(wú)需完整的數(shù)據(jù)集重寫(xiě)。
• 可伸縮性：該解決方案必須有效地處理數(shù)據(jù)的之前，反映了Netflix的規(guī)模。

了解冰山格式

冰山通過(guò)將表作為文件列表而不是目錄來(lái)解決這些挑戰(zhàn)。它提供了標(biāo)準(zhǔn)化的格式，該格式定義了多個(gè)文件中的元數(shù)據(jù)結(jié)構(gòu)，並提供了與流行引擎（如Spark和Flink）無(wú)縫集成的庫(kù)。

數(shù)據(jù)湖標(biāo)準(zhǔn)

冰山的設(shè)計(jì)優(yōu)先考慮與現(xiàn)有存儲(chǔ)和計(jì)算引擎的兼容性，從而促進(jìn)了廣泛的採(cǎi)用而沒(méi)有發(fā)生重大變化。目的是將冰山建立為行業(yè)標(biāo)準(zhǔn)，使用戶可以與桌子互動(dòng)，而不論基本格式如何?，F(xiàn)在，許多數(shù)據(jù)工具提供本地冰山支持。

阿帕奇冰山的核心特徵

冰山超越僅解決Hive的局限性；它引入了強(qiáng)大的功能，可增強(qiáng)數(shù)據(jù)湖和數(shù)據(jù)湖泊工作量。關(guān)鍵功能包括：

酸交易保證

冰山使用樂(lè)觀的並發(fā)控制來(lái)確保酸性特性，以確保交易是完全投入或完全卷回去的。這可以最大程度地減少衝突，同時(shí)保持?jǐn)?shù)據(jù)完整性。

分區(qū)演變

與傳統(tǒng)數(shù)據(jù)湖不同，冰山可以在不重寫(xiě)整個(gè)桌子的情況下修改分區(qū)方案。這樣可以確保有效的查詢優(yōu)化而不會(huì)破壞現(xiàn)有數(shù)據(jù)。

隱藏的分區(qū)

冰山會(huì)自動(dòng)根據(jù)分區(qū)優(yōu)化查詢，從而消除了用戶通過(guò)分區(qū)列手動(dòng)過(guò)濾的需求。

劃分級(jí)操作（抄寫(xiě)和讀取中的合併）

冰山支持有效的行級(jí)更新，同時(shí)支持抄寫(xiě)（Cow）和Merge-on-Read（MOR）策略。

時(shí)間旅行和版本回滾

冰山的不變快照使時(shí)間旅行查詢以及回到以前的表格狀態(tài)的能力。

模式進(jìn)化

冰山支持模式修改（添加，刪除或更改列），而無(wú)需數(shù)據(jù)重寫(xiě)，確保靈活性和兼容性。

深入研究冰山的建築

本節(jié)探討了冰山的建築及其如何克服Hive的局限性。

數(shù)據(jù)層

數(shù)據(jù)層存儲(chǔ)實(shí)際的表數(shù)據(jù)（數(shù)據(jù)文件和刪除文件）。它託管在分佈式文件系統(tǒng)（HDFS，S3等）上，並支持多個(gè)文件格式（Parquet，orc，avro）。對(duì)於其柱狀存儲(chǔ)而言，通常首選Parquet。

元數(shù)據(jù)層

該層在樹(shù)結(jié)構(gòu)中管理所有元數(shù)據(jù)文件，跟蹤數(shù)據(jù)文件和操作。關(guān)鍵組件包括清單文件，清單列表和元數(shù)據(jù)文件。海雀文件存儲(chǔ)高級(jí)統(tǒng)計(jì)信息和索引，以進(jìn)行查詢優(yōu)化。

目錄

該目錄充當(dāng)中央註冊(cè)表，為每個(gè)表提供當(dāng)前元數(shù)據(jù)文件的位置，確保所有讀者和作家都持續(xù)訪問(wèn)。各種後端可以用作冰山目錄（Hadoop目錄，Hive Metastore，Nessie Catalog，AWS Glue目錄）。

冰山與其他表格格式：比較

冰山，鑲木木，獸人和三角洲湖經(jīng)常用於大規(guī)模數(shù)據(jù)處理。冰山將自己作為表格格式區(qū)分開(kāi)，提供交易保證和元數(shù)據(jù)優(yōu)化，這與文件格式不同。與三角洲湖相比，冰山在模式和分區(qū)進(jìn)化中出色。

結(jié)論

Apache Iceberg為數(shù)據(jù)湖管理提供了強(qiáng)大，可擴(kuò)展和用戶友好的方法。它的功能使其成為處理大規(guī)模數(shù)據(jù)的組織的引人注目的解決方案。

常見(jiàn)問(wèn)題

Q1。什麼是Apache冰山？答：一種現(xiàn)代的開(kāi)源表格式，可增強(qiáng)數(shù)據(jù)湖性能，一致性和可擴(kuò)展性。

Q2。為什麼需要阿帕奇冰山？答：克服Hive在元數(shù)據(jù)處理和交易功能中的局限性。

Q3。冰山如何處理模式演變？答：它支持模式更改，而無(wú)需全表重寫(xiě)。

Q4。什麼是冰山的分區(qū)進(jìn)化？ A.修改分區(qū)方案而無(wú)需重寫(xiě)歷史數(shù)據(jù)。

Q5。冰山如何支持酸交易？答：通過(guò)樂(lè)觀的並發(fā)控制，確保原子更新。

以上是如何使用Apache冰山表？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！