Apache冰山：一種現(xiàn)代餐桌格式，用于增強數(shù)據(jù)湖管理

Apache Iceberg是一種尖端的表格格式，旨在解決傳統(tǒng)蜂巢桌的缺點，提供出色的性能，數(shù)據(jù)一致性和可擴展性。本文探討了冰山的演變，關(guān)鍵特征（酸性交易，架構(gòu)進化，時間旅行），建筑和與其他桌面格式（如三角洲湖和帕quet）的比較。我們還將研究其與現(xiàn)代數(shù)據(jù)湖泊的集成及其對大規(guī)模數(shù)據(jù)管理和分析的影響。

關(guān)鍵學(xué)習(xí)點

• 掌握Apache Iceberg的核心特征和建筑。
• 了解冰山如何在沒有數(shù)據(jù)重寫的情況下促進模式和分區(qū)演變。
• 探索酸交易和時間旅行如何增強數(shù)據(jù)一致性。
• 比較冰山對Delta Lake和Hudi的能力。
• 確定冰山優(yōu)化數(shù)據(jù)湖性能的方案。

目錄

• 阿帕奇冰山簡介
• 冰山的演變
• 了解冰山格式
• 阿帕奇冰山的核心特征
• 深入研究冰山的建筑
• 冰山與其他表格格式：比較
• 結(jié)論
• 常見問題

阿帕奇冰山簡介

Apache Iceberg起源于2017年的Netflix（Ryan Blue和Daniel Weeks的創(chuàng)意），是為了解決蜂巢表格式固有的固有局限性的效果瓶頸，一致性問題和局限性。開源并于2018年捐贈給Apache軟件基金會，迅速獲得了吸引力，吸引了蘋果，AWS和LinkedIn等行業(yè)巨頭的貢獻(xiàn)。

阿帕奇冰山的演變

Netflix的經(jīng)驗強調(diào)了Hive的一個危險弱點：它依靠目錄的桌面跟蹤。這種方法缺乏穩(wěn)健一致性，有效并發(fā)性以及現(xiàn)代數(shù)據(jù)倉庫中預(yù)期的高級功能所需的粒度。冰山的發(fā)展旨在克服這些局限性，重點是：

關(guān)鍵設(shè)計目標(biāo)

• 數(shù)據(jù)一致性：多個分區(qū)之間的更新必須是原子和無縫的，從而阻止用戶看到不一致的數(shù)據(jù)。
• 績效優(yōu)化：有效的元數(shù)據(jù)管理是消除查詢計劃瓶頸并加快查詢執(zhí)行的最重要的。
• 用戶友好性：分區(qū)應(yīng)該對用戶透明，允許無需手動干預(yù)即可自動查詢優(yōu)化。
• 架構(gòu)適應(yīng)性：應(yīng)安全處理架構(gòu)修改，而無需完整的數(shù)據(jù)集重寫。
• 可伸縮性：該解決方案必須有效地處理數(shù)據(jù)的之前，反映了Netflix的規(guī)模。

了解冰山格式

冰山通過將表作為文件列表而不是目錄來解決這些挑戰(zhàn)。它提供了標(biāo)準(zhǔn)化的格式，該格式定義了多個文件中的元數(shù)據(jù)結(jié)構(gòu)，并提供了與流行引擎（如Spark和Flink）無縫集成的庫。

數(shù)據(jù)湖標(biāo)準(zhǔn)

冰山的設(shè)計優(yōu)先考慮與現(xiàn)有存儲和計算引擎的兼容性，從而促進了廣泛的采用而沒有發(fā)生重大變化。目的是將冰山建立為行業(yè)標(biāo)準(zhǔn)，使用戶可以與桌子互動，而不論基本格式如何?，F(xiàn)在，許多數(shù)據(jù)工具提供本地冰山支持。

阿帕奇冰山的核心特征

冰山超越僅解決Hive的局限性；它引入了強大的功能，可增強數(shù)據(jù)湖和數(shù)據(jù)湖泊工作量。關(guān)鍵功能包括：

酸交易保證

冰山使用樂觀的并發(fā)控制來確保酸性特性，以確保交易是完全投入或完全卷回去的。這可以最大程度地減少沖突，同時保持?jǐn)?shù)據(jù)完整性。

分區(qū)演變

與傳統(tǒng)數(shù)據(jù)湖不同，冰山可以在不重寫整個桌子的情況下修改分區(qū)方案。這樣可以確保有效的查詢優(yōu)化而不會破壞現(xiàn)有數(shù)據(jù)。

隱藏的分區(qū)

冰山會自動根據(jù)分區(qū)優(yōu)化查詢，從而消除了用戶通過分區(qū)列手動過濾的需求。

劃分級操作（抄寫和讀取中的合并）

冰山支持有效的行級更新，同時支持抄寫（Cow）和Merge-on-Read（MOR）策略。

時間旅行和版本回滾

冰山的不變快照使時間旅行查詢以及回到以前的表格狀態(tài)的能力。

模式進化

冰山支持模式修改（添加，刪除或更改列），而無需數(shù)據(jù)重寫，確保靈活性和兼容性。

深入研究冰山的建筑

本節(jié)探討了冰山的建筑及其如何克服Hive的局限性。

數(shù)據(jù)層

數(shù)據(jù)層存儲實際的表數(shù)據(jù)（數(shù)據(jù)文件和刪除文件）。它托管在分布式文件系統(tǒng)（HDFS，S3等）上，并支持多個文件格式（Parquet，orc，avro）。對于其柱狀存儲而言，通常首選Parquet。

元數(shù)據(jù)層

該層在樹結(jié)構(gòu)中管理所有元數(shù)據(jù)文件，跟蹤數(shù)據(jù)文件和操作。關(guān)鍵組件包括清單文件，清單列表和元數(shù)據(jù)文件。海雀文件存儲高級統(tǒng)計信息和索引，以進行查詢優(yōu)化。

目錄

該目錄充當(dāng)中央注冊表，為每個表提供當(dāng)前元數(shù)據(jù)文件的位置，確保所有讀者和作家都持續(xù)訪問。各種后端可以用作冰山目錄（Hadoop目錄，Hive Metastore，Nessie Catalog，AWS Glue目錄）。

冰山與其他表格格式：比較

冰山，鑲木木，獸人和三角洲湖經(jīng)常用于大規(guī)模數(shù)據(jù)處理。冰山將自己作為表格格式區(qū)分開，提供交易保證和元數(shù)據(jù)優(yōu)化，這與文件格式不同。與三角洲湖相比，冰山在模式和分區(qū)進化中出色。

結(jié)論

Apache Iceberg為數(shù)據(jù)湖管理提供了強大，可擴展和用戶友好的方法。它的功能使其成為處理大規(guī)模數(shù)據(jù)的組織的引人注目的解決方案。

常見問題

Q1。什么是Apache冰山？答：一種現(xiàn)代的開源表格式，可增強數(shù)據(jù)湖性能，一致性和可擴展性。

Q2。為什么需要阿帕奇冰山？答：克服Hive在元數(shù)據(jù)處理和交易功能中的局限性。

Q3。冰山如何處理模式演變？答：它支持模式更改，而無需全表重寫。

Q4。什么是冰山的分區(qū)進化？ A.修改分區(qū)方案而無需重寫歷史數(shù)據(jù)。

Q5。冰山如何支持酸交易？答：通過樂觀的并發(fā)控制，確保原子更新。

以上是如何使用Apache冰山表？的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！