Apache Iceberg：データレイク管理を強(qiáng)化するための最新のテーブル形式

Apache Icebergは、従來(lái)のハイブテーブルの欠點(diǎn)に対処するために設(shè)計(jì)された最先端のテーブル形式であり、優(yōu)れたパフォーマンス、データの一貫性、およびスケーラビリティを?qū)g現(xiàn)します。この記事では、Icebergの進(jìn)化、主要な機(jī)能（酸トランザクション、スキーマの進(jìn)化、タイムトラベル）、アーキテクチャ、およびデルタ湖やParquetなどの他のテーブル形式との比較について説明します。また、最新のデータ湖との統(tǒng)合と、大規(guī)模なデータ管理と分析への影響を調(diào)べます。

重要な學(xué)習(xí)ポイント

• Apache Icebergのコア機(jī)能とアーキテクチャを把握します。
• Icebergがデータの書(shū)き換えなしにスキーマとパーティションの進(jìn)化をどのように促進(jìn)するかを理解してください。
• 酸トランザクションとタイムトラベルがデータの一貫性を強(qiáng)化する方法を調(diào)べます。
• アイスバーグの能力をデルタ湖とフディと比較してください。
• 氷山がデータ湖のパフォーマンスを最適化するシナリオを特定します。

目次

• Apache Icebergの紹介
• 氷山の進(jìn)化
• 氷山形式の理解
• Apache Icebergのコア機(jī)能
• 氷山の建築に深く潛ります
• Iceberg vs.その他のテーブル形式：比較
• 結(jié)論
• よくある質(zhì)問(wèn)

Apache Icebergの紹介

2017年にNetflixで発信され（Ryan BlueとDaniel Weeksの発案者）、Apache Icebergは、ハイブテーブル形式に固有のパフォーマンスボトルネック、一貫性の問(wèn)題、制限を解決するために作成されました。 2018年にオープンソーシングされ、Apache Software Foundationに寄付され、すぐに牽引力を獲得し、Apple、AWS、LinkedInなどの業(yè)界の巨人からの貢獻(xiàn)を引き付けました。

Apache Icebergの進(jìn)化

Netflixの経験は、ハイブの重大な弱點(diǎn)を強(qiáng)調(diào)しました。テーブル追跡のためのディレクトリへの依存です。このアプローチには、堅(jiān)牢な一貫性、効率的な並行性、および最新のデータ倉(cāng)庫(kù)で予想される高度な機(jī)能に必要な粒度がありませんでした。 Icebergの開(kāi)発は、次のことを焦點(diǎn)を當(dāng)ててこれらの制限を克服することを目的としています。

主要な設(shè)計(jì)目標(biāo)

• データの一貫性：複數(shù)のパーティションにおける更新はアトミックでシームレスである必要があり、ユーザーが一貫性のないデータを見(jiàn)ることができなくなります。
• パフォーマンスの最適化：効率的なメタデータ管理は、クエリの計(jì)畫(huà)ボトルネックを排除し、クエリの実行をスピードアップするために最も重要でした。
• ユーザーフレンドリー：パーティション化はユーザーに透過(guò)的である必要があり、手動(dòng)介入なしで自動(dòng)クエリの最適化を可能にします。
• スキーマの適応性：スキーマの変更は、完全なデータセット書(shū)き換えを必要とせずに安全に処理する必要があります。
• スケーラビリティ：ソリューションは、Netflixのスケールをミラーリングして、ペタバイトのデータを効率的に処理する必要がありました。

氷山形式の理解

Icebergは、ディレクトリではなく、ファイルの構(gòu)造化リストとしてテーブルを追跡することにより、これらの課題に対処します。複數(shù)のファイルにわたってメタデータ構(gòu)造を定義する標(biāo)準(zhǔn)化された形式を提供し、SparkやFlinkなどの人気エンジンとのシームレスな統(tǒng)合のためのライブラリを提供します。

データレイク標(biāo)準(zhǔn)

Icebergの設(shè)計(jì)は、既存のストレージおよび計(jì)算エンジンとの互換性を優(yōu)先し、大幅な変更なしに広範(fàn)な採(cǎi)用を促進(jìn)します。目的は、氷山を業(yè)界標(biāo)準(zhǔn)として確立し、ユーザーが基礎(chǔ)となる形式に関係なくテーブルと対話できるようにすることです。現(xiàn)在、多くのデータツールがネイティブアイスバーグのサポートを提供しています。

Apache Icebergのコア機(jī)能

アイスバーグは、単にハイブの制限に対処するだけで超越しています。データレイクとデータレイクハウスのワークロードを強(qiáng)化する強(qiáng)力な機(jī)能を?qū)毪筏蓼?。主な機(jī)能は次のとおりです。

酸トランザクション保証

Icebergは、楽観的な並行性制御を使用して酸性特性を確保し、トランザクションが完全にコミットされるか、完全に巻き戻されていることを保証します。これにより、データの整合性を維持しながら、競(jìng)合が最小限に抑えられます。

パーティションの進(jìn)化

従來(lái)のデータ湖とは異なり、Icebergはテーブル全體を書(shū)き直さずにパーティションスキームを変更できます。これにより、既存のデータを破壊することなく、効率的なクエリ最適化が保証されます。

隠されたパーティション

Icebergは、パーティション化に基づいてクエリを自動(dòng)的に最適化し、ユーザーがパーティション列で手動(dòng)でフィルタリングする必要性を排除します。

行レベルの操作（コピーオンワイトとマージオンリード）

Icebergは、効率的な行レベルの更新のために、コピーオンワイト（COW）とMerge-on-read（MOR）戦略の両方をサポートしています。

タイムトラベルとバージョンロールバック

Icebergの不変のスナップショットにより、タイムトラベルクエリと以前のテーブル狀態(tài)にロールバックする機(jī)能が可能になります。

スキーマの進(jìn)化

Icebergは、データの書(shū)き換えなしにスキーマの変更（列の追加、削除、または変更）をサポートし、柔軟性と互換性を確保します。

氷山の建築に深く潛ります

このセクションでは、Icebergの建築と、Hiveの制限を克服する方法について説明します。

データレイヤー

データレイヤーは、実際のテーブルデータ（データファイルと削除ファイル）を保存します。分散ファイルシステム（HDFS、S3など）でホストされ、複數(shù)のファイル形式（Parquet、ORC、AVRO）をサポートしています。寄木細(xì)工は、一般的にその円柱狀の保管よりも好まれます。

メタデータ層

このレイヤーは、ツリー構(gòu)造內(nèi)のすべてのメタデータファイルを管理し、データファイルと操作を追跡します。主要なコンポーネントには、マニフェストファイル、マニフェストリスト、メタデータファイルが含まれます。 Puffin Filesは、クエリ最適化のための高度な統(tǒng)計(jì)とインデックスを保存します。

カタログ

カタログは中央のレジストリとして機(jī)能し、各テーブルの現(xiàn)在のメタデータファイルの場(chǎng)所を提供し、すべての読者と作家に一貫したアクセスを保証します。さまざまなバックエンドは、Icebergカタログ（Hadoopカタログ、Hive Metastore、Nessie Catalog、AWS Glue Catalog）として機(jī)能します。

Iceberg vs.その他のテーブル形式：比較

氷山、パルケット、オーク、デルタ湖は、大規(guī)模なデータ処理で頻繁に使用されます。 Icebergは、ファイル形式であるParquetやOrcとは異なり、トランザクション保証とメタデータの最適化を提供するテーブル形式として區(qū)別しています。デルタ湖と比較して、アイスバーグはスキーマとパーティションの進(jìn)化に優(yōu)れています。

結(jié)論

Apache Icebergは、データレイク管理に対する堅(jiān)牢でスケーラブルでユーザーフレンドリーなアプローチを提供します。その機(jī)能により、大規(guī)模なデータを処理する組織にとって魅力的なソリューションになります。

よくある質(zhì)問(wèn)

Q1。 Apache Icebergとは何ですか？ A.データのパフォーマンス、一貫性、およびスケーラビリティを強(qiáng)化する最新のオープンソーステーブル形式。

Q2。 Apache Icebergが必要なのはなぜですか？ A.メタデータの取り扱いとトランザクション機(jī)能におけるHiveの制限を克服する。

Q3。 Icebergはスキーマの進(jìn)化をどのように処理しますか？ A.完全なテーブル書(shū)き換えを必要とせずにスキーマの変更をサポートします。

Q4。 Icebergのパーティションの進(jìn)化とは何ですか？ A.履歴データを書(shū)き換えずにパーティションスキームを変更します。

Q5。 Icebergは酸トランザクションをどのようにサポートしていますか？ A.楽観的な並行性制御を通じて、アトミックの更新を確保します。

以上がApache Icebergテーブルの使用方法は？の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。