Kafkaメッセージ承認(rèn)オプション

Kafkaは、パフォーマンスと信頼性の両方に影響を與えるいくつかのメッセージ確認(rèn)オプションを提供します。 これらのオプションは、消費(fèi)者がメッセージを正常に処理したことをブローカーに信號(hào)する方法を制御します。 重要なオプションは次のとおりです。

• 自動(dòng)承認(rèn)：
消費(fèi)者は、特定の時(shí)間間隔の後または特定の數(shù)のメッセージを処理した後にメッセージを自動(dòng)的に確認(rèn)します。これは最も単純なアプローチであり、高いスループットであるが犠牲になる信頼性を提供します。消費(fèi)者が承認(rèn)する前にクラッシュすると、メッセージが処理されたと見なされ、潛在的にデータの損失につながる。
• 手動(dòng)の承認(rèn)：consumer.commitSync()消費(fèi)者は、consumer.commitAsync()または
メソッドを使用して各メッセージを個(gè)別に明示的に認(rèn)めます。メッセージは、明示的な承認(rèn)後にのみ消費(fèi)されると見なされるため、最高の信頼性を提供します。ただし、必要な追加の調(diào)整があるため、パフォーマンスオーバーヘッドが付屬しています。
• 特定のオフセットを使用した手動(dòng)の確認(rèn)：
これにより、より詳細(xì)な制御が可能になります。 消費(fèi)者は、受信したメッセージのバッチ內(nèi)であっても、特定のオフセットを認(rèn)めることができます。これにより、合理的なレベルのパフォーマンスを維持しながら個(gè)々のメッセージ処理の障害を処理する柔軟性が得られます。 オフセットは、パーティション內(nèi)の各メッセージの一意の識(shí)別子です。 消費(fèi)者がトピックを購読すると、特定のオフセットから始まる一連のメッセージが受信されます。 謝辭戦略では、消費(fèi)者がそのオフセットをどのように更新するかを決定し、それらのメッセージを処理したことをブローカーに示します。
• 自動(dòng)謝辭：ブローカーは、構(gòu)成された時(shí)間またはメッセージカウントに基づいてオフセットを自動(dòng)的に更新します。 消費(fèi)者が自動(dòng)承認(rèn)の前に失敗した場(chǎng)合、メッセージは失われます。 この戦略はデータの損失になりやすいが、最高のスループットを提供します。
• 手動(dòng)確認(rèn)（同期）：消費(fèi)者は明示的にオフセットを更新するように呼び出します。これはブロッキング操作です。消費(fèi)者は、次のメッセージのバッチを処理する前に、ブローカーの確認(rèn)を待ちます。 これにより、メッセージの配信が保証されますが、同期性のためにパフォーマンスに影響を與えます。consumer.commitSync()
• マニュアル承認(rèn)（ASYNC）：消費(fèi)者はを呼び出し、消費(fèi)者はブローカーの承認(rèn)を待たずにメッセージの処理を続けることができます。これによりパフォーマンスが大幅に向上しますが、非同期コミットが完了する前に消費(fèi)者がクラッシュするとデータ損失の可能性が導(dǎo)入されます。 コールバックを使用して、潛在的なコミットフェイルの潛在的な障害を処理できます。consumer.commitAsync()
• 特定のオフセットを使用した手動(dòng)の確認(rèn)：これは、最も制御と柔軟性を提供します。 メッセージの処理が失敗した場(chǎng)合、消費(fèi)者は特定のオフセットを認(rèn)めないことを選択でき、後で再処理できます。これは、すべてのメッセージを同期するというパフォーマンスペナルティなしで信頼性を提供します。データの損失。
手動(dòng)確認(rèn)（同期）：ブロッキングコールによるスループットの低いが、メッセージ配信は保証されます。 多くの場(chǎng)合、これは最も遅いオプションです。

手動(dòng)確認(rèn)（ASYNC）：

スループットと信頼性のバランスが良好です。 非同期性は、同期的アプローチよりもパフォーマンスが向上しますが、同期の認(rèn)識(shí)と比較してデータ損失のリスクが高くなります。
• 特定のオフセットを使用した手動(dòng)の謝辭：特定のオフセットのみがコミットされるため、パフォーマンスは一般に同期コミットよりも優(yōu)れています。 このオプションは、スループットと信頼性の良いバランスを提供します。 実際のパフォーマンスは、個(gè)々のメッセージの障害の頻度に依存します。
• どのkafkaメッセージ承認(rèn)オプションが私のアプリケーションの特定のニーズと信頼性の要件に最適ですか？データ損失が許容され、スループットが高くなるアプリケーションの場(chǎng)合、
  • の場(chǎng)合（例：ロギング、メトリック）：自動(dòng)謝辭は適切な選択です。パフォーマンスの制限があります。適切なエラー処理または特定のオフセットを使用した手動(dòng)の承認(rèn)を使用した手動(dòng)非同期承認(rèn)は、良い妥協(xié)を提供します。 障害のあるメッセージ処理を処理するために再試行メカニズムを使用することを検討してください。
  • 時(shí)折のメッセージ処理障害があるアプリケーションの場(chǎng)合：
  特定のオフセットを使用した手動(dòng)の承認(rèn)は、選択的な承認(rèn)を可能にし、パフォーマンスを最適化しながら信頼性を確保します。 スループットと信頼性の間のトレードオフを慎重に検討して、あなたのニーズを最もよく満たすオプションを選択してください。

以上がKafkaメッセージ承認(rèn)オプションの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。