Apache Kafkaは、実際のデータパイプラインとアプリケーションを構(gòu)築するために広く使用されている強力な分散イベントストリームプラットフォームです。そのコア関數(shù)の1つは、メッセージパーティション、ソート、ルーティングで重要な役割を果たしている Kafkaメッセージキー

です。この記事では、Kafkaキーの概念、重要性、および実際の例について説明します。 カフカの鍵は何ですか？

kafkaでは、各メッセージには2つの主要なコンポーネントが含まれています。

key（key）

：メッセージを決定するパーティションが送信されます。

• 値：メッセージの実際のデータは効果的な負(fù)荷です。
• Kafkaプロデューサーはキーを使用してハッシュ値を計算し、メッセージの特定のパーティションを決定します。キーが提供されていない場合、メッセージは回転によってさまざまなパーティションに配布されます。 なぜカフカキーを使用するのですか？

kafkaキーはいくつかの利點を提供し、いくつかのシーンで不可欠なものにします：

メッセージ並べ替え

：

1. 同じキーを持つメッセージは、常に同じパーティションにルーティングします。これにより、パーティション內(nèi)のこれらのメッセージの順序が予約されます。

   例：e -Commerceシステムでは、Order_idをキーとして使用して、特定の注文に関連するすべてのイベント（「注文が配置されている」および「注文配送」）が順番に処理されることを確認(rèn)します。

   Logic Group
   • ：
キーは、関連するメッセージを同じパーティションにグループ化できます。

2. 例：モノのインターネットシステムの場合、sensor_idをキーとして使用すると、同じセンサーからのデータが一緒に処理されるようにします。

   • 効率的なデータ処理
   ：
   消費者は、キーを使用して、特定のパーティションからのメッセージを効率的に処理できます。
3. 例：ユーザーアクティビティ追跡システムでは、ユーザー_IDをキーとして使用すると、パーソナライズされた分析を?qū)g行するために、すべてのユーザーの操作がまとめられていることを確認(rèn)できます。
   log圧縮
   • ：
   Kafkaはログ圧縮をサポートし、各キーの最新値のみを保持します。これは、ステータスデータ（構(gòu)成やユーザー構(gòu)成ファイルなど）の維持に非常に便利です。

4. キーをいつ使用する必要がありますか？

   次の狀況では、キーを使用する必要があります。
   • 注文は重要です。
   論理的なグループ化が必要
：関連するメッセージをグループ化します（たとえば、同じサーバーまたは特定の顧客からのインシデントからのログなど）。

ログ圧縮

：各キーの最新の狀態(tài)のみを維持します。

ただし、各パーティションに不要に梱包されていない場合、または各パーティションに均等に分布している場合、より重要（たとえば、高スループットシステム）であり、使用キーを避ける必要があります。
• 例（python）
以下は、Confluent-Kafkaライブラリを使用したPythonの例で、メッセージを生成するときにキーを効果的に使用する方法を示します。

• 例1：ユーザーアクティビティトラッキング

  ウェブサイトでユーザーアクティビティを追跡するとします。 user_idをキーとして使用して、単一のユーザーのすべての操作が同じパーティションにルーティングされていることを確認(rèn)します。

  from confluent_kafka import Producer
  
  producer = Producer({'bootstrap.servers': 'localhost:9092'})
  
  # 使用user_id作為鍵發(fā)送消息
  key = "user123"
  value = "page_viewed"
  producer.produce(topic="user-activity", key=key, value=value)
  producer.flush()

  ここで、キーとしてuser123を使用してすべてのメッセージが同じパーティションを入力し、それによりその順序を保持します。

  例2：インターネットオブシングスセンサーデータ

  各センサーの溫度読み取りを送信するモノのインターネットシステムの場合、sensor_idをキーとして使用します。

  from confluent_kafka import Producer
  
  producer = Producer({'bootstrap.servers': 'localhost:9092'})
  
  # 使用sensor_id作為鍵發(fā)送消息
  key = "sensor42"
  value = "temperature=75"
  producer.produce(topic="sensor-data", key=key, value=value)
  producer.flush()

  これにより、Sensor42からのすべての読み取り値がグループ化されます。
  例3：注文処理
  注文処理システムでは、各注文のイベントの順序を維持するために、Order_idをキーとして使用します。

  from confluent_kafka import Producer
  
  producer = Producer({'bootstrap.servers': 'localhost:9092'})
  
  # 使用order_id作為鍵發(fā)送消息
  key = "order789"
  value = "Order Placed"
  producer.produce(topic="orders", key=key, value=value)
  producer.flush()

  kafkaキーを使用するベストプラクティス
  1. 慎重な設(shè)計キー

     ：

     ホットスポットを避けるために、各パーティションにキーが均等に配布されていることを確認(rèn)してください。
     • 例：ほとんどのユーザーが1つの領(lǐng)域に集中している場合は、高いフィールド（地理的位置など）の使用を避けてください。
  パーティション配布の監(jiān)視
  2. ：

     キーを使用する場合、パーティションの負(fù)荷を定期的に分析して、バランスの取れた分布を確保します。

     シリアル化を使用
  ：

  3. 消費者との互換性と一貫性を確保するために、正しくシリアル化されたキー（JSONやAVROなど）。

     結(jié)論
     Kafkaキーは強力な機能であり、パーティションで整然と処理と論理グループ化を行うことができます。アプリケーションの要件に応じてキーを慎重に設(shè)計および使用することにより、Kafkaのパフォーマンスを最適化し、データの一貫性を確保できます。インターネットのプラットフォームを構(gòu)築しているかどうか、e-コマースアプリケーションまたはリアルタイム分析システム、Kafkaキーを理解して使用すると、データストリームアーキテクチャが大幅に向上します。

以上がKafka Keysの理解：包括的なガイドの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。