ファイアードゥックでデータワークフローをスーパーチャージする：パンダよりも速いPythonライブラリ125x パンダが大規(guī)模なデータセットを処理するのを無限に待つことにうんざりしていませんか？ データサイエンスのペースの速い世界では、効率が重要です。 データセットが大きくなり、より複雑になるにつれて、処理ツールをより高速化する必要性が重要になります。 NECが開発した革新的なPythonライブラリであるFireducksは、パンダよりも最大125倍速い速度を?qū)毪工毳渐辚濠`ションを提供します。 これにより、データサイエンティスト、アナリスト、開発者にとっても非常に貴重な資産になります。

目次

• パフォーマンスベンチマーク
• fireducks vs. Pandas：実用的な比較
• ステップ1：ライブラリのインポート
  • ステップ2：サンプルデータの生成
  • ステップ3：Fireducks DataFrameの作成
  • ステップ4：タイミングパンダの実行
  • ステップ5：タイミングfireducks execution
  • ステップ6：パフォーマンスの比較
  fireducksの重要な利點(diǎn)
• 有用なリソース
• よくある質(zhì)問
fireducksとは？

Fireducksは、データ分析を合理化するために設(shè)計(jì)された高性能Pythonライブラリです。 高性能コンピューティングにおけるNECの広範(fàn)な専門知識(shí)を活用すると、Fireducksは並外れた速度と効率を提供します。

パンダの処理が最大125倍高速で達(dá)成されます。
• シームレスな互換性：おなじみのPandas APIを使用して、コードの変更を最小限に抑えます。
• インテリジェントな最適化：怠zyな評(píng)価を採用して、操作を最適化し、リソースを節(jié)約します。
パフォーマンスベンチマーク
• Fireducksのパフォーマンスは、さまざまなサイズのデータ??セットでコアデータサイエンスオペレーション（參加やグループバイなど）を評(píng)価するベンチマークスイートであるDBベンチマークを使用して厳密にテストされました。 2024年9月10日の時(shí)點(diǎn)で、Fireducksは優(yōu)れたパフォーマンスを?qū)g証し、GroupByのトップパフォーマーとしての地位を固め、大規(guī)模なデータセットで操作に參加しました。

公式結(jié)果リンク

にアクセスしてください 包括的なベンチマークの詳細(xì)は、

。
• で入手できます fireducks vs. Pandas：実用的な比較
• 実際のシナリオを使用して、FireducksとPandasを比較しましょう。データをロードし、フィルタリングし、グループ操作を?qū)g行し、集計(jì)し、Fireducksの速度の利點(diǎn)を強(qiáng)調(diào)します。

  ステップ1：ライブラリのインポート

  import pandas as pd
  import fireducks.pandas as fpd
  import numpy as np
  import time

  ステップ2：サンプルデータの生成

  num_rows = 10_000_000
  df_pandas = pd.DataFrame({
      'A': np.random.randint(1, 100, num_rows),
      'B': np.random.rand(num_rows),
  })

  これにより、ランダムな整數(shù)（列 'a'）と浮動(dòng)小數(shù)點(diǎn)數(shù)（列 'b'）を含む1,000萬列のパンダデータフレーム（

  ）が作成されます。 df_pandasステップ3：Fireducks DataFrameの作成

  PANDASデータフレームはFireducks DataFrame（）に変換されます。

  df_fireducks = fpd.DataFrame(df_pandas)

  ステップ4：タイミングパンダの実行

  df_fireducks

  これは、Pandas DataFrameでのGroupBy操作にかかった時(shí)間を測(cè)定します。

  ステップ5：タイミングfireducks execution

  start_time = time.time()
  result_pandas = df_pandas.groupby('A')['B'].sum()
  pandas_time = time.time() - start_time
  print(f"Pandas execution time: {pandas_time:.4f} seconds")

  これは、Fireducksのデータフレームで同じグループ操作を?qū)g行し、実行時(shí)間を測(cè)定します。

  ステップ6：パフォーマンスの比較

  start_time = time.time()
  result_fireducks = df_fireducks.groupby('A')['B'].sum()
  fireducks_time = time.time() - start_time
  print(f"FireDucks execution time: {fireducks_time:.4f} seconds")

  これにより、パンダに対するファイヤードゥックの速度改善を計(jì)算して印刷します。
  fireducksの重要な利點(diǎn)

  speed_up = pandas_time / fireducks_time
  print(f"FireDucks is approximately {speed_up:.2f} times faster than pandas.")

  幅広いプラットフォームサポート：

  Linux、Windows（WSL経由）、およびMacOSでシームレスに動(dòng)作します。
  楽な移行：
  おなじみのPandas APIは、スムーズな學(xué)習(xí)曲線を保証します。
  • 自動(dòng)効率：怠zyな評(píng)価と自動(dòng)最適化舞臺(tái)裏のパフォーマンスを処理します。
  • 有用なリソース
  • 公式ドキュメント：fireducks docs
  githubリポジトリ：
  • fireducks github NYCデモノートブック：
  • nycデモノートブックリンク Twitter/x：
  • @fireducksdev 結(jié)論
  • Fireducksは、データ分析効率の劇的な改善を提供し、Pandasよりも最大125倍速い速度を達(dá)成します。 Pandas API、怠zyな評(píng)価、自動(dòng)最適化との互換性により、大規(guī)模なデータセットを操作するデータプロフェッショナルにとって強(qiáng)力なツールになります。 よくある質(zhì)問 Q1。 FireducksはPandasと互換性がありますか？ A.はい、同じAPIを使用しています。
  q2。 windowsでfireducksを使用できますか？

  A.はい、WSLを介して。

  q3。 FireducksはPolarsまたはDaskと比較してどうですか？

  Q4。 Fireducksは無料ですか？

  A.はい、限られた機(jī)能を備えた無料プランが利用可能です。有料プランは機(jī)能の拡大を提供します。

  を?qū)g際のリンクに置き換えることを忘れないでください

以上がさようならパンダ：Fireducksは、125倍のより速いパフォーマンスを提供しますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。