Scala を使用して Spark SQL データフレーム內(nèi)のユーザー グループごとに上位 N 項(xiàng)目を取得する方法
Dec 22, 2024 am 04:58 AM
Spark SQL DataFrame でグループ化されたデータの TopN を生成する
問(wèn)題:
ユーザーを表す列を持つ Spark SQL DataFrame が指定された場(chǎng)合、アイテム、およびユーザー評(píng)価を使用して、ユーザーごとにグループ化し、各グループの上位 N 個(gè)のアイテムを取得するにはどうすればよいですか? Scala?
答え:
これを達(dá)成するには、次のようにランク ウィンドウ関數(shù)を利用できます:
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions.{rank, desc}
val n: Int = ???
// Define the window specification
val w = Window.partitionBy($"user").orderBy(desc("rating"))
// Calculate the rank for each item
val withRank = df.withColumn("rank", rank.over(w))
// Filter to retain only the top N items
val topNPerUser = withRank.where($"rank" <= n)
詳細(xì):
- ランク関數(shù)は、各ユーザー グループ內(nèi)の各アイテムにランクを付け、最も評(píng)価の高いアイテムにランク 1 が與えられます。
- w ウィンドウ仕様は、データフレームをユーザーごとに分割し、データを評(píng)価の降順に並べることによってランキングの範(fàn)囲を定義します。 .
- withRank データフレームには、フィルタリングに使用できる「ランク」列が含まれるようになりました。
- topNPerUser データフレームには、各ユーザーの評(píng)価に基づいて、各ユーザーの上位 N 項(xiàng)目。
ランク (同順位を無(wú)視) ではなく連続した行番號(hào)を割り當(dāng)てる row_number 関數(shù)を使用したい場(chǎng)合は、rank を row_number に置き換えることができます。ウィンドウ定義內(nèi):
val w = Window.partitionBy($"user").orderBy(desc("rating"))
val withRowNumber = df.withColumn("row_number", row_number.over(w))
val topNPerUser = withRowNumber.where($"row_number" <= n)以上がScala を使用して Spark SQL データフレーム內(nèi)のユーザー グループごとに上位 N 項(xiàng)目を取得する方法の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。
ホットAIツール
Undress AI Tool
脫衣畫像を無(wú)料で
Undresser.AI Undress
リアルなヌード寫真を作成する AI 搭載アプリ
AI Clothes Remover
寫真から衣服を削除するオンライン AI ツール。
Clothoff.io
AI衣類リムーバー
Video Face Swap
完全無(wú)料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡(jiǎn)単に交換できます。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無(wú)料のコードエディター
SublimeText3 中國(guó)語(yǔ)版
中國(guó)語(yǔ)版、とても使いやすい
ゼンドスタジオ 13.0.1
強(qiáng)力な PHP 統(tǒng)合開発環(huán)境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
8644
17
1787
16
1730
56
1582
29
1449
31
MySQLトランザクションの酸性特性は何ですか？
Jun 20, 2025 am 01:06 AM
MySQLトランザクションは、酸の特性に従って、データベーストランザクションの信頼性と一貫性を確保します。第一に、Atomicityは、トランザクションが不可分な全體として実行されることを保証します。たとえば、転送操作では、引き出しと預(yù)金を完了するか、同時(shí)に発生しない必要があります。第二に、一貫性により、トランザクションはデータベースをある有効な狀態(tài)から別の狀態(tài)に遷移させ、制約やトリガーなどのメカニズムを介して正しいデータロジックを維持します。第三に、分離は、同時(shí)実行時(shí)の複數(shù)のトランザクションの可視性を制御し、汚い読み、非繰り返しの読書、ファンタジーの読みを防ぎます。 MySQLは、ReadUncommittedおよびReadCommiをサポートしています。
MySQLのトランザクション分離レベルはどのくらいですか？デフォルトはどれですか？
Jun 23, 2025 pm 03:05 PM
MySQLのデフォルトのトランザクション分離レベルはRepeatablEREADであり、MVCCおよびGAPロックを介して汚れた読み取りや非回復(fù)可能な読み取りを防ぎ、ほとんどの場(chǎng)合ファントムの読み取りを回避します。他の主要なレベルには、読み取りのない読み物（読み取りcommitted）が含まれ、ダーティリードを許可しますが、最速のパフォーマンスを許可します。データの整合性を確保するが、パフォーマンスを犠牲にする。
MySQL binディレクトリをシステムパスに追加する方法
Jul 01, 2025 am 01:39 AM
MySQLのBINディレクトリをシステムパスに追加するには、異なるオペレーティングシステムに従って構(gòu)成する必要があります。 1。Windowsシステム：MySQLインストールディレクトリでビンフォルダーを見つけます（デフォルトパスは通常C：\ programfiles \ mysql \ mysqlserverx.x \ binです）、「このコンピューター」→「プロパティ」→「高度なシステム設(shè)定」→「高度なシステム設(shè)定」→「環(huán)境バリエブル」、「環(huán)境バリアブル」、Mysqlbinを節(jié)約します。コマンドプロンプトとmysql-versionの検証を入力します。 2.MacosおよびLinuxシステム：Bashユーザー編集?/.Bashrcまたは?/.bash_
MySQLサーバーへの安全なリモート接続を確立します
Jul 04, 2025 am 01:44 AM
tosecurelyconnecttoaremotemysqlserver、usesshtunneling、configuremysqlforremoteacess、setfirewallrules、andconsidersslencryption .first、Encistishansshtunnelwithssh-l3307：localhost：3306user@remote-server-nandconnectviamysql-h127.0.0.1-p3307.second、editmys
MySQL Workbenchはどこで接続情報(bào)を保存しますか
Jun 26, 2025 am 05:23 AM
MySQLWorkBenchは、システム構(gòu)成ファイルに接続情報(bào)を保存します。特定のパスは、オペレーティングシステムによって異なります。1。Windowsシステムの％appData％\ mysql \ workbench \ connections.xmlにあります。 2。?/library/applicationsupport/mysql/workbench/connections.xmlにあるMacOSシステムにあります。 3.通常、?/.mysql/workbench/connections.xml in linuxシステムまたは?/.local/share/data/mysql/worにあります
データベース接続プールの背後にある原則は何ですか？
Jun 20, 2025 am 01:07 AM
AconnectionPoolisacacheofDatabaseconectionsthaterkeptenandReusedReusedReusedReedimponeeficiency.insteadofing andClosingConnectionsforeachReactess、TheapplicationBorrowsAconnectionSectionSectionsepool、useit、andthreturnsit、reducingoverheadandandimporformance.co
MySQLスロークエリログを分析して、パフォーマンスボトルネックを見つける
Jul 04, 2025 am 02:46 AM
MySQLスロークエリログをオンにし、位置づけ可能なパフォーマンスの問(wèn)題を分析します。 1.構(gòu)成ファイルを編集するか、動(dòng)的にSLOW_QUERY_LOGおよびLONG_QUERY_TIMEを設(shè)定します。 2。ログには、query_time、lock_time、rows_examinedなどの重要なフィールドが含まれており、効率のボトルネックの判斷を支援します。 3. mysqldumpslowまたはpt-query-digestツールを使用して、ログを効率的に分析します。 4.最適化の提案には、インデックスの追加、Select*の回避、複雑なクエリの分割などが含まれます。たとえば、user_idにインデックスを追加すると、スキャンされた行の數(shù)を大幅に削減し、クエリ効率を改善できます。
mysqlでmysqldumpを使用して論理バックアップを?qū)g行します
Jul 06, 2025 am 02:55 AM
MySQLDUMPは、MySQLデータベースの論理バックアップを?qū)g行するための一般的なツールです。データベースを再構(gòu)築するための作成および挿入ステートメントを含むSQLファイルを生成します。 1.元のファイルをバックアップするのではなく、データベースの構(gòu)造とコンテンツをポータブルSQLコマンドに変換します。 2。小さなデータベースや選択的回復(fù)に適しており、TBレベルのデータの迅速な回復(fù)には適していません。 3.一般的なオプションには、-single-Transaction、 - database、 - all-database、 - routinesなどが含まれます。 4. MySQLコマンドを使用して回復(fù)中にインポートし、外部キーチェックをオフにして速度を向上させることができます。 5.バックアップを定期的にテストし、圧縮と自動(dòng)調(diào)整を使用することをお?jiǎng)幛幛筏蓼埂?/p>
