從大型PostgreSQL表中選擇隨機行
處理大型數(shù)據(jù)集時，選擇隨機行可能是一項計算密集型任務。本文探討了從包含大約 5 億行的表中檢索隨機行的各種方法，并討論了它們的性能和準確性。
方法一：使用 RANDOM() 和 LIMIT
第一種方法包括使用 RANDOM() 函數(shù)生成隨機數(shù)，然后使用 LIMIT 子句過濾結果以獲取所需數(shù)量的行。
SELECT * FROM table WHERE RANDOM() < 0.000002 LIMIT 1000;
這種方法的優(yōu)點是易于實現(xiàn)，但對于大型表來說效率可能很低。由于使用了 LIMIT 子句，數(shù)據(jù)庫必須掃描表的全部行才能挑選隨機行并丟棄其余行。
方法二：使用 ORDER BY RANDOM() 和 LIMIT
另一種方法是首先按 RANDOM() 函數(shù)對行進行排序，然后使用 LIMIT 子句獲取隨機行。
SELECT * FROM table ORDER BY RANDOM() LIMIT 1000;
這種方法與第一種方法類似，但排序保證更有效地選擇隨機行。它減少了所需的掃描次數(shù)，使其成為大型表的更好選擇。但是，對于行數(shù)極多的表，它仍然不是最佳選擇。
高效方法：使用數(shù)字 ID 列和索引
對于具有數(shù)字 ID 列且間隙較少的表，可以使用更有效的方法。這涉及在 ID 范圍內生成隨機數(shù)并將其用于與表連接。
WITH params AS (
SELECT 1 AS min_id, -- 最小 ID <= 當前最小 ID
5100000 AS id_span -- 四舍五入。(max_id - min_id + buffer)
)
SELECT *
FROM (
SELECT p.min_id + trunc(random() * p.id_span)::integer AS id
FROM params p, generate_series(1, 1100) g -- 1000 + buffer
GROUP BY 1 -- 去除重復項
) r
JOIN table USING (id)
LIMIT 1000;
這種方法利用索引訪問來顯著減少所需的掃描次數(shù)。它非常適合具有大量行且 ID 列中間隙較少的表。
考慮因素和建議
選擇隨機行的最佳方法取決于具體的表特征和性能要求。對于小型表，RANDOM() 或 ORDER BY RANDOM() 方法可能就足夠了。但是，對于具有數(shù)字 ID 列且間隙較少的大型表，建議使用上述優(yōu)化方法以獲得最佳性能。
需要注意的是，由于計算機中偽隨機數(shù)生成的性質，這些方法都不能保證真正的隨機性。但是，它們提供了一種從大型表中以合理的效率和準確性獲取隨機行樣本的實用方法。
以上是如何從大型 PostgreSQL 表中高效地選擇隨機行？的詳細內容。更多信息請關注PHP中文網(wǎng)其他相關文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅動的應用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
MySQL交易的酸特性是什么？
Jun 20, 2025 am 01:06 AM
MySQL事務遵循ACID特性，確保數(shù)據(jù)庫事務的可靠性和一致性。首先，原子性（Atomicity）保證事務作為不可分割的整體執(zhí)行，要么全部成功，要么全部失敗回滾，例如轉賬操作中取款和存款必須同時完成或同時不發(fā)生；其次，一致性（Consistency）確保事務將數(shù)據(jù)庫從一個有效狀態(tài)轉換到另一個有效狀態(tài)，通過約束、觸發(fā)器等機制保持數(shù)據(jù)邏輯正確；第三，隔離性（Isolation）控制多個事務并發(fā)執(zhí)行時的可見性，防止臟讀、不可重復讀和幻讀，MySQL支持ReadUncommitted、ReadCommi
MySQL中的交易隔離級別是多少？默認值是哪個？
Jun 23, 2025 pm 03:05 PM
MySQL的默認事務隔離級別是可重復讀（RepeatableRead），它通過MVCC和間隙鎖防止臟讀和不可重復讀，并在大多數(shù)情況下避免幻讀；其他主要級別包括讀未提交（ReadUncommitted），允許臟讀但性能最快，1.讀已提交（ReadCommitted）確保讀取已提交數(shù)據(jù)但可能遇到不可重復讀和幻讀，2.可重復讀（RepeatableRead）默認級別，保證事務內多次讀取結果一致，3.串行化（Serializable）最高級別，通過鎖阻止其他事務修改數(shù)據(jù)，確保數(shù)據(jù)完整性但犧牲性能；可通過
如何將MySQL bin目錄添加到系統(tǒng)路徑
Jul 01, 2025 am 01:39 AM
要將MySQL的bin目錄添加到系統(tǒng)PATH，需根據(jù)不同操作系統(tǒng)進行配置。1.Windows系統(tǒng)：找到MySQL安裝目錄下的bin文件夾（默認路徑通常為C:\ProgramFiles\MySQL\MySQLServerX.X\bin），右鍵“此電腦”→“屬性”→“高級系統(tǒng)設置”→“環(huán)境變量”，在“系統(tǒng)變量”中選中Path并編輯，新增MySQLbin路徑，保存后重啟命令提示符并輸入mysql--version驗證；2.macOS和Linux系統(tǒng)：Bash用戶編輯~/.bashrc或~/.bash_
建立與MySQL Server的安全遠程連接
Jul 04, 2025 am 01:44 AM
TosecurelyConnectToaremoteMysqlServer，Usesshtunneling，configuremysqlforremoteaccess，setFireWallrules，andConsidersSlencryption 。首先，stardansshtunnelwithssh-l3307：localhost：3306user@remote-Server-server-nandConnectViamySql-h127.0.0.0.0.1-p3307.second，editmys
MySQL WorkBench在哪里保存連接信息
Jun 26, 2025 am 05:23 AM
MySQLWorkbench將連接信息存儲在系統(tǒng)的配置文件中，具體路徑因操作系統(tǒng)而異：1.Windows系統(tǒng)中位于%APPDATA%\MySQL\Workbench\connections.xml；2.macOS系統(tǒng)中位于~/Library/ApplicationSupport/MySQL/Workbench/connections.xml；3.Linux系統(tǒng)中通常位于~/.mysql/workbench/connections.xml或~/.local/share/data/MySQL/Wor
數(shù)據(jù)庫連接池背后的原理是什么？
Jun 20, 2025 am 01:07 AM
aconnectionpoolisacacheofdatabaseconnectionsthatarekeptopenandreusedtoImprovefficed.insteadopenofopeningandclosingsconnectionsforeachReachReachReachReachReachReachReachReachReachReachReachReachReackest，theApplicationBorrowsaconNection fromThectionFromThepool，用途
分析MySQL緩慢查詢日志以查找性能瓶頸
Jul 04, 2025 am 02:46 AM
開啟MySQL慢查詢日志并分析可定位性能問題。 1.編輯配置文件或動態(tài)設置slow_query_log和long_query_time；2.日志包含Query_time、Lock_time、Rows_examined等關鍵字段，輔助判斷效率瓶頸；3.使用mysqldumpslow或pt-query-digest工具高效分析日志；4.優(yōu)化建議包括添加索引、避免SELECT*、拆分復雜查詢等。例如為user_id加索引能顯著減少掃描行數(shù)，提升查詢效率。
使用mySQL中的mysqldump執(zhí)行邏輯備份
Jul 06, 2025 am 02:55 AM
mysqldump是用于執(zhí)行MySQL數(shù)據(jù)庫邏輯備份的常用工具，它生成包含CREATE和INSERT語句的SQL文件以重建數(shù)據(jù)庫。1.它不備份原始文件，而是將數(shù)據(jù)庫結構和內容轉換為可移植的SQL命令；2.適用于小型數(shù)據(jù)庫或選擇性恢復，不適合TB級數(shù)據(jù)快速恢復；3.常用選項包括--single-transaction、--databases、--all-databases、--routines等；4.恢復時使用mysql命令導入，并可關閉外鍵檢查以提升速度；5.建議定期測試備份、使用壓縮、自動化調
