PostgreSQL隨機行選擇方法
處理包含數(shù)百萬甚至數(shù)十億條記錄的大型表時，傳統(tǒng)的隨機行選擇方法效率低下且速度緩慢。兩種常見方法是：
-
使用
random()過濾:select * from table where random() < 0.001;
-
使用
order by random()和limit:select * from table order by random() limit 1000;
然而，由于需要全表掃描或排序，這些方法對于行數(shù)較多的表并非最佳選擇，會導(dǎo)致性能瓶頸。
大型表的優(yōu)化方法
對于以下類型的表，請考慮以下優(yōu)化方法，其速度明顯更快：
- 具有少量或中等間隙的數(shù)值ID列（已建立索引以加快查找速度）
- 在選擇過程中沒有或只有最少的寫入操作
查詢：
WITH params AS (
SELECT 1 AS min_id, -- 可選：自定義最小ID起始值
5100000 AS id_span -- 近似ID范圍（最大ID - 最小ID + 緩沖）
)
SELECT *
FROM (
SELECT DISTINCT 1 + trunc(random() * p.id_span)::integer AS id
FROM params p, generate_series(1, 1100) g
GROUP BY 1
) r
INNER JOIN big ON r.id = big.id
LIMIT 1000;
工作原理：
-
ID范圍估計：
- 如果不精確知道，則查詢表以估計ID列的最小值、最大值和總跨度（最大值 - 最小值）。
-
隨機ID生成：
- 在估計的ID范圍內(nèi)生成一組不同的隨機數(shù)。
-
冗余和重復(fù)消除：
- 對生成的數(shù)字進行分組以去除重復(fù)項，減少選擇缺失行或已選擇行的可能性。
-
表連接和限制：
- 使用ID列（必須建立索引）將隨機數(shù)與實際表連接。此高效連接檢索所選行的相應(yīng)數(shù)據(jù)。
- 最后，應(yīng)用限制以檢索所需的行數(shù)。
為什么它速度快：
-
最小的索引使用：
- 查詢僅對ID列執(zhí)行索引掃描，比全表掃描或排序操作快得多。
-
優(yōu)化的隨機數(shù)生成：
- 生成的隨機數(shù)分布在估計的ID范圍內(nèi)，最大限度地減少了缺失或重疊行的可能性。
-
冗余和重復(fù)消除：
- 對生成的數(shù)字進行分組可確保只選擇不同的行，從而減少了消除重復(fù)項所需的額外過濾或連接。
其他選項：
-
處理間隙的遞歸CTE：
- 對于ID序列中存在間隙的表，請?zhí)砑右粋€額外的CTE來處理這些間隙。
-
函數(shù)包裝器以供重用：
- 定義一個函數(shù)，該函數(shù)采用限制和間隙百分比作為參數(shù)，允許輕松配置并與不同的表重用。
-
任何表的通用函數(shù)：
- 創(chuàng)建一個通用函數(shù)，該函數(shù)接受任何具有整數(shù)列的表作為參數(shù)。
-
物化視圖以提高速度：
- 考慮基于優(yōu)化查詢創(chuàng)建物化視圖，以便更快地檢索（準(zhǔn)）隨機選擇的行。
-
PostgreSQL 9.5中的
TABLE SAMPLE：- 利用PostgreSQL的“
TABLE SAMPLE SYSTEM”功能，實現(xiàn)更快但隨機性較低的行采樣方法，確保返回精確的行數(shù)。但是，請記住，由于聚類效應(yīng)，樣本可能不是完全隨機的。
- 利用PostgreSQL的“
以上是如何從大型 PostgreSQL 表中高效地選擇隨機行？的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
什么是GTID（全球交易標(biāo)識符），其優(yōu)勢是什么？
Jun 19, 2025 am 01:03 AM
GTID（全局事務(wù)標(biāo)識符）通過為每個事務(wù)分配唯一標(biāo)識，解決了MySQL數(shù)據(jù)庫中復(fù)制和故障轉(zhuǎn)移的復(fù)雜性。 1.它簡化了復(fù)制管理，自動處理日志文件和位置，使從服務(wù)器能基于最后執(zhí)行的GTID請求事務(wù)。 2.保證跨服務(wù)器的一致性，確保每個事務(wù)在每臺服務(wù)器上僅應(yīng)用一次，避免數(shù)據(jù)不一致。 3.提升故障排查效率，GTID包含服務(wù)器UUID和序列號，便于追蹤事務(wù)流并精準(zhǔn)定位問題。這三項核心優(yōu)勢使MySQL復(fù)制更穩(wěn)健、易管，顯著提升系統(tǒng)可靠性與數(shù)據(jù)完整性。
MySQL Master故障轉(zhuǎn)移的典型過程是什么？
Jun 19, 2025 am 01:06 AM
MySQL主庫故障切換主要包括四個步驟。1.故障檢測：通過監(jiān)控系統(tǒng)定期檢查主庫進程、連接狀態(tài)及執(zhí)行簡單查詢判斷是否宕機，設(shè)置重試機制避免誤判，并可借助MHA、Orchestrator或Keepalived等工具輔助檢測；2.選擇新主庫：根據(jù)數(shù)據(jù)同步進度（Seconds_Behind_Master）、binlog數(shù)據(jù)完整性、網(wǎng)絡(luò)延遲與負載情況選取最合適從庫接替，必要時進行數(shù)據(jù)補償或人工干預(yù)；3.切換拓撲：將其他從庫指向新主庫，執(zhí)行RESETMASTER或啟用GTID，更新VIP、DNS或代理配置以
如何使用命令行連接到MySQL數(shù)據(jù)庫？
Jun 19, 2025 am 01:05 AM
連接MySQL數(shù)據(jù)庫的步驟如下：1.使用基本命令格式mysql-u用戶名-p-h主機地址進行連接，輸入用戶名和密碼后即可登錄；2.若需直接進入指定數(shù)據(jù)庫，可在命令后加上數(shù)據(jù)庫名，如mysql-uroot-pmyproject；3.若端口非默認3306，需添加-P參數(shù)指定端口號，如mysql-uroot-p-h192.168.1.100-P3307；此外，遇到密碼錯誤可重新輸入，連接失敗需檢查網(wǎng)絡(luò)、防火墻或權(quán)限設(shè)置，若缺少客戶端可在Linux上通過包管理器安裝mysql-client。掌握這些命令
為什么索引可以提高MySQL查詢速度？
Jun 19, 2025 am 01:05 AM
IndexesinMySQLimprovequeryspeedbyenablingfasterdataretrieval.1.Theyreducedatascanned,allowingMySQLtoquicklylocaterelevantrowsinWHEREorORDERBYclauses,especiallyimportantforlargeorfrequentlyqueriedtables.2.Theyspeedupjoinsandsorting,makingJOINoperation
MySQL交易的酸特性是什么？
Jun 20, 2025 am 01:06 AM
MySQL事務(wù)遵循ACID特性，確保數(shù)據(jù)庫事務(wù)的可靠性和一致性。首先，原子性（Atomicity）保證事務(wù)作為不可分割的整體執(zhí)行，要么全部成功，要么全部失敗回滾，例如轉(zhuǎn)賬操作中取款和存款必須同時完成或同時不發(fā)生；其次，一致性（Consistency）確保事務(wù)將數(shù)據(jù)庫從一個有效狀態(tài)轉(zhuǎn)換到另一個有效狀態(tài)，通過約束、觸發(fā)器等機制保持數(shù)據(jù)邏輯正確；第三，隔離性（Isolation）控制多個事務(wù)并發(fā)執(zhí)行時的可見性，防止臟讀、不可重復(fù)讀和幻讀，MySQL支持ReadUncommitted、ReadCommi
如何將MySQL bin目錄添加到系統(tǒng)路徑
Jul 01, 2025 am 01:39 AM
要將MySQL的bin目錄添加到系統(tǒng)PATH，需根據(jù)不同操作系統(tǒng)進行配置。1.Windows系統(tǒng)：找到MySQL安裝目錄下的bin文件夾（默認路徑通常為C:\ProgramFiles\MySQL\MySQLServerX.X\bin），右鍵“此電腦”→“屬性”→“高級系統(tǒng)設(shè)置”→“環(huán)境變量”，在“系統(tǒng)變量”中選中Path并編輯，新增MySQLbin路徑，保存后重啟命令提示符并輸入mysql--version驗證；2.macOS和Linux系統(tǒng)：Bash用戶編輯~/.bashrc或~/.bash_
MySQL中的交易隔離級別是多少？默認值是哪個？
Jun 23, 2025 pm 03:05 PM
MySQL的默認事務(wù)隔離級別是可重復(fù)讀（RepeatableRead），它通過MVCC和間隙鎖防止臟讀和不可重復(fù)讀，并在大多數(shù)情況下避免幻讀；其他主要級別包括讀未提交（ReadUncommitted），允許臟讀但性能最快，1.讀已提交（ReadCommitted）確保讀取已提交數(shù)據(jù)但可能遇到不可重復(fù)讀和幻讀，2.可重復(fù)讀（RepeatableRead）默認級別，保證事務(wù)內(nèi)多次讀取結(jié)果一致，3.串行化（Serializable）最高級別，通過鎖阻止其他事務(wù)修改數(shù)據(jù)，確保數(shù)據(jù)完整性但犧牲性能；可通過
建立與MySQL Server的安全遠程連接
Jul 04, 2025 am 01:44 AM
TosecurelyConnectToaremoteMysqlServer，Usesshtunneling，configuremysqlforremoteaccess，setFireWallrules，andConsidersSlencryption 。首先，stardansshtunnelwithssh-l3307：localhost：3306user@remote-Server-server-nandConnectViamySql-h127.0.0.0.0.1-p3307.second，editmys
