PostgreSQL隨機(jī)行選擇方法
處理包含數(shù)百萬甚至數(shù)十億筆記錄的大型表時(shí)，傳統(tǒng)的隨機(jī)行選擇方法效率低且速度緩慢。兩種常見方法分別是：
-
使用
random()過濾:select * from table where random() < 0.001;
-
使用
order by random()和limit:select * from table order by random() limit 1000;
然而，由於需要全表掃描或排序，這些方法對(duì)於行數(shù)較多的表並非最佳選擇，會(huì)導(dǎo)致效能瓶頸。
大型表的最佳化方法
對(duì)於以下類型的表，請考慮以下最佳化方法，其速度明顯更快：
- 具有少量或中等間隙的數(shù)值ID欄位（已建立索引以加快查找速度）
- 在選擇過程中沒有或只有最少的寫入操作
查詢：
WITH params AS (
SELECT 1 AS min_id, -- 可選：自定義最小ID起始值
5100000 AS id_span -- 近似ID范圍（最大ID - 最小ID + 緩沖）
)
SELECT *
FROM (
SELECT DISTINCT 1 + trunc(random() * p.id_span)::integer AS id
FROM params p, generate_series(1, 1100) g
GROUP BY 1
) r
INNER JOIN big ON r.id = big.id
LIMIT 1000;
工作原理：
-
ID範(fàn)圍估計(jì)：
- 如果不精確知道，則查詢表以估計(jì)ID列的最小值、最大值和總跨度（最大值 - 最小值）。
-
隨機(jī)ID產(chǎn)生：
- 在估計(jì)的ID範(fàn)圍內(nèi)產(chǎn)生一組不同的隨機(jī)數(shù)。
-
冗餘與重複消除：
- 將產(chǎn)生的數(shù)字分組以移除重複項(xiàng)，減少選擇缺失行或已選取行的可能性。
-
表格連接與限制：
- 使用ID欄位（必須建立索引）將隨機(jī)數(shù)與實(shí)際表連接。此高效連接檢索所選行的相應(yīng)資料。
- 最後，應(yīng)用限制以檢索所需的行數(shù)。
為什麼它速度快：
-
最小的索引使用：
- 查詢僅對(duì)ID列執(zhí)行索引掃描，比全表掃描或排序作業(yè)快得多。
-
最佳化的隨機(jī)數(shù)產(chǎn)生：
- 產(chǎn)生的隨機(jī)數(shù)分佈在估計(jì)的ID範(fàn)圍內(nèi)，最大限度地減少了缺失或重疊行的可能性。
-
冗餘與重複消除：
- 將產(chǎn)生的數(shù)字分組可確保只選擇不同的行，從而減少了消除重複所需的額外過濾或連接。
其他選項(xiàng)：
-
處理間隙的遞迴CTE：
- 對(duì)於ID序列中存在間隙的表，請?jiān)黾右粋€(gè)額外的CTE來處理這些間隙。
-
函數(shù)包裝器以供重複使用：
- 定義一個(gè)函數(shù)，該函數(shù)採用限制和間隙百分比作為參數(shù)，允許輕鬆配置並與不同的表重用。
-
任何表格的通用函數(shù)：
- 建立一個(gè)通用函數(shù)，該函數(shù)接受任何具有整數(shù)列的表作為參數(shù)。
-
物化視野以提高速度：
- 考慮基於最佳化查詢建立物化視圖，以便更快地檢索（準(zhǔn)）隨機(jī)選擇的行。
-
PostgreSQL 9.5中的
TABLE SAMPLE：- 利用PostgreSQL的「
TABLE SAMPLE SYSTEM」功能，實(shí)現(xiàn)更快但隨機(jī)性較低的行取樣方法，確保傳回精確的行數(shù)。但是，請記住，由於聚集效應(yīng)，樣本可能不是完全隨機(jī)的。
- 利用PostgreSQL的「
以上是如何從大型 PostgreSQL 表中有效地選擇隨機(jī)行？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
熱門話題
什麼是GTID（全球交易標(biāo)識(shí)符），其優(yōu)勢是什麼？
Jun 19, 2025 am 01:03 AM
GTID（全局事務(wù)標(biāo)識(shí)符）通過為每個(gè)事務(wù)分配唯一標(biāo)識(shí)，解決了MySQL數(shù)據(jù)庫中復(fù)制和故障轉(zhuǎn)移的復(fù)雜性。1.它簡化了復(fù)制管理，自動(dòng)處理日志文件和位置，使從服務(wù)器能基于最后執(zhí)行的GTID請求事務(wù)。2.保證跨服務(wù)器的一致性，確保每個(gè)事務(wù)在每臺(tái)服務(wù)器上僅應(yīng)用一次，避免數(shù)據(jù)不一致。3.提升故障排查效率，GTID包含服務(wù)器UUID和序列號(hào)，便于追蹤事務(wù)流并精準(zhǔn)定位問題。這三項(xiàng)核心優(yōu)勢使MySQL復(fù)制更穩(wěn)健、易管，顯著提升系統(tǒng)可靠性與數(shù)據(jù)完整性。
MySQL Master故障轉(zhuǎn)移的典型過程是什麼？
Jun 19, 2025 am 01:06 AM
MySQL主庫故障切換主要包括四個(gè)步驟。 1.故障檢測：通過監(jiān)控系統(tǒng)定期檢查主庫進(jìn)程、連接狀態(tài)及執(zhí)行簡單查詢判斷是否宕機(jī)，設(shè)置重試機(jī)制避免誤判，並可藉助MHA、Orchestrator或Keepalived等工具輔助檢測；2.選擇新主庫：根據(jù)數(shù)據(jù)同步進(jìn)度（Seconds_Behind_Master）、binlog數(shù)據(jù)完整性、網(wǎng)絡(luò)延遲與負(fù)載情況選取最合適從庫接替，必要時(shí)進(jìn)行數(shù)據(jù)補(bǔ)償或人工干預(yù)；3.切換拓?fù)洌簩⑵渌麖膸熘赶蛐轮鲙?，?zhí)行RESETMASTER或啟用GTID，更新VIP、DNS或代理配置以
如何使用命令行連接到MySQL數(shù)據(jù)庫？
Jun 19, 2025 am 01:05 AM
連接MySQL數(shù)據(jù)庫的步驟如下：1.使用基本命令格式mysql-u用戶名-p-h主機(jī)地址進(jìn)行連接，輸入用戶名和密碼後即可登錄；2.若需直接進(jìn)入指定數(shù)據(jù)庫，可在命令後加上數(shù)據(jù)庫名，如mysql-uroot-pmyproject；3.若端口非默認(rèn)3306，需添加-P參數(shù)指定端口號(hào)，如mysql-uroot-p-h192.168.1.100-P3307；此外，遇到密碼錯(cuò)誤可重新輸入，連接失敗需檢查網(wǎng)絡(luò)、防火牆或權(quán)限設(shè)置，若缺少客戶端可在Linux上通過包管理器安裝mysql-client。掌握這些命令
為什麼InnoDB現(xiàn)在是推薦的存儲(chǔ)引擎？
Jun 17, 2025 am 09:18 AM
InnoDB是MySQL的默認(rèn)存儲(chǔ)引擎，因其在可靠性、並發(fā)性能和崩潰恢復(fù)方面優(yōu)於MyISAM等其他引擎。 1.它支持事務(wù)處理，遵循ACID原則，確保數(shù)據(jù)完整性，適用於金融記錄或用戶賬戶等關(guān)鍵數(shù)據(jù)場景；2.採用行級(jí)鎖而非表級(jí)鎖，提升高並發(fā)寫入環(huán)境下的性能與吞吐量；3.具備崩潰恢復(fù)機(jī)制及自動(dòng)修復(fù)功能，並支持外鍵約束，保障數(shù)據(jù)一致性與引用完整性，防止孤立記錄和數(shù)據(jù)不一致問題。
如何將MySQL bin目錄添加到系統(tǒng)路徑
Jul 01, 2025 am 01:39 AM
要將MySQL的bin目錄添加到系統(tǒng)PATH，需根據(jù)不同操作系統(tǒng)進(jìn)行配置。 1.Windows系統(tǒng)：找到MySQL安裝目錄下的bin文件夾（默認(rèn)路徑通常為C:\ProgramFiles\MySQL\MySQLServerX.X\bin），右鍵“此電腦”→“屬性”→“高級(jí)系統(tǒng)設(shè)置”→“環(huán)境變量”，在“系統(tǒng)變量”中選中Path並編輯，新增MySQLbin路徑，保存後重啟命令提示符並輸入mysql--version驗(yàn)證；2.macOS和Linux系統(tǒng)：Bash用戶編輯~/.bashrc或~/.bash_
MySQL中的交易隔離級(jí)別是多少？默認(rèn)值是哪個(gè)？
Jun 23, 2025 pm 03:05 PM
MySQL的默認(rèn)事務(wù)隔離級(jí)別是可重複讀（RepeatableRead），它通過MVCC和間隙鎖防止臟讀和不可重複讀，並在大多數(shù)情況下避免幻讀；其他主要級(jí)別包括讀未提交（ReadUncommitted），允許臟讀但性能最快，1.讀已提交（ReadCommitted）確保讀取已提交數(shù)據(jù)但可能遇到不可重複讀和幻讀，2.可重複讀（RepeatableRead）默認(rèn)級(jí)別，保證事務(wù)內(nèi)多次讀取結(jié)果一致，3.串行化（Serializable）最高級(jí)別，通過鎖阻止其他事務(wù)修改數(shù)據(jù)，確保數(shù)據(jù)完整性但犧牲性能；可通過
MySQL交易的酸特性是什麼？
Jun 20, 2025 am 01:06 AM
MySQL事務(wù)遵循ACID特性，確保數(shù)據(jù)庫事務(wù)的可靠性和一致性。首先，原子性（Atomicity）保證事務(wù)作為不可分割的整體執(zhí)行，要么全部成功，要么全部失敗回滾，例如轉(zhuǎn)賬操作中取款和存款必須同時(shí)完成或同時(shí)不發(fā)生；其次，一致性（Consistency）確保事務(wù)將數(shù)據(jù)庫從一個(gè)有效狀態(tài)轉(zhuǎn)換到另一個(gè)有效狀態(tài)，通過約束、觸發(fā)器等機(jī)制保持?jǐn)?shù)據(jù)邏輯正確；第三，隔離性（Isolation）控制多個(gè)事務(wù)並發(fā)執(zhí)行時(shí)的可見性，防止臟讀、不可重複讀和幻讀，MySQL支持ReadUncommitted、ReadCommi
為什麼索引可以提高M(jìn)ySQL查詢速度？
Jun 19, 2025 am 01:05 AM
IndexesinMySQLimprovequeryspeedbyenablingfasterdataretrieval.1.Theyreducedatascanned,allowingMySQLtoquicklylocaterelevantrowsinWHEREorORDERBYclauses,especiallyimportantforlargeorfrequentlyqueriedtables.2.Theyspeedupjoinsandsorting,makingJOINoperation
