在PHP 中匯入大型MySQL 檔案:全面的分割查詢解決方案
將大型MySQL 檔案匯入共用供應(yīng)商網(wǎng)站可以這是一個(gè)挑戰(zhàn),特別是當(dāng)使用PHP 並且對MySQL 的外部存取受到限制時(shí)。本文提供了一個(gè)全面的解決方案,透過可靠地將文件拆分為單獨(dú)的查詢進(jìn)行導(dǎo)入來解決此問題。
需要考慮的挑戰(zhàn)
解析並查詢大型MySQL 檔案時(shí)在PHP 中,出現(xiàn)了幾個(gè)挑戰(zhàn):
- 偵測資料中的欄位分隔符號
- 處理備註欄位中的換行符
- 避免因檔案大小太大而導(dǎo)致記憶體問題
可靠的分割查詢解決方案
為了克服這些挑戰(zhàn),本文介紹了一個(gè)名為SplitSQL() 的記憶體友善函數(shù)。此函數(shù)逐行讀取檔案並累積各個(gè)查詢,直到遇到查詢分隔符號(例如分號)。程式碼如下:
function SplitSQL($file, $delimiter = ';') { set_time_limit(0); if (is_file($file) && is_resource($file = fopen($file, 'r'))) { $query = array(); while (!feof($file)) { $query[] = fgets($file); if (preg_match('~' . preg_quote($delimiter, '~') . '\s*$~iS', end($query))) { $query = trim(implode('', $query)); if (mysql_query($query) === false) { echo 'ERROR: ' . $query . "\n"; } else { echo 'SUCCESS: ' . $query . "\n"; flush(); } $query = array(); } } fclose($file); return true; } return false; }
內(nèi)存友好且經(jīng)過測試
此函數(shù)僅根據(jù)需要分配內(nèi)存,避免內(nèi)存問題。它已經(jīng)在大型 phpMyAdmin SQL 轉(zhuǎn)儲上進(jìn)行了測試,證明了其有效處理現(xiàn)實(shí)世界資料的能力。
測試資料和輸出
使用範(fàn)例資料及其各自的輸出SplitSQL() 函數(shù):
測試資料:
CREATE TABLE IF NOT EXISTS "test" ( "id" INTEGER PRIMARY KEY AUTOINCREMENT, "name" TEXT, "description" TEXT ); BEGIN; INSERT INTO "test" ("name", "description") VALUES (";;;", "something for you mind; body; soul"); COMMIT; UPDATE "test" SET "name" = "; " WHERE "id" = 1;
輸出:
SUCCESS: CREATE TABLE IF NOT EXISTS "test" ( "id" INTEGER PRIMARY KEY AUTOINCREMENT, "name" TEXT, "description" TEXT ); SUCCESS: BEGIN; SUCCESS: INSERT INTO "test" ("name", "description") VALUES (";;;", "something for you mind; body; soul"); SUCCESS: COMMIT; SUCCESS: UPDATE "test" SET "name" = "; " WHERE "id" = 1;
結(jié)論
SplitSQL() 函式提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)提供了一個(gè)強(qiáng)大且可靠的函數(shù)解決方案,用於將大型MySQL 檔案分割為單獨(dú)的查詢,從而允許在共享託管環(huán)境中高效且自動(dòng)化地匯入資料庫。透過解決記憶體限制並考慮各種資料類型,該函數(shù)簡化了在 PHP 中匯入大型 MySQL 檔案的複雜過程。
以上是如何在 PHP 中匯入大型 MySQL 檔案:採用分割查詢方法的記憶體高效解決方案?的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章!

熱AI工具

Undress AI Tool
免費(fèi)脫衣圖片

Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序,用於創(chuàng)建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費(fèi)的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強(qiáng)大的PHP整合開發(fā)環(huán)境

Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

TosecurelyConnectToaremoteMysqlServer,Usesshtunneling,configuremysqlforremoteaccess,setFireWallrules,andConsidersSlencryption 。首先,stardansshtunnelwithssh-l3307:localhost:3306user@remote-Server-server-nandConnectViamySql-h127.0.0.0.0.1-p3307.second,editmys

開啟MySQL慢查詢?nèi)罩静⒎治隹啥ㄎ恍阅軉栴}。1.編輯配置文件或動(dòng)態(tài)設(shè)置slow_query_log和long_query_time;2.日志包含Query_time、Lock_time、Rows_examined等關(guān)鍵字段,輔助判斷效率瓶頸;3.使用mysqldumpslow或pt-query-digest工具高效分析日志;4.優(yōu)化建議包括添加索引、避免SELECT*、拆分復(fù)雜查詢等。例如為user_id加索引能顯著減少掃描行數(shù),提升查詢效率。

mysqldump是用於執(zhí)行MySQL數(shù)據(jù)庫邏輯備份的常用工具,它生成包含CREATE和INSERT語句的SQL文件以重建數(shù)據(jù)庫。 1.它不備份原始文件,而是將數(shù)據(jù)庫結(jié)構(gòu)和內(nèi)容轉(zhuǎn)換為可移植的SQL命令;2.適用於小型數(shù)據(jù)庫或選擇性恢復(fù),不適合TB級數(shù)據(jù)快速恢復(fù);3.常用選項(xiàng)包括--single-transaction、--databases、--all-databases、--routines等;4.恢復(fù)時(shí)使用mysql命令導(dǎo)入,並可關(guān)閉外鍵檢查以提升速度;5.建議定期測試備份、使用壓縮、自動(dòng)化調(diào)

處理MySQL中的NULL值需注意:1.設(shè)計(jì)表時(shí)關(guān)鍵字段設(shè)為NOTNULL,可選字段允許NULL;2.查詢判斷必須用ISNULL或ISNOTNULL,不能用=或!=;3.可用IFNULL或COALESCE函數(shù)替換顯示默認(rèn)值;4.插入或更新時(shí)直接使用NULL值需謹(jǐn)慎,注意數(shù)據(jù)源和ORM框架處理方式。 NULL表示未知值,不等於任何值,包括自身,因此查詢、統(tǒng)計(jì)、連接表時(shí)要特別小心,避免漏數(shù)據(jù)或邏輯錯(cuò)誤。合理使用函數(shù)和約束可以有效減少因NULL帶來的干擾。

要查看MySQL數(shù)據(jù)庫和表的大小,可直接查詢information_schema或使用命令行工具。 1.查看整個(gè)數(shù)據(jù)庫大?。簣?zhí)行SQL語句SELECTtable_schemaAS'Database',SUM(data_length index_length)/1024/1024AS'Size(MB)'FROMinformation_schema.tablesGROUPBYtable_schema;可獲取所有數(shù)據(jù)庫的總大小,也可加WHERE條件限定具體數(shù)據(jù)庫;2.查看單個(gè)表大?。和ㄟ^SELECTta

字符集和排序規(guī)則問題常見於跨平臺遷移或多人開發(fā)時(shí),導(dǎo)致亂碼或查詢不一致。核心解決方法有三:一要檢查並統(tǒng)一數(shù)據(jù)庫、表、字段的字符集為utf8mb4,通過SHOWCREATEDATABASE/TABLE查看,用ALTER語句修改;二要在客戶端連接時(shí)指定utf8mb4字符集,在連接參數(shù)或執(zhí)行SETNAMES中設(shè)置;三要合理選擇排序規(guī)則,推薦使用utf8mb4_unicode_ci以確保比較和排序準(zhǔn)確性,並在建庫建表時(shí)指定或通過ALTER修改。

GROUPBY用於按字段分組數(shù)據(jù)並執(zhí)行聚合操作,HAVING用於過濾分組後的結(jié)果。例如,使用GROUPBYcustomer_id可計(jì)算每個(gè)客戶的總消費(fèi)金額;配合HAVING可篩選出總消費(fèi)超過1000的客戶。 SELECT後的非聚合字段必須出現(xiàn)在GROUPBY中,HAVING可使用別名或原始表達(dá)式進(jìn)行條件篩選。常見技巧包括統(tǒng)計(jì)每組數(shù)量、多字段分組、結(jié)合多個(gè)條件過濾。

MySQL支持事務(wù)處理,使用InnoDB存儲引擎可確保數(shù)據(jù)一致性和完整性。 1.事務(wù)是一組SQL操作,要么全部成功,要么全部失敗回滾;2.ACID屬性包括原子性、一致性、隔離性和持久性;3.手動(dòng)控制事務(wù)的語句為STARTTRANSACTION、COMMIT和ROLLBACK;4.四種隔離級別包括讀未提交、讀已提交、可重複讀和串行化;5.正確使用事務(wù)需注意避免長時(shí)間運(yùn)行、關(guān)閉自動(dòng)提交、合理處理鎖及異常。通過這些機(jī)制,MySQL可實(shí)現(xiàn)高可靠與並發(fā)控制。
