後端開(kāi)發(fā)
php教程
如何使用 DOM 操作建立一個(gè)強(qiáng)大的 PHP 爬蟲(chóng)，從具有多個(gè)連結(jié)的網(wǎng)頁(yè)中提取資料？
如何使用 DOM 操作建立一個(gè)強(qiáng)大的 PHP 爬蟲(chóng)，從具有多個(gè)連結(jié)的網(wǎng)頁(yè)中提取資料？
Nov 08, 2024 am 07:11 AM
使用 PHP 爬行：綜合指南
要從包含多個(gè)連結(jié)的網(wǎng)頁(yè)中提取數(shù)據(jù)，PHP 提供了各種可能性。一種方法涉及利用正規(guī)表示式，但必須避免僅依賴(lài)它們進(jìn)行 HTML 解析。
基於 DOM 的爬蟲(chóng)實(shí)現(xiàn)
Tatu 的基於 DOM 的爬蟲(chóng)提供了一種可靠的替代方案。這是一個(gè)改進(jìn)的版本：
function crawl_page($url, $depth = 5)
{
static $seen = array();
if (isset($seen[$url]) || $depth === 0) {
return;
}
$seen[$url] = true;
$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile($url);
$anchors = $dom->getElementsByTagName('a');
foreach ($anchors as $element) {
$path = $element->getAttribute('href');
if (0 !== strpos($path, 'http')) {
$path = '/' . ltrim($path, '/');
if (extension_loaded('http')) {
$href = http_build_url($url, array('path' => $path));
} else {
$parts = parse_url($url);
$href = $parts['scheme'] . '://';
if (isset($parts['user']) && isset($parts['pass'])) {
$href .= $parts['user'] . ':' . $parts['pass'] . '@';
}
$href .= $parts['host'];
if (isset($parts['port'])) {
$href .= ':' . $parts['port'];
}
$href .= dirname($parts['path'], 1).$path;
}
}
crawl_page($href, $depth - 1);
}
echo "URL:", $url, PHP_EOL, "CONTENT:", PHP_EOL, $dom->saveHTML(), PHP_EOL, PHP_EOL;
}
這個(gè)改進(jìn)的版本考慮了各種 url 場(chǎng)景，包括 https、用戶(hù)、通行證和連接埠。
增強(qiáng)
George 指出了原始版本中的一個(gè) bug，它將相對(duì) url 附加到 url 路徑的末尾，而不是覆蓋它。因此，這個(gè)問(wèn)題已解決，確保相對(duì) url 的行為符合預(yù)期。
保存輸出
爬蟲(chóng)的修改版本將其輸出回顯到 STDOUT，允許您方便地將其重定向到您選擇的檔案。
透過(guò)合併這些增強(qiáng)功能，這個(gè)基於 DOM 的爬蟲(chóng)提供了一個(gè)強(qiáng)大的解決方案，用於從 PHP 中具有多個(gè)連結(jié)的網(wǎng)頁(yè)中提取資料。
以上是如何使用 DOM 操作建立一個(gè)強(qiáng)大的 PHP 爬蟲(chóng)，從具有多個(gè)連結(jié)的網(wǎng)頁(yè)中提取資料？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門(mén)文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開(kāi)發(fā)環(huán)境
Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
熱門(mén)話題
如何在PHP中實(shí)施身份驗(yàn)證和授權(quán)？
Jun 20, 2025 am 01:03 AM
tosecurelyhandleauthenticationandationallizationInphp，lofterTheSesteps：1.AlwaysHashPasswordSwithPassword_hash（）andverifyusingspasspassword_verify（），usepreparedStatatementStopreventsqlineptions，andStoreSeruserDatain usseruserDatain $ _sessiveferterlogin.2.implementrole-2.imaccessccsccccccccccccccccccccccccc.
如何在PHP中安全地處理文件上傳？
Jun 19, 2025 am 01:05 AM
要安全處理PHP中的文件上傳，核心在於驗(yàn)證文件類(lèi)型、重命名文件並限制權(quán)限。 1.使用finfo_file()檢查真實(shí)MIME類(lèi)型，僅允許特定類(lèi)型如image/jpeg；2.用uniqid()生成隨機(jī)文件名，存儲(chǔ)至非Web根目錄；3.通過(guò)php.ini和HTML表單限製文件大小，設(shè)置目錄權(quán)限為0755；4.使用ClamAV掃描惡意軟件，增強(qiáng)安全性。這些步驟有效防止安全漏洞，確保文件上傳過(guò)程安全可靠。
PHP中==（鬆散比較）和===（嚴(yán)格的比較）之間有什麼區(qū)別？
Jun 19, 2025 am 01:07 AM
在PHP中，==與===的主要區(qū)別在於類(lèi)型檢查的嚴(yán)格程度。 ==在比較前會(huì)進(jìn)行類(lèi)型轉(zhuǎn)換，例如5=="5"返回true，而===要求值和類(lèi)型都相同才會(huì)返回true，例如5==="5"返回false。使用場(chǎng)景上，===更安全應(yīng)優(yōu)先使用，==僅在需要類(lèi)型轉(zhuǎn)換時(shí)使用。
如何在PHP（ - ， *， /，％）中執(zhí)行算術(shù)操作？
Jun 19, 2025 pm 05:13 PM
PHP中使用基本數(shù)學(xué)運(yùn)算的方法如下：1.加法用 號(hào)，支持整數(shù)和浮點(diǎn)數(shù)，也可用於變量，字符串?dāng)?shù)字會(huì)自動(dòng)轉(zhuǎn)換但不推薦依賴(lài)；2.減法用-號(hào)，變量同理，類(lèi)型轉(zhuǎn)換同樣適用；3.乘法用*號(hào)，適用於數(shù)字及類(lèi)似字符串；4.除法用/號(hào)，需避免除以零，並註意結(jié)果可能是浮點(diǎn)數(shù)；5.取模用%號(hào)，可用於判斷奇偶數(shù)，處理負(fù)數(shù)時(shí)餘數(shù)符號(hào)與被除數(shù)一致。正確使用這些運(yùn)算符的關(guān)鍵在於確保數(shù)據(jù)類(lèi)型清晰並處理好邊界情況。
如何與PHP的NOSQL數(shù)據(jù)庫(kù)（例如MongoDB，Redis）進(jìn)行交互？
Jun 19, 2025 am 01:07 AM
是的，PHP可以通過(guò)特定擴(kuò)展或庫(kù)與MongoDB和Redis等NoSQL數(shù)據(jù)庫(kù)交互。首先，使用MongoDBPHP驅(qū)動(dòng)（通過(guò)PECL或Composer安裝）創(chuàng)建客戶(hù)端實(shí)例並操作數(shù)據(jù)庫(kù)及集合，支持插入、查詢(xún)、聚合等操作；其次，使用Predis庫(kù)或phpredis擴(kuò)展連接Redis，執(zhí)行鍵值設(shè)置與獲取，推薦phpredis用於高性能場(chǎng)景，Predis則便於快速部署；兩者均適用於生產(chǎn)環(huán)境且文檔完善。
我如何了解最新的PHP開(kāi)發(fā)和最佳實(shí)踐？
Jun 23, 2025 am 12:56 AM
TostaycurrentwithPHPdevelopmentsandbestpractices,followkeynewssourceslikePHP.netandPHPWeekly,engagewithcommunitiesonforumsandconferences,keeptoolingupdatedandgraduallyadoptnewfeatures,andreadorcontributetoopensourceprojects.First,followreliablesource
什麼是PHP，為什麼它用於Web開(kāi)發(fā)？
Jun 23, 2025 am 12:55 AM
PHPbecamepopularforwebdevelopmentduetoitseaseoflearning,seamlessintegrationwithHTML,widespreadhostingsupport,andalargeecosystemincludingframeworkslikeLaravelandCMSplatformslikeWordPress.Itexcelsinhandlingformsubmissions,managingusersessions,interacti
如何設(shè)置PHP時(shí)區(qū)？
Jun 25, 2025 am 01:00 AM
tosetTherightTimeZoneInphp，restate_default_timezone_set（）functionAtthestArtofyourscriptWithavalIdidentIdentifiersuchas'america/new_york'.1.usedate_default_default_timezone_set_set（）
