使用 JavaScript 進(jìn)行網(wǎng)路爬行的可能性

靜態(tài)網(wǎng)站：Axios 與 Cheerio
讓我們逐步了解如何使用 JavaScript 抓取靜態(tài)電子商務(wù)網(wǎng)站。在此範(fàn)例中，我們將使用兩個(gè)流行的函式庫：用於 HTTP 請求的 Axios 和用於解析 HTML 的 Cheerio。

*1。安裝依賴項(xiàng) *
使用 npm 安裝 Axios 和 Cheerio：

npm 安裝 axios Cheerio

*2。建立腳本 *
建立一個(gè) JavaScript 文件，例如B. scrapeEcommerce.js 並在程式碼編輯器中開啟它。

*3。導(dǎo)入模組*
將 Axios 和 Cheerio 匯入到您的腳本中：

const axios = require('axios');

const Cheerio = require('cheerio');

*4。定義目標(biāo) URL *
選擇您要造訪的電子商務(wù)網(wǎng)站。在此範(fàn)例中，我們使用假設(shè)的 URL http://example-ecommerce.com。將其替換為所需的 URL：

const url = 'http://example-ecommerce.com';

*5。取得 HTML 內(nèi)容 *
使用axios向目標(biāo)URL發(fā)送GET請求，取得HTML內(nèi)容：

axios.get(url)

.then(回應(yīng) => {

const html = response.data;

// 現(xiàn)在可以解析 HTML 內(nèi)容

})

.catch(錯(cuò)誤=> {

console.error('取得頁面時(shí)發(fā)生錯(cuò)誤：', error);

});

*6。解析 HTML 並擷取資料 *
使用 Cheerio 解析 HTML 程式碼並提取您想要的信息，例如產(chǎn)品名稱和價(jià)格：

axios.get(url)

.then(回應(yīng) => {

const html = response.data;

const $ = Cheerio.load(html);

})

.catch(錯(cuò)誤=> {

console.error('取得頁面時(shí)發(fā)生錯(cuò)誤：', error);

});

*最重要的一點(diǎn)*

• axios.get(url)：發(fā)送 GET 請求並回傳承諾。
• .then(response => { … })：如果請求成功，HTML內(nèi)容在response.data中。
• cheerio.load(html)：將 HTML 內(nèi)容載入到 Cheerio 中，以進(jìn)行類似 jQuery 的 DOM 操作。
• $('.product').each((index, element) => { … })：迭代所有 .product 元素。
• $(element).find('.product-name').text().trim()：擷取產(chǎn)品名稱。
• $(element).find('.product-price').text().trim()：提取產(chǎn)品的價(jià)格。
• products.push({ name,price })：將產(chǎn)品資訊加入產(chǎn)品陣列。
• console.log(products)：輸出擷取的資訊。

*完整範(fàn)例腳本：*
const axios = require('axios');

const Cheerio = require('cheerio');

const url = 'http://example-ecommerce.com';

axios.get(url)

.then(回應(yīng) => {

const html = response.data;

const $ = Cheerio.load(html);

})

.catch(錯(cuò)誤=> {

console.error('取得頁面時(shí)發(fā)生錯(cuò)誤：', error);

});

*登陸頁的自訂：*

• 選擇器：.product、.product-name 和 .product-price 選擇器必須適應(yīng)目標(biāo)頁面的實(shí)際 HTML 結(jié)構(gòu)。
• 其他資料：有關(guān)其他資訊（例如產(chǎn)品圖片、連結(jié)、描述），請檢查對應(yīng)的 HTML 結(jié)構(gòu)。

使用 JavaScript 抓取網(wǎng)站的網(wǎng)頁抓取工具

如果您最近需要 Python、Ruby 或其他程式語言進(jìn)行網(wǎng)頁抓取，Octoparse 是一個(gè)出色的工具，特別是對於支援 JavaScript 的網(wǎng)站。

舉個(gè)具體的例子：如果你有一個(gè)目標(biāo)網(wǎng)站，想要開始抓取，你首先應(yīng)該檢查該網(wǎng)站是否被阻止JS抓取。不同的網(wǎng)站使用不同的保護(hù)方法，您可能需要一些時(shí)間和令人沮喪的嘗試才能意識到問題，特別是如果抓取沒有產(chǎn)生預(yù)期的結(jié)果。然而，使用網(wǎng)頁抓取工具，資料擷取過程會順利進(jìn)行。

許多網(wǎng)頁抓取工具可以讓您免去編寫爬蟲的麻煩。 Octoparse 在抓取大量 JavaScript 頁面方面特別高效，可以從 99% 的網(wǎng)頁中提取數(shù)據(jù)，包括使用 Ajax 的網(wǎng)頁。它還提供驗(yàn)證碼解決服務(wù)。 Octoparse 可免費(fèi)使用，並提供自動(dòng)發(fā)現(xiàn)功能和 100 多個(gè)易於使用的模板，可實(shí)現(xiàn)高效的資料擷取。新用戶還可以享受 14 天的試用期。

以上是高效抓取 JavaScript 網(wǎng)站的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！