網(wǎng)頁抓取是從網(wǎng)站收集資料的強(qiáng)大工具。無論您是收集產(chǎn)品評論、追蹤價格，還是在我們的例子中抓取 Goodreads 書籍，網(wǎng)頁抓取都為資料驅(qū)動應(yīng)用程式提供了無限的機(jī)會。

在這篇文章中，我們將探討網(wǎng)頁抓取的基礎(chǔ)知識、Python BeautifulSoup 函式庫的強(qiáng)大功能，並分解旨在抓取 Goodreads Choice Awards 資料的 Python 腳本。最後，我們將討論如何將這些資料儲存在 CSV 檔案中以供進(jìn)一步分析或應(yīng)用。

---

Goodreads 是什麼？

Goodreads 是全球最大的讀者和書籍推薦平臺。它為用戶提供了書評、作者詳細(xì)資訊和熱門排名的訪問權(quán)限。每年，Goodreads 都會舉辦 Goodreads 選擇獎，讀者會投票選出他們最喜歡的各種類型的書籍，如小說、奇幻、浪漫等。這使得 Goodreads 成為網(wǎng)頁抓取的理想目標(biāo)，以收集有關(guān)熱門書籍和作者的見解。

---

什麼是網(wǎng)頁抓取？

網(wǎng)頁抓取涉及以自動方式從網(wǎng)站提取資料。它允許您收集和建立任務(wù)的信息，例如：

• 分析趨勢與模式。
• 聚合評論或文章等內(nèi)容。
• 提供機(jī)器學(xué)習(xí)模型或資料庫。

---

設(shè)定您的環(huán)境

在深入了解腳本之前，您需要安裝必要的程式庫。

1. 安裝Python

   確保您的系統(tǒng)上安裝了 Python。

2. 安裝所需的庫

   使用 pip 安裝所需的函式庫：
   

   pip install beautifulsoup4
   pip install requests
   

   請求：允許我們向 URL 發(fā)送 HTTP 請求並檢索網(wǎng)頁內(nèi)容。

   BeautifulSoup：簡化 HTML 解析和資料擷取。

這些安裝完成後，您就可以開始抓取了！

---

美麗湯簡介

BeautifulSoup 是一個用於解析 HTML 和 XML 文件的 Python 函式庫。它使開發(fā)人員能夠?qū)Ш巾撁娼Y(jié)構(gòu)、提取內(nèi)容並將原始 HTML 轉(zhuǎn)換為結(jié)構(gòu)化格式。

BeautifulSoup 中的關(guān)鍵方法

以下是我們將在腳本中使用的一些基本方法：

• BeautifulSoup(html, 'html.parser')：初始化解析器並允許您處理 HTML 內(nèi)容。
• soup.select(selector)：使用 CSS 選擇器尋找元素，例如類別或標(biāo)籤。
• soup.find(class_='class_name')：定位具有指定類別的元素的第一次出現(xiàn)。
• soup.find_parent(class_='class_name')：尋找目前元素的父標(biāo)籤。
• soup.get('attribute')：從元素中檢索屬性的值，例如 href 或 src。

有關(guān)方法的完整列表，請查看 BeautifulSoup 文件。

---

設(shè)定腳本

讓我們先匯入必要的函式庫並定義自訂標(biāo)頭來模擬瀏覽器。這有助於避免被網(wǎng)站封鎖。

pip install beautifulsoup4
pip install requests

抓取類別和書籍

我們先定義 Goodreads 選擇獎項頁面和主應(yīng)用程式的 URL。我們將向 start_url 發(fā)送請求並取得網(wǎng)頁內(nèi)容。

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

每個類別都包含一個流派和指向其各自頁面的連結(jié)。使用 soup.select，我們提取 .category 類別下列出的所有類別。

接下來，迭代每個類別以取得流派名稱及其頁面 URL。

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

在這裡，我們提取類別名稱（流派）和類別頁面 URL 以進(jìn)行進(jìn)一步處理。

我們將向每個category_url發(fā)送另一個請求並找到該類別下的所有書籍。

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

category_books 將包含相應(yīng)類別下所有書籍的清單。

提取圖書數(shù)據(jù)

一旦我們有了書籍列表，我們將迭代每本書並提取數(shù)據(jù)。

提取投票

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

如果我們在 DOM 中看到，投票計數(shù)存在於類別元素的父元素中。所以我們需要使用find_parent方法來定位元素並提取投票數(shù)。

擷取書名、作者與圖片 URL

for book_index, book in enumerate(category_books):
    parent_tag = book.find_parent(class_='resultShown')
    votes = parent_tag.find(class_='result').text.strip()
    book_votes = clean_string(votes).split(" ")[0].replace(",", "")

擷取每本書的 URL、封面圖片 URL、標(biāo)題和作者。

clean_string 函數(shù)確保標(biāo)題格式整齊。您可以在腳本頂部定義它

book_url = book.get('href')
book_url_formatted = f"{app_url}{book_url}"
book_img = book.find('img')
book_img_url = book_img.get('src')
book_img_alt = book_img.get('alt')
book_title = clean_string(book_img_alt)
print(book_title)
book_name = book_title.split('by')[0].strip()
book_author = book_title.split('by')[1].strip()

擷取更多書籍詳細(xì)資料

要獲取有關(guān)該書的更多詳細(xì)信息，例如評分、評論等，我們將向 book_url_formatted 發(fā)送另一個請求。

def clean_string(string):
    cleaned = re.sub(r'\s+', ' ', string).strip()
    return cleaned

此處 get_ ratings_reviews 傳回格式正確的評分和評論文字。

您可以在腳本頂部定義此函數(shù)。

pip install beautifulsoup4
pip install requests

透過導(dǎo)航到每本書的詳細(xì)資訊頁面，可以提取評分、評論和詳細(xì)描述等附加資訊。在這裡，我們還檢查書籍描述元素是否存在，否則放置預(yù)設(shè)描述，以便腳本不會失敗。

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

在這裡，我們也收集了作者詳細(xì)資料、出版資訊和其他元資料。

建立圖書字典

讓我們將為一本書提取的所有資料儲存在字典中。

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

我們將使用此字典將資料新增至 csv 檔案。

---

將資料儲存在 CSV 檔案中

我們將使用 csv 模組，它是 Python 標(biāo)準(zhǔn)函式庫的一部分。所以不需要單獨安裝。

首先我們需要檢查這是否是第一個條目。需要進(jìn)行此檢查才能將標(biāo)題新增至 csv 檔案的第一行。

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

我們使用 mode="w" 它將建立一個帶有標(biāo)題條目的新 csv 檔案。

現(xiàn)在，對於所有後續(xù)條目，我們會將資料附加到 CSV 檔案中：

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

mode="a" 會將資料附加到 CSV 檔案。

現(xiàn)在，坐下來，放鬆一下，在腳本運行時享用一杯咖啡??。

完成後，最終數(shù)據(jù)將如下所示：

您可以在此 github 儲存庫中找到完整的原始程式碼。

---

概括

我們已經(jīng)學(xué)習(xí)如何使用 Python 和 BeautifulSoup 抓取 Goodreads 資料。從基本設(shè)定到將資料儲存在 CSV 檔案中，我們探索了抓取過程的各個方面。抓取的資料可用於：

• 資料視覺化（例如，最受歡迎的流派或作者）。
• 預(yù)測書籍受歡迎程度的機(jī)器學(xué)習(xí)模型。
• 建立個人圖書推薦系統(tǒng)。

網(wǎng)頁抓取為創(chuàng)意資料分析和應(yīng)用開啟了可能性。有了 BeautifulSoup 這樣的函式庫，即使是複雜的抓取任務(wù)也變得容易管理。請記住在抓取時遵循道德規(guī)範(fàn)並尊重網(wǎng)站的服務(wù)條款！

以上是如何使用 Python 和 BeautifulSoup 從 Goodreads 中抓取數(shù)據(jù)的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！