網(wǎng)絡(luò)抓取是從網(wǎng)站收集數(shù)據(jù)的強(qiáng)大工具。無論您是收集產(chǎn)品評(píng)論、跟蹤價(jià)格，還是在我們的例子中抓取 Goodreads 書籍，網(wǎng)絡(luò)抓取都為數(shù)據(jù)驅(qū)動(dòng)應(yīng)用程序提供了無限的機(jī)會(huì)。

在這篇博文中，我們將探討網(wǎng)頁抓取的基礎(chǔ)知識(shí)、Python BeautifulSoup 庫的強(qiáng)大功能，并分解旨在抓取 Goodreads Choice Awards 數(shù)據(jù)的 Python 腳本。最后，我們將討論如何將這些數(shù)據(jù)存儲(chǔ)在 CSV 文件中以供進(jìn)一步分析或應(yīng)用。

---

Goodreads 是什么？

Goodreads 是全球最大的讀者和圖書推薦平臺(tái)。它為用戶提供了書評(píng)、作者詳細(xì)信息和熱門排名的訪問權(quán)限。每年，Goodreads 都會(huì)舉辦 Goodreads 選擇獎(jiǎng)，讀者投票選出他們最喜歡的各種類型的書籍，如小說、奇幻、浪漫等。這使得 Goodreads 成為網(wǎng)絡(luò)抓取的理想目標(biāo)，以收集有關(guān)熱門書籍和作者的見解。

---

什么是網(wǎng)頁抓??？

網(wǎng)絡(luò)抓取涉及以自動(dòng)方式從網(wǎng)站提取數(shù)據(jù)。它允許您收集和構(gòu)建任務(wù)的信息，例如：

• 分析趨勢(shì)和模式。
• 聚合評(píng)論或文章等內(nèi)容。
• 提供機(jī)器學(xué)習(xí)模型或數(shù)據(jù)庫。

---

設(shè)置您的環(huán)境

在深入了解腳本之前，您需要安裝必要的庫。

1. 安裝Python

   確保您的系統(tǒng)上安裝了 Python。

2. 安裝所需的庫

   使用 pip 安裝所需的庫：
   

   pip install beautifulsoup4
   pip install requests
   

   請(qǐng)求：允許我們向 URL 發(fā)送 HTTP 請(qǐng)求并檢索網(wǎng)頁內(nèi)容。

   BeautifulSoup：簡(jiǎn)化 HTML 解析和數(shù)據(jù)提取。

這些安裝完成后，您就可以開始抓取了！

---

美麗湯簡(jiǎn)介

BeautifulSoup 是一個(gè)用于解析 HTML 和 XML 文檔的 Python 庫。它使開發(fā)人員能夠?qū)Ш巾撁娼Y(jié)構(gòu)、提取內(nèi)容并將原始 HTML 轉(zhuǎn)換為結(jié)構(gòu)化格式。

BeautifulSoup 中的關(guān)鍵方法

以下是我們將在腳本中使用的一些基本方法：

• BeautifulSoup(html, 'html.parser')：初始化解析器并允許您處理 HTML 內(nèi)容。
• soup.select(selector)：使用 CSS 選擇器查找元素，例如類或標(biāo)簽。
• soup.find(class_='class_name')：定位具有指定類的元素的第一次出現(xiàn)。
• soup.find_parent(class_='class_name')：查找當(dāng)前元素的父標(biāo)簽。
• soup.get('attribute')：從元素中檢索屬性的值，例如 href 或 src。

有關(guān)方法的完整列表，請(qǐng)查看 BeautifulSoup 文檔。

---

設(shè)置腳本

讓我們首先導(dǎo)入必要的庫并定義自定義標(biāo)頭來模擬瀏覽器。這有助于避免被網(wǎng)站屏蔽。

pip install beautifulsoup4
pip install requests

抓取類別和書籍

我們首先定義 Goodreads 選擇獎(jiǎng)頁面和主應(yīng)用程序的 URL。我們將向 start_url 發(fā)送請(qǐng)求并獲取網(wǎng)頁內(nèi)容。

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

每個(gè)類別都包含一個(gè)流派和指向其各自頁面的鏈接。使用 soup.select，我們提取 .category 類下列出的所有類別。

接下來，迭代每個(gè)類別以獲取流派名稱及其頁面 URL。

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

在這里，我們提取類別名稱（流派）和類別頁面 URL 以進(jìn)行進(jìn)一步處理。

我們將向每個(gè)category_url發(fā)送另一個(gè)請(qǐng)求并找到該類別下的所有書籍。

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

category_books 將包含相應(yīng)類別下所有書籍的列表。

提取圖書數(shù)據(jù)

一旦我們有了書籍列表，我們將迭代每本書并提取數(shù)據(jù)。

提取投票

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

如果我們?cè)?DOM 中看到，投票計(jì)數(shù)存在于類別元素的父元素中。所以我們需要使用find_parent方法來定位元素并提取投票數(shù)。

提取書名、作者和圖片 URL

for book_index, book in enumerate(category_books):
    parent_tag = book.find_parent(class_='resultShown')
    votes = parent_tag.find(class_='result').text.strip()
    book_votes = clean_string(votes).split(" ")[0].replace(",", "")

提取每本書的 URL、封面圖片 URL、標(biāo)題和作者。

clean_string 函數(shù)確保標(biāo)題格式整齊。您可以在腳本頂部定義它

book_url = book.get('href')
book_url_formatted = f"{app_url}{book_url}"
book_img = book.find('img')
book_img_url = book_img.get('src')
book_img_alt = book_img.get('alt')
book_title = clean_string(book_img_alt)
print(book_title)
book_name = book_title.split('by')[0].strip()
book_author = book_title.split('by')[1].strip()

提取更多書籍詳細(xì)信息

要獲取有關(guān)該書的更多詳細(xì)信息，例如評(píng)分、評(píng)論等，我們將向 book_url_formatted 發(fā)送另一個(gè)請(qǐng)求。

def clean_string(string):
    cleaned = re.sub(r'\s+', ' ', string).strip()
    return cleaned

此處 get_ ratings_reviews 返回格式正確的評(píng)分和評(píng)論文本。

您可以在腳本頂部定義此函數(shù)。

pip install beautifulsoup4
pip install requests

通過導(dǎo)航到每本書的詳細(xì)信息頁面，可以提取評(píng)級(jí)、評(píng)論和詳細(xì)描述等附加信息。在這里，我們還檢查書籍描述元素是否存在，否則放置默認(rèn)描述，以便腳本不會(huì)失敗。

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

在這里，我們還收集了作者詳細(xì)信息、出版信息和其他元數(shù)據(jù)。

創(chuàng)建圖書詞典

讓我們將為一本書提取的所有數(shù)據(jù)存儲(chǔ)在字典中。

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

我們將使用此字典將數(shù)據(jù)添加到 csv 文件中。

---

將數(shù)據(jù)存儲(chǔ)在 CSV 文件中

我們將使用 csv 模塊，它是 Python 標(biāo)準(zhǔn)庫的一部分。所以不需要單獨(dú)安裝。

首先我們需要檢查這是否是第一個(gè)條目。需要進(jìn)行此檢查才能將標(biāo)題添加到 csv 文件的第一行中。

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

我們使用 mode="w" 它將創(chuàng)建一個(gè)帶有標(biāo)題條目的新 csv 文件。

現(xiàn)在，對(duì)于所有后續(xù)條目，我們會(huì)將數(shù)據(jù)附加到 CSV 文件中：

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

mode="a" 會(huì)將數(shù)據(jù)附加到 CSV 文件。

現(xiàn)在，坐下來，放松一下，在腳本運(yùn)行時(shí)享用一杯咖啡??。

完成后，最終數(shù)據(jù)將如下所示：

您可以在此 github 存儲(chǔ)庫中找到完整的源代碼。

---

概括

我們已經(jīng)學(xué)習(xí)了如何使用 Python 和 BeautifulSoup 抓取 Goodreads 數(shù)據(jù)。從基本設(shè)置到將數(shù)據(jù)存儲(chǔ)在 CSV 文件中，我們探索了抓取過程的各個(gè)方面。抓取的數(shù)據(jù)可用于：

• 數(shù)據(jù)可視化（例如，最受歡迎的流派或作者）。
• 預(yù)測(cè)書籍受歡迎程度的機(jī)器學(xué)習(xí)模型。
• 構(gòu)建個(gè)人圖書推薦系統(tǒng)。

網(wǎng)絡(luò)抓取為創(chuàng)意數(shù)據(jù)分析和應(yīng)用開辟了可能性。有了 BeautifulSoup 這樣的庫，即使是復(fù)雜的抓取任務(wù)也變得易于管理。請(qǐng)記住在抓取時(shí)遵循道德規(guī)范并尊重網(wǎng)站的服務(wù)條款！

以上是如何使用 Python 和 BeautifulSoup 從 Goodreads 中抓取數(shù)據(jù)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！