注意：不是 chatGPT/LLM 的輸出

數(shù)據(jù)抓取是從公共網(wǎng)絡(luò)源收集數(shù)據(jù)的過程，主要是使用腳本以自動(dòng)化方式完成。由于自動(dòng)化，收集的數(shù)據(jù)常常存在錯(cuò)誤，需要過濾和清理才能使用。不過，如果抓取的數(shù)據(jù)能夠在抓取過程中得到驗(yàn)證，那就更好了。

考慮到數(shù)據(jù)驗(yàn)證的要求，大多數(shù)抓取框架（如Scrapy）都有可用于數(shù)據(jù)驗(yàn)證的內(nèi)置模式。然而，很多時(shí)候，在數(shù)據(jù)抓取過程中，我們經(jīng)常只使用通用模塊，例如 requests 和 beautifulsoup 進(jìn)行抓取。在這種情況下，很難驗(yàn)證收集到的數(shù)據(jù)，因此這篇博文解釋了一種使用 Pydantic 進(jìn)行數(shù)據(jù)抓取和驗(yàn)證的簡單方法。
https://docs.pydantic.dev/latest/
Pydantic 是一個(gè)數(shù)據(jù)驗(yàn)證 Python 模塊。它也是流行的 api 模塊 FastAPI 的骨干，就像 Pydantic 一樣，還有其他 python 模塊，可用于數(shù)據(jù)抓取期間的驗(yàn)證。然而，這篇博客探討了 pydantic，這里是替代包的鏈接（您可以嘗試使用任何其他模塊更改 pydantic 作為學(xué)習(xí)練習(xí)）

• Cerberus 是一個(gè)輕量級(jí)且可擴(kuò)展的 Python 數(shù)據(jù)驗(yàn)證庫。 https://pypi.org/project/Cerberus/

刮痧計(jì)劃：

在此博客中，我們將從報(bào)價(jià)網(wǎng)站中刪除報(bào)價(jià)。
我們將使用 requests 和 beautifulsoup 來獲取數(shù)據(jù) 將創(chuàng)建一個(gè) pydantic 數(shù)據(jù)類來驗(yàn)證每個(gè)抓取的數(shù)據(jù) 將過濾和驗(yàn)證的數(shù)據(jù)保存在 json 文件中。

為了更好的安排和理解，每個(gè)步驟都實(shí)現(xiàn)為可以在 main 部分下使用的 python 方法。

基本導(dǎo)入

import requests # for web request
from bs4 import BeautifulSoup # cleaning html content

# pydantic for validation

from pydantic import BaseModel, field_validator, ValidationError

import json

1. 目標(biāo)站點(diǎn)并獲取報(bào)價(jià)

我們正在使用 (http://quotes.toscrape.com/) 來抓取報(bào)價(jià)。每個(gè)引用將包含三個(gè)字段：quote_text、作者和標(biāo)簽。例如：

下面的方法是獲取給定 url 的 html 內(nèi)容的通用腳本。

def get_html_content(page_url: str) -> str:
    page_content =""
    # Send a GET request to the website
    response = requests.get(url)
    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        page_content = response.content
    else:
        page_content = f'Failed to retrieve the webpage. Status code: {response.status_code}'
    return page_content

2. 抓取報(bào)價(jià)數(shù)據(jù)

我們將使用 requests 和 beautifulsoup 從給定的 url 中抓取數(shù)據(jù)。該過程分為三個(gè)部分：1）從網(wǎng)絡(luò)獲取 html 內(nèi)容 2）為每個(gè)目標(biāo)字段提取所需的 html 標(biāo)簽 3）從每個(gè)標(biāo)簽獲取值

import requests # for web request
from bs4 import BeautifulSoup # cleaning html content

# pydantic for validation

from pydantic import BaseModel, field_validator, ValidationError

import json

def get_html_content(page_url: str) -> str:
    page_content =""
    # Send a GET request to the website
    response = requests.get(url)
    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        page_content = response.content
    else:
        page_content = f'Failed to retrieve the webpage. Status code: {response.status_code}'
    return page_content

下面的腳本從每個(gè)報(bào)價(jià)的 div 中獲取數(shù)據(jù)點(diǎn)。

def get_tags(tags):
    tags =[tag.get_text() for tag in tags.find_all('a')]
    return tags

3. 創(chuàng)建 Pydantic 數(shù)據(jù)類并驗(yàn)證每個(gè)報(bào)價(jià)的數(shù)據(jù)

根據(jù)引用的每個(gè)字段，創(chuàng)建一個(gè) pydantic 類并在數(shù)據(jù)抓取期間使用相同的類進(jìn)行數(shù)據(jù)驗(yàn)證。

pydantic 模型引用

下面是從 BaseModel 擴(kuò)展而來的 Quote 類，具有三個(gè)字段，如 quote_text、作者和標(biāo)簽。其中，quote_text 和author 是字符串（str）類型，tags 是列表類型。

我們有兩個(gè)驗(yàn)證器方法（帶有裝飾器）：

1）tags_more_than_two（）：將檢查它是否必須有兩個(gè)以上的標(biāo)簽。 （這只是舉例，你可以在這里有任何規(guī)則）

2.) check_quote_text()：此方法將從引用中刪除“”并測(cè)試文本。

def get_quotes_div(html_content:str) -> str :    
    # Parse the page content with BeautifulSoup
    soup = BeautifulSoup(html_content, 'html.parser')

    # Find all the quotes on the page
    quotes = soup.find_all('div', class_='quote')

    return quotes

獲取和驗(yàn)證數(shù)據(jù)

使用 pydantic 進(jìn)行數(shù)據(jù)驗(yàn)證非常簡單，例如下面的代碼，將抓取的數(shù)據(jù)傳遞給 pydantic 類 Quote。

    # Loop through each quote and extract the text and author
    for quote in quotes_div:
        quote_text = quote.find('span', class_='text').get_text()
        author = quote.find('small', class_='author').get_text()
        tags = get_tags(quote.find('div', class_='tags'))

        # yied data to a dictonary 
        quote_temp ={'quote_text': quote_text,
                'author': author,
                'tags':tags
        }

class Quote(BaseModel):
    quote_text:str
    author:str
    tags: list

    @field_validator('tags')
    @classmethod
    def tags_more_than_two(cls, tags_list:list) -> list:
        if len(tags_list) <=2:
            raise ValueError("There should be more than two tags.")
        return tags_list

    @field_validator('quote_text')
    @classmethod    
    def check_quote_text(cls, quote_text:str) -> str:
        return quote_text.removeprefix('“').removesuffix('”')

4. 存儲(chǔ)數(shù)據(jù)

數(shù)據(jù)經(jīng)過驗(yàn)證后，將保存到 json 文件中。 （編寫了一個(gè)通用方法，將 Python 字典轉(zhuǎn)換為 json 文件）

quote_data = Quote(**quote_temp)

將所有內(nèi)容放在一起

了解了每一個(gè)抓取之后，現(xiàn)在，您可以將所有內(nèi)容放在一起并運(yùn)行抓取以進(jìn)行數(shù)據(jù)收集。

def get_quotes_data(quotes_div: list) -> list:
    quotes_data = []

    # Loop through each quote and extract the text and author
    for quote in quotes_div:
        quote_text = quote.find('span', class_='text').get_text()
        author = quote.find('small', class_='author').get_text()
        tags = get_tags(quote.find('div', class_='tags'))

        # yied data to a dictonary 
        quote_temp ={'quote_text': quote_text,
                'author': author,
                'tags':tags
        }

        # validate data with Pydantic model
        try:
            quote_data = Quote(**quote_temp)            
            quotes_data.append(quote_data.model_dump())            
        except  ValidationError as e:
            print(e.json())
    return quotes_data

注意：計(jì)劃進(jìn)行修訂，請(qǐng)告訴我您的想法或建議，以包含在修訂版本中。

鏈接和資源：

• https://pypi.org/project/parsel/

• https://docs.pydantic.dev/latest/

以上是抓取但驗(yàn)證：使用 Pydantic Validation 抓取數(shù)據(jù)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！