Python高效訪問HTTP API：requests庫與請求緩存

本文節(jié)選自《實用Python》，作者Stuart演示了如何利用Python和幾個第三方模塊輕松訪問HTTP API。

大多數(shù)情況下，處理第三方數(shù)據(jù)需要訪問HTTP API，即向設計為機器讀取而非人工讀取的網(wǎng)頁發(fā)出HTTP請求。API數(shù)據(jù)通常采用機器可讀格式，通常為JSON或XML。 讓我們看看如何使用Python訪問HTTP API。

使用HTTP API的基本原則很簡單：

1. 向API的URL發(fā)出HTTP請求，可能包括一些身份驗證信息（例如API密鑰）以證明我們已獲得授權。
2. 獲取數(shù)據(jù)。
3. 利用數(shù)據(jù)完成有用的操作。

Python標準庫提供了足夠的函數(shù)來完成所有這些操作，無需任何附加模塊，但如果我們使用幾個第三方模塊來簡化流程，將會使我們的工作更輕松。第一個是requests模塊。這是一個用于Python的HTTP庫，它使獲取HTTP數(shù)據(jù)比Python內(nèi)置的urllib.request更便捷，可以使用python -m pip install requests安裝。

為了展示其易用性，我們將使用Pixabay的API（此處有文檔）。Pixabay是一個圖片網(wǎng)站，所有圖片都可以重復使用，這使其成為一個非常方便的資源。我們將關注水果圖片。稍后在操作文件時，我們將使用收集到的水果圖片，但現(xiàn)在我們只想找到水果圖片。

首先，我們將快速查看Pixabay上有哪些圖片可用。我們將抓取一百張圖片，快速瀏覽它們，然后選擇我們想要的圖片。為此，我們需要一個Pixabay API密鑰，因此我們需要創(chuàng)建一個帳戶，然后從API文檔的“搜索圖片”部分獲取密鑰。

requests模塊

使用requests模塊向API發(fā)出HTTP請求的基本版本包括構建HTTP URL、發(fā)出請求以及讀取響應。此處，響應采用JSON格式。requests模塊使每個步驟都非常簡單。API參數(shù)是一個Python字典，get()函數(shù)發(fā)出調(diào)用，如果API返回JSON，requests會將其作為響應中的.json提供。因此，簡單的調(diào)用如下所示：

import requests

PIXABAY_API_KEY = "11111111-7777777777777777777777777"

base_url = "https://pixabay.com/api/"
base_params = {
    "key": PIXABAY_API_KEY,
    "q": "fruit",
    "image_type": "photo",
    "category": "food",
    "safesearch": "true"
}

response = requests.get(base_url, params=base_params)
results = response.json()

這將返回一個Python對象，正如API文檔所建議的那樣，我們可以查看其各個部分：

為了獲取一百個結果，我們可以簡單地決定進行五次調(diào)用，每次調(diào)用獲取20個結果，但這不夠穩(wěn)健。更好的方法是循環(huán)請求頁面，直到獲得所需的一百個結果，然后停止。這可以防止在Pixabay更改默認結果數(shù)量（例如更改為15）時出現(xiàn)問題。它還可以讓我們處理搜索詞沒有一百張圖片的情況。因此，我們使用一個while循環(huán)，每次遞增頁碼，如果我們已經(jīng)達到100張圖片，或者沒有圖片可檢索，我們就退出循環(huán)：

緩存HTTP請求

避免多次向HTTP API發(fā)出相同的請求是個好主意。許多API都有使用限制，以避免被請求者過度使用，請求需要花費時間和精力。我們應該盡量避免重復之前的請求。幸運的是，在使用Python的requests模塊時，有一種有用的方法可以做到這一點：使用python -m pip install requests-cache安裝requests-cache。這將無縫記錄我們進行的任何HTTP調(diào)用并保存結果。然后，稍后如果我們再次進行相同的調(diào)用，我們將獲得本地保存的結果，而無需再次訪問API。這節(jié)省了時間和帶寬。要使用requests_cache，請導入它并創(chuàng)建一個CachedSession，然后使用session.get而不是requests.get來獲取URL，我們將無需額外努力即可獲得緩存的好處：

生成輸出

為了查看查詢結果，我們需要在某個地方顯示圖片。一種便捷的方法是創(chuàng)建一個簡單的HTML頁面來顯示每個圖片。Pixabay提供了每個圖片的小縮略圖，它在API響應中稱為previewURL，因此我們可以創(chuàng)建一個HTML頁面來顯示所有這些縮略圖，并將它們鏈接到主要Pixabay頁面——我們可以從中選擇下載我們想要的圖片并為攝影師署名。因此，頁面中的每個圖片可能如下所示：

我們可以使用列表推導式從images列表構建它，然后使用"n".join()將所有結果連接成一個大的字符串：

然后，如果我們寫出一個包含該列表的非常簡單的HTML頁面，則很容易在Web瀏覽器中打開它，快速查看我們從API獲得的所有搜索結果，并單擊其中任何一個跳轉(zhuǎn)到完整的Pixabay頁面進行下載：

本文節(jié)選自《實用Python》，可在SitePoint Premium和電子書零售商處購買。

(以下為FAQs，已根據(jù)原文進行改寫和精簡)

關于使用Python的HTTP API獲取數(shù)據(jù)的常見問題 (FAQs)

• HTTP和HTTPS的區(qū)別是什么？ HTTP是超文本傳輸協(xié)議，HTTPS是安全超文本傳輸協(xié)議。主要區(qū)別在于HTTPS使用SSL證書建立服務器和客戶端之間安全的加密連接，而HTTP則沒有。這使得HTTPS在傳輸敏感數(shù)據(jù)（如信用卡信息或登錄憑據(jù)）時更安全。

• Python中HTTP是如何工作的？ Python中可以使用多個庫發(fā)出HTTP請求，最常用的是requests。該庫允許您發(fā)送HTTP請求并處理響應，包括處理Cookie、表單數(shù)據(jù)、多部分文件等等。它是與Web服務交互的強大工具，可用于各種應用程序。

• 常見的HTTP方法有哪些？如何在Python中使用它們？ 最常見的HTTP方法是GET、POST、PUT、DELETE、HEAD、OPTIONS和PATCH。在Python中，可以使用requests庫使用這些方法。例如，要發(fā)送GET請求，可以使用requests.get(url)，要發(fā)送POST請求，可以使用requests.post(url, data)。

• 如何在Python中處理HTTP響應？ 當您使用requests庫在Python中發(fā)送HTTP請求時，會得到一個Response對象。此對象包含服務器對您請求的響應。如果響應采用JSON格式，您可以使用response.text或response.json()訪問響應的內(nèi)容。您還可以使用response.status_code檢查響應的狀態(tài)代碼。

• 如何在Python中使用HTTP標頭？ 通過將HTTP標頭作為字典傳遞給requests函數(shù)的headers參數(shù)，可以在Python中使用它們。例如，requests.get(url, headers={'User-Agent': 'my-app'})。標頭可用于提供有關請求或客戶端的其他信息，例如用戶代理、內(nèi)容類型、授權等等。

• 如何在Python中處理Cookie？ 可以使用Response對象的cookies屬性在Python中處理Cookie。您可以使用response.cookies訪問服務器發(fā)送的Cookie，并通過將Cookie作為字典傳遞給requests函數(shù)的cookies參數(shù)來將Cookie發(fā)送到服務器。

• 如何在Python中使用POST請求發(fā)送表單數(shù)據(jù)？ 通過將表單數(shù)據(jù)作為字典傳遞給requests.post函數(shù)的data參數(shù)，可以在Python中使用POST請求發(fā)送它。例如，requests.post(url, data={'key': 'value'})。requests庫將自動以正確的格式編碼數(shù)據(jù)。

• 如何在Python中使用POST請求發(fā)送文件？ 通過將文件作為字典傳遞給requests.post函數(shù)的files參數(shù)，可以在Python中使用POST請求發(fā)送文件。字典應包含文件字段的名稱作為鍵，以及包含文件名和文件對象的元組作為值。

• 如何處理requests庫在Python中的錯誤和異常？ Python中的requests庫會針對某些類型的錯誤（例如網(wǎng)絡錯誤或超時）引發(fā)異常。您可以使用try/except塊捕獲這些異常并適當?shù)靥幚硭鼈?。您還可以檢查響應的狀態(tài)代碼來處理HTTP錯誤。

• 如何在Python中發(fā)出異步HTTP請求？ 可以使用aiohttp庫在Python中發(fā)出異步HTTP請求。該庫允許您異步發(fā)送HTTP請求和處理響應，這在處理大量請求時可以顯著提高應用程序的性能。

以上是用Python從HTTP API獲取數(shù)據(jù)的詳細內(nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！