GraphQL 是一種查詢語言，用於從網(wǎng)站後端獲取深度嵌套的結(jié)構(gòu)化數(shù)據(jù)，類似於 MongoDB 查詢。

請(qǐng)求通常是對(duì)某個(gè)通用 /graphql 端點(diǎn)的 POST，其正文如下：

但是，對(duì)於大型資料結(jié)構(gòu)，這會(huì)變得低效- 您在POST 請(qǐng)求正文中發(fā)送大型查詢，這（幾乎總是）相同，並且僅在網(wǎng)站更新時(shí)發(fā)生變化；POST 請(qǐng)求無法被快取等。因此，開發(fā)了一個(gè)名為「持久性查詢」的擴(kuò)充。這不是一個(gè)反抓取的秘密；而是一個(gè)秘密。您可以在此處閱讀有關(guān)它的公開文件。

TLDR：客戶端計(jì)算查詢文字的 sha256 雜湊值並僅發(fā)送該雜湊值。此外，您可以將所有這些內(nèi)容放入 GET 請(qǐng)求的查詢字串中，使其易於快取。以下是來自 Zillow 的請(qǐng)求範(fàn)例

如您所見，它只是有關(guān) persistedQuery 擴(kuò)充功能的一些元資料、查詢的雜湊值以及要嵌入查詢中的變數(shù)。

這是來自 expedia.com 的另一個(gè)請(qǐng)求，以 POST 形式發(fā)送，但擴(kuò)展名相同：

這主要優(yōu)化了網(wǎng)站效能，但它為網(wǎng)頁抓取帶來了一些挑戰(zhàn)：

• GET 請(qǐng)求通常更容易被阻止。
• 隱藏查詢參數(shù)：我們不知道完整的查詢，因此如果網(wǎng)站回應(yīng)「未找到持久性查詢」錯(cuò)誤（要求我們發(fā)送完整的查詢，而不僅僅是雜湊值），我們無法發(fā)送。
• 一旦網(wǎng)站發(fā)生了一點(diǎn)點(diǎn)變化，客戶端開始請(qǐng)求新的查詢- 即使舊的查詢可能仍然有效，伺服器很快就會(huì)忘記它的ID/散列，並且您使用此散列的請(qǐng)求將永遠(yuǎn)不會(huì)工作再次強(qiáng)調(diào)，因?yàn)槟鸁o法「提醒」伺服器完整的查詢文字。

因此，由於不同的原因，您可能會(huì)發(fā)現(xiàn)自己需要提取整個(gè)查詢文字。您可以深入研究網(wǎng)站 JavaScript，如果幸運(yùn)的話，您可能會(huì)在那裡找到完整的查詢文本，但通常，它是以某種方式從多個(gè)片段等動(dòng)態(tài)構(gòu)建的。

因此，我們想出了一個(gè)更好的方法：我們根本不碰客戶端 JavaScript。相反，我們將嘗試模擬客戶端嘗試使用伺服器不知道的雜湊的情況。因此，我們需要攔截瀏覽器發(fā)送的（有效）請(qǐng)求，並將雜湊值修改為偽造的，然後再傳遞給伺服器。

對(duì)於這個(gè)用例，存在一個(gè)完美的工具：mitmproxy，一個(gè)開源 Python 庫，它可以攔截您自己的設(shè)備、網(wǎng)站或應(yīng)用程式發(fā)出的請(qǐng)求，並允許您使用簡單的 Python 腳本對(duì)其進(jìn)行修改。

下載 mitmproxy，並準(zhǔn)備一個(gè) Python 腳本，如下所示：

import json

def request(flow):
    try:
        dat = json.loads(flow.request.text)
        dat[0]["extensions"]["persistedQuery"]["sha256Hash"] = "0d9e" # any bogus hex string here
        flow.request.text = json.dumps(dat)
    except:
        pass

這定義了 mitmproxy 將在每個(gè)請(qǐng)求上運(yùn)行的鉤子：它嘗試載入請(qǐng)求的 JSON 主體，將雜湊修改為任意值，並將更新的 JSON 寫入作為請(qǐng)求的新主體。

我們還需要確保將瀏覽器請(qǐng)求重新路由到 mitmproxy。為此，我們將使用名為 FoxyProxy 的瀏覽器擴(kuò)充功能。它在 Firefox 和 Chrome 中均可使用。

只需新增具有以下設(shè)定的路線：

現(xiàn)在我們可以使用以下腳本來執(zhí)行 mitmproxy：mitmweb -s script.py

這將開啟一個(gè)瀏覽器選項(xiàng)卡，您可以在其中即時(shí)觀看所有攔截的請(qǐng)求。

如果您轉(zhuǎn)到特定路徑並查看請(qǐng)求部分中的查詢，您將看到一些垃圾值已替換了雜湊值。

現(xiàn)在，如果您訪問 Zillow 並打開我們嘗試用於擴(kuò)展的特定路徑，然後轉(zhuǎn)到回應(yīng)部分，客戶端會(huì)收到 PersistedQueryNotFound 錯(cuò)誤。

Zillow 前端的反應(yīng)是將整個(gè)查詢作為 POST 請(qǐng)求發(fā)送。

我們直接從此 POST 請(qǐng)求中提取查詢和哈希。為了確保 Zillow 伺服器不會(huì)忘記此哈希，我們定期使用完全相同的查詢和哈希運(yùn)行此 POST 請(qǐng)求。這將確保即使伺服器的快取被清理或重置或網(wǎng)站發(fā)生更改，抓取工具也能繼續(xù)運(yùn)作。

結(jié)論

持久性查詢是 GraphQL API 的強(qiáng)大最佳化工具，透過最小化負(fù)載大小和啟用 GET 請(qǐng)求快取來增強(qiáng)網(wǎng)站效能。然而，它們也為網(wǎng)路抓取帶來了重大挑戰(zhàn)，主要是由於對(duì)伺服器儲(chǔ)存的雜湊值的依賴以及這些雜湊值可能無效的可能性。

使用 mitmproxy 攔截和操作 GraphQL 請(qǐng)求提供了一種有效的方法來顯示完整的查詢文本，而無需深入研究複雜的客戶端 JavaScript。透過強(qiáng)制伺服器回應(yīng) PersistedQueryNotFound 錯(cuò)誤，我們可以擷取完整的查詢負(fù)載並將其用於抓取目的。定期執(zhí)行提取的查詢可確保抓取器保持功能，即使發(fā)生伺服器端快取重置或網(wǎng)站發(fā)展也是如此。

以上是逆向工程 GraphQL persistedQuery 擴(kuò)展的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！