使用selenium 撰寫(xiě)爬蟲(chóng)讀取網(wǎng)頁(yè)內(nèi)容是很常見(jiàn)的需求，不過(guò)你可能會(huì)遇到需要先登入帳號(hào)才能爬取內(nèi)容的網(wǎng)頁(yè)，像是博客來(lái)上限制級(jí)的書(shū)就是這樣的例子，你會(huì)看到如下的交談窗：
由于登入帳號(hào)后會(huì)利用 cookie 記錄已登入資訊，為了讀取這樣的網(wǎng)頁(yè)，我們可以先手動(dòng)登入，登入之后匯出 cookie 到檔案。之后利用 selenium 爬取網(wǎng)頁(yè)時(shí)，再將匯出的 cookie 重新加入，重新整理網(wǎng)頁(yè)即可正常讀取網(wǎng)頁(yè)內(nèi)容了。
匯出 cookie
請(qǐng)先利用 selenium 開(kāi)啟欲讀取的網(wǎng)頁(yè)，這里以博客來(lái)為例：
>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')
這時(shí)請(qǐng)依照正常程序登入會(huì)員，然后安裝 cookie_editor 外掛：
請(qǐng)記得切回博客來(lái)的首頁(yè)，利用外掛以 JSON 格式匯出所有的 cookie：
它會(huì)將 cookie 內(nèi)容復(fù)制到剪貼簿上，請(qǐng)自行貼到文字編輯器存檔。
重新加入 cookie
接著把 selenium 關(guān)閉，再重新開(kāi)啟：
>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')
要加入 cookie，一定要在跟 Cookie 相同網(wǎng)域的網(wǎng)頁(yè)，所以要記得先開(kāi)啟博客來(lái)網(wǎng)頁(yè)。接著就可以開(kāi)啟儲(chǔ)存 cookie 的檔案，載入成為 Pytho 的字典：
>>> import json
>>> with open('cookies.json') as f:
... cookies = json.load(f)
再把 cookie 一一加回去：
>>> for cookie in cookies: ... driver.add_cookie(cookie)
這時(shí)你應(yīng)該會(huì)看到以下的錯(cuò)誤：
Traceback (most recent call last):
File "<stdin>", line 3, in <module>
File "C:\Users\meebo\code\python\poetry_env\py310\.venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 670, in add_cookie
assert cookie_dict["sameSite"] in ["Strict", "Lax", "None"]
AssertionError
這是因?yàn)閏ookie-editor 匯出的資料中，在sameSite 屬性中是以null 表示"no_restriction" 表示沒(méi)有限制一定要是同一個(gè)網(wǎng)站，但是selenium 只認(rèn)得"Strict", "Lax", "None"這三種限制，所以診斷為錯(cuò)誤，我們必須手動(dòng)修改JSON 檔，自行把所有sameSite 屬性值都改為"None"（注意是字串喔），也請(qǐng)檢查把網(wǎng)域不是".books.com.tw " 的cookie 刪除：
[
{
"domain": ".books.com.tw",
"expirationDate": 1767941747.633402,
"hostOnly": false,
"httpOnly": false,
"name": "_ga_TR763QQ559",
"path": "/",
"sameSite": null,
"secure": false,
"session": false,
"storeId": null,
"value": "GS1.1.1733381542.1.1.1733381747.0.0.0"
},
...
{
"domain": ".books.com.tw",
"expirationDate": 1748933733,
"hostOnly": false,
"httpOnly": false,
"name": "__eoi",
"path": "/",
"sameSite": "no_restriction",
"secure": true,
"session": false,
"storeId": null,
"value": "ID=7f42c4647467b5fb:T=1733381733:RT=1733381733:S=AA-AfjbpJCe1kw2klEX0xW55n9CY"
},
...
]
修改完之后，重新載入并加入 cookie 就不會(huì)出錯(cuò)了。
重新整理網(wǎng)頁(yè)讓 cookie 生效
加入 cookie 后，你看到的畫(huà)面仍然是未登入的畫(huà)面：
必須重新整理網(wǎng)頁(yè)才能讓 cookie 生效：
>>> driver.refresh()
看到的就是登入會(huì)員的頁(yè)面了：
這樣就可以利用 selenium 讀取需要登入會(huì)員的頁(yè)面了。
最后要提醒的就是 cookie 都有時(shí)效，如果一段時(shí)間過(guò)后無(wú)法利用之前儲(chǔ)存的 cookie 登入，只要重新依據(jù)上述步驟重新取得 cookie 就可以了。
以上是使用 selenium 讀取需要登入會(huì)員的網(wǎng)頁(yè)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動(dòng)的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線(xiàn)人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉！
熱門(mén)文章
熱工具
記事本++7.3.1
好用且免費(fèi)的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開(kāi)發(fā)環(huán)境
Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具
SublimeText3 Mac版
神級(jí)代碼編輯軟件(SublimeText3)
熱門(mén)話(huà)題
Python的UNITDEST或PYTEST框架如何促進(jìn)自動(dòng)測(cè)試？
Jun 19, 2025 am 01:10 AM
Python的unittest和pytest是兩種廣泛使用的測(cè)試框架，它們都簡(jiǎn)化了自動(dòng)化測(cè)試的編寫(xiě)、組織和運(yùn)行。1.二者均支持自動(dòng)發(fā)現(xiàn)測(cè)試用例并提供清晰的測(cè)試結(jié)構(gòu)：unittest通過(guò)繼承TestCase類(lèi)并以test\_開(kāi)頭的方法定義測(cè)試；pytest則更為簡(jiǎn)潔，只需以test\_開(kāi)頭的函數(shù)即可。2.它們都內(nèi)置斷言支持：unittest提供assertEqual、assertTrue等方法，而pytest使用增強(qiáng)版的assert語(yǔ)句，能自動(dòng)顯示失敗詳情。3.均具備處理測(cè)試準(zhǔn)備與清理的機(jī)制：un
如何將Python用于數(shù)據(jù)分析和與Numpy和Pandas等文庫(kù)進(jìn)行操作？
Jun 19, 2025 am 01:04 AM
pythonisidealfordataanalysisionduetonumpyandpandas.1）numpyExccelSatnumericalComputationswithFast，多dimensionalArraysAndRaysAndOrsAndOrsAndOffectorizedOperationsLikenp.sqrt（）
什么是動(dòng)態(tài)編程技術(shù)，如何在Python中使用它們？
Jun 20, 2025 am 12:57 AM
動(dòng)態(tài)規(guī)劃（DP）通過(guò)將復(fù)雜問(wèn)題分解為更簡(jiǎn)單的子問(wèn)題并存儲(chǔ)其結(jié)果以避免重復(fù)計(jì)算，來(lái)優(yōu)化求解過(guò)程。主要方法有兩種：1.自頂向下（記憶化）：遞歸分解問(wèn)題，使用緩存存儲(chǔ)中間結(jié)果；2.自底向上（表格化）：從基礎(chǔ)情況開(kāi)始迭代構(gòu)建解決方案。適用于需要最大/最小值、最優(yōu)解或存在重疊子問(wèn)題的場(chǎng)景，如斐波那契數(shù)列、背包問(wèn)題等。在Python中，可通過(guò)裝飾器或數(shù)組實(shí)現(xiàn)，并應(yīng)注意識(shí)別遞推關(guān)系、定義基準(zhǔn)情況及優(yōu)化空間復(fù)雜度。
如何使用__ITER__和__NEXT __在Python中實(shí)現(xiàn)自定義迭代器？
Jun 19, 2025 am 01:12 AM
要實(shí)現(xiàn)自定義迭代器，需在類(lèi)中定義__iter__和__next__方法。①__iter__方法返回迭代器對(duì)象自身，通常為self，以兼容for循環(huán)等迭代環(huán)境；②__next__方法控制每次迭代的值，返回序列中的下一個(gè)元素，當(dāng)無(wú)更多項(xiàng)時(shí)應(yīng)拋出StopIteration異常；③需正確跟蹤狀態(tài)并設(shè)置終止條件，避免無(wú)限循環(huán)；④可封裝復(fù)雜邏輯如文件行過(guò)濾，同時(shí)注意資源清理與內(nèi)存管理；⑤對(duì)簡(jiǎn)單邏輯可考慮使用生成器函數(shù)yield替代，但需結(jié)合具體場(chǎng)景選擇合適方式。
Python編程語(yǔ)言及其生態(tài)系統(tǒng)的新興趨勢(shì)或未來(lái)方向是什么？
Jun 19, 2025 am 01:09 AM
Python的未來(lái)趨勢(shì)包括性能優(yōu)化、更強(qiáng)的類(lèi)型提示、替代運(yùn)行時(shí)的興起及AI/ML領(lǐng)域的持續(xù)增長(zhǎng)。首先，CPython持續(xù)優(yōu)化，通過(guò)更快的啟動(dòng)時(shí)間、函數(shù)調(diào)用優(yōu)化及擬議中的整數(shù)操作改進(jìn)提升性能；其次，類(lèi)型提示深度集成至語(yǔ)言與工具鏈，增強(qiáng)代碼安全性與開(kāi)發(fā)體驗(yàn)；第三，PyScript、Nuitka等替代運(yùn)行時(shí)提供新功能與性能優(yōu)勢(shì)；最后，AI與數(shù)據(jù)科學(xué)領(lǐng)域持續(xù)擴(kuò)張，新興庫(kù)推動(dòng)更高效的開(kāi)發(fā)與集成。這些趨勢(shì)表明Python正不斷適應(yīng)技術(shù)變化，保持其領(lǐng)先地位。
如何使用插座在Python中執(zhí)行網(wǎng)絡(luò)編程？
Jun 20, 2025 am 12:56 AM
Python的socket模塊是網(wǎng)絡(luò)編程的基礎(chǔ)，提供低級(jí)網(wǎng)絡(luò)通信功能，適用于構(gòu)建客戶(hù)端和服務(wù)器應(yīng)用。要設(shè)置基本TCP服務(wù)器，需使用socket.socket()創(chuàng)建對(duì)象，綁定地址和端口，調(diào)用.listen()監(jiān)聽(tīng)連接，并通過(guò).accept()接受客戶(hù)端連接。構(gòu)建TCP客戶(hù)端需創(chuàng)建socket對(duì)象后調(diào)用.connect()連接服務(wù)器，再使用.sendall()發(fā)送數(shù)據(jù)和.recv()接收響應(yīng)。處理多個(gè)客戶(hù)端可通過(guò)1.線(xiàn)程：每次連接啟動(dòng)新線(xiàn)程；2.異步I/O：如asyncio庫(kù)實(shí)現(xiàn)無(wú)阻塞通信。注意事
Python類(lèi)中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍?，指“一種接口，多種實(shí)現(xiàn)”，允許統(tǒng)一處理不同類(lèi)型的對(duì)象。1.多態(tài)通過(guò)方法重寫(xiě)實(shí)現(xiàn)，子類(lèi)可重新定義父類(lèi)方法，如Animal類(lèi)的speak()方法在Dog和Cat子類(lèi)中有不同實(shí)現(xiàn)。2.多態(tài)的實(shí)際用途包括簡(jiǎn)化代碼結(jié)構(gòu)、增強(qiáng)可擴(kuò)展性，例如圖形繪制程序中統(tǒng)一調(diào)用draw()方法，或游戲開(kāi)發(fā)中處理不同角色的共同行為。3.Python實(shí)現(xiàn)多態(tài)需滿(mǎn)足：父類(lèi)定義方法，子類(lèi)重寫(xiě)該方法，但不要求繼承同一父類(lèi)，只要對(duì)象實(shí)現(xiàn)相同方法即可，這稱(chēng)為“鴨子類(lèi)型”。4.注意事項(xiàng)包括保持方
如何在Python中切片列表？
Jun 20, 2025 am 12:51 AM
Python列表切片的核心答案是掌握[start:end:step]語(yǔ)法并理解其行為。1.列表切片的基本格式為list[start:end:step]，其中start是起始索引（包含）、end是結(jié)束索引（不包含）、step是步長(zhǎng)；2.省略start默認(rèn)從0開(kāi)始，省略end默認(rèn)到末尾，省略step默認(rèn)為1；3.獲取前n項(xiàng)用my_list[:n]，獲取后n項(xiàng)用my_list[-n:]；4.使用step可跳過(guò)元素，如my_list[::2]取偶數(shù)位，負(fù)step值可反轉(zhuǎn)列表；5.常見(jiàn)誤區(qū)包括end索引不
