Es ist eine sehr h?ufige Anforderung, einen Crawler zum Lesen von Webseiteninhalten zu verwenden. Es kann jedoch vorkommen, dass Sie sich vor dem Crawlen des Inhalts bei Ihrem Konto anmelden Bücher ist ein Beispiel hierfür. Sie sehen das folgende Chatfenster:

Da Cookies zum Aufzeichnen von Anmeldeinformationen nach der Anmeldung bei einem Konto verwendet werden, k?nnen wir uns zum Lesen einer solchen Webseite zun?chst manuell anmelden und dann das Cookie in eine Datei exportieren. Wenn Sie sp?ter Selen zum Crawlen der Webseite verwenden, fügen Sie die exportierten Cookies erneut hinzu, organisieren Sie die Webseite neu und der Webinhalt kann normal gelesen werden.

Cookies exportieren

Bitte ?ffnen Sie mit Selenium zuerst die Webseite, die Sie lesen m?chten. Hier ist ein Blog als Beispiel:

>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')

Zu diesem Zeitpunkt melden Sie sich bitte gem?? den normalen Verfahren als Mitglied an und installieren Sie dann das cookie_editor-Plug-in:

Bitte denken Sie daran, zurück zur Homepage des Blogs zu wechseln und das Plug-in zu verwenden, um alle Cookies im JSON-Format zu exportieren:

Der Cookie-Inhalt wird in die Zwischenablage kopiert. Bitte fügen Sie ihn in einen Texteditor ein und archivieren Sie ihn selbst.

Cookies erneut hinzufügen

Dann schlie?en Sie Selenium und ?ffnen es wieder:

>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')

Um Cookies hinzuzufügen, müssen Sie sich auf einer Webseite in derselben Domain wie das Cookie befinden. Denken Sie also daran, zuerst den Blog zu ?ffnen, um auf die Webseite zuzugreifen. Anschlie?end k?nnen Sie die Datei, in der das Cookie gespeichert ist, ?ffnen und in ein Python-W?rterbuch laden:

>>> import json
>>> with open('cookies.json') as f:
...     cookies = json.load(f)

Fügen Sie die Cookies einzeln wieder hinzu:

>>> for cookie in cookies:
...     driver.add_cookie(cookie)

An dieser Stelle sollte die folgende Fehlermeldung angezeigt werden:

Traceback (most recent call last):
  File "<stdin>", line 3, in <module>
  File "C:\Users\meebo\code\python\poetry_env\py310\.venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 670, in add_cookie
    assert cookie_dict["sameSite"] in ["Strict", "Lax", "None"]
AssertionError

Dies liegt daran, dass in den vom Cookie-Editor exportierten Daten das sameSite-Attribut Null verwendet, um ?no_restriction“ darzustellen, was bedeutet, dass es keine Einschr?nkung gibt und es sich um dieselbe Website handeln muss, Selenium jedoch nur ?Strict“ und ?Lax“ erkennt ", ?Keine“ Diese drei Einschr?nkungen werden daher als Fehler diagnostiziert. Wir müssen die JSON-Datei manuell ?ndern und alle sameSite-Attributwerte auf ?Keine“ ?ndern (beachten Sie, dass es sich um Zeichenfolgen handelt). Bitte überprüfen Sie auch, ob die Dom?ne vorhanden ist nicht ?.books.com.“ tw“ Cookie-L?schung:

[
    {
        "domain": ".books.com.tw",
        "expirationDate": 1767941747.633402,
        "hostOnly": false,
        "httpOnly": false,
        "name": "_ga_TR763QQ559",
        "path": "/",
        "sameSite": null,
        "secure": false,
        "session": false,
        "storeId": null,
        "value": "GS1.1.1733381542.1.1.1733381747.0.0.0"
    },
    ...
    {
        "domain": ".books.com.tw",
        "expirationDate": 1748933733,
        "hostOnly": false,
        "httpOnly": false,
        "name": "__eoi",
        "path": "/",
        "sameSite": "no_restriction",
        "secure": true,
        "session": false,
        "storeId": null,
        "value": "ID=7f42c4647467b5fb:T=1733381733:RT=1733381733:S=AA-AfjbpJCe1kw2klEX0xW55n9CY"
    },
    ...
]

Nach der ?nderung laden Sie die Cookies neu und fügen sie hinzu. Es treten keine Fehler auf.

Aktualisieren Sie die Webseite, damit Cookies wirksam werden

Nach dem Hinzufügen von Cookies ist der angezeigte Bildschirm immer noch der eines nicht angemeldeten Bildschirms:

Die Seite muss aktualisiert werden, damit das Cookie wirksam wird:

>>> driver.refresh()

Was Sie sehen, ist die Seite, auf der Sie sich als Mitglied anmelden k?nnen:

Auf diese Weise k?nnen Sie Selen zum Lesen von Seiten verwenden, für die eine Mitgliederanmeldung erforderlich ist.

Als letztes müssen Sie daran erinnern, dass Cookies gültig sind. Wenn Sie sich nach einer gewissen Zeit nicht mehr mit dem zuvor gespeicherten Cookie anmelden k?nnen, befolgen Sie einfach die oben genannten Schritte, um das Cookie erneut zu erhalten.

Das obige ist der detaillierte Inhalt vonVerwenden Sie Selenium, um Webseiten zu lesen, für die eine Mitgliederanmeldung erforderlich ist. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!