Untuk mengikis laman web yang memerlukan log masuk menggunakan Python, simulasi proses log masuk dan simpan sesi. Mula -mula, fahami bagaimana log masuk berfungsi dengan memeriksa aliran log masuk dalam alat pemaju penyemak imbas anda, mencatatkan URL log masuk, parameter yang diperlukan, dan sebarang token atau pengalihan yang terlibat. Kedua, gunakan permintaan.Session () untuk meneruskan kuki merentasi permintaan, menghantar permintaan pos dengan kelayakan log masuk yang betul dan menggunakan objek sesi untuk mengakses halaman yang dilindungi selepas itu. Ketiga, mengendalikan log masuk dinamik-seperti laman web JavaScript-dengan alat seperti selenium atau penulis drama untuk Automasi UI, yang juga boleh mengekstrak kuki pasca login untuk mengikis selanjutnya. Keempat, elakkan daripada disekat atau dikunci dengan menambahkan kelewatan antara permintaan, berputar ejen pengguna, mengelakkan percubaan kekerasan, menghormati terma perkhidmatan, dan menguruskan kelayakan dengan selamat melalui pembolehubah persekitaran dan bukannya mengodkannya.

Jika anda ingin mengikis laman web yang memerlukan log masuk menggunakan Python, kunci adalah untuk mensimulasikan proses log masuk dan mengekalkan sesi. Tidak seperti halaman awam, kandungan log masuk dilindungi oleh pengesahan, jadi anda tidak boleh hanya menggunakan requests.get(url) dan mengharapkan untuk melihat data sebenar. Anda perlu mengendalikan kuki atau token dengan betul.

Inilah cara untuk mendekati langkah demi langkah.

1. Fahami bagaimana log masuk berfungsi

Sebelum menulis sebarang kod, periksa aliran log masuk dalam penyemak imbas anda:

• Buka Alat Pemaju (F12), pergi ke tab Rangkaian .
• Cuba log masuk secara manual dan cari permintaan yang dibuat ke titik akhir log masuk ( POST biasanya).
• Semak data borang atau permintaan muatan - ini memberitahu anda parameter apa yang diperlukan (seperti nama pengguna, kata laluan, mungkin token CSRF).
• Juga periksa sama ada terdapat pengalihan selepas log masuk atau jika token terlibat (biasa dengan aplikasi moden).

Ini memberi anda semua maklumat yang anda perlukan untuk meniru log masuk dalam skrip anda.

2. Gunakan requests.Session() untuk menyimpan kuki

Sebaik sahaja anda mengetahui URL log masuk dan data yang diperlukan, gunakan objek sesi untuk meneruskan kuki merentasi permintaan:

 permintaan import

sesi = permintaan.Session ()

login_data = {
    'Nama Pengguna': 'Your_username',
    'kata laluan': 'your_password'
}

login_url = 'https://example.com/login'
session.post (login_url, data = login_data)

Selepas ini, session akan membawa kuki yang disahkan, dan anda boleh menggunakannya untuk mengakses halaman yang dilindungi:

 profil_page = session.get ('https://example.com/dashboard')
cetak (profil_page.text) # harus menunjukkan kandungan log masuk sebenar

Sesetengah laman web mungkin memerlukan medan tambahan seperti csrf_token , yang anda perlu mengekstrak dari halaman login HTML terlebih dahulu menggunakan alat seperti BeautifulSoup atau LXML.

3. Mengendalikan log masuk dinamik (misalnya, laman web JavaScript-berat)

Jika laman web ini menggunakan JavaScript berat atau mempunyai pengesahan yang kompleks (seperti OAuth, token JWT), requests mungkin tidak mencukupi. Dalam kes sedemikian:

• Gunakan selenium atau penulis drama untuk mengawal penyemak imbas sebenar.
• Alat ini boleh log masuk melalui Automasi UI dan kemudian mengambil kandungan halaman akhir atau kuki.

Contoh dengan selenium:

 dari Webdriver Import Selenium

pemandu = webdriver.chrome ()
driver.get ('https://example.com/login')

# Cari dan isi borang log masuk
driver.find_element ('nama', 'nama pengguna'). Send_keys ('your_username')
driver.find_element ('nama', 'kata laluan'). Send_keys ('your_password')
driver.find_element ('xpath', '// butang [@type = "hantar"]). Klik ()

# Selepas log masuk, dapatkan kuki
cookies = driver.get_cookies ()

# Sekarang gunakan kuki ini dengan permintaan atau teruskan mengikis melalui selenium

Perlu diingat: Automasi penyemak imbas lebih perlahan dan lebih berat daripada requests .

4. Elakkan disekat atau dikunci

Semasa mengikis halaman yang disahkan:

• Jangan hantar terlalu banyak permintaan dalam masa yang singkat - tambah kelewatan dengan time.sleep() .
• Putar ejen pengguna atau gunakan tajuk yang serupa dengan pelayar sebenar.
• Berhati-hati dengan percubaan kekerasan-sesetengah laman web mengunci akaun selepas banyak log masuk gagal.
• Menghormati Syarat Perkhidmatan - Pengikis mungkin bertentangan dengan peraturan.

Juga, tidak pernah kelayakan HardCode dalam skrip anda secara terbuka - menggunakan pembolehubah persekitaran atau fail konfigurasi.

Jadi untuk merakam:

• Simulasi log masuk menggunakan Session() dan data pos yang betul.
• Mengendalikan log masuk dinamik dengan automasi penyemak imbas jika diperlukan.
• Sentiasa menjaga sesi hidup dan meniru tingkah laku pengguna sebenar.

Itu pada dasarnya - bukan sains roket, tetapi mudah untuk merosakkan jika anda melangkau kerja persiapan.

Atas ialah kandungan terperinci Cara Mengikis laman web yang memerlukan log masuk dengan Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!