国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

網(wǎng)頁爬蟲 - Python requests.get 爬蟲 設(shè)置代理 IP地址未改變
typecho
typecho 2017-06-12 09:24:11
0
1
1318

工作需要爬取亞馬遜上面的信息,但是亞馬遜反爬蟲太厲害,同一個(gè)IP地址會被封。
Python版本:3.6, IDE:Pycharm 2017.1
在網(wǎng)上查了很多資料,requests庫的手冊也讀過,但是都是同一個(gè)方法,代碼如下:

import requests
'''代理IP地址(高匿)'''
proxy = {'HTTPS': '117.85.105.170:808'}
'''head 信息'''
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36', 
    'Connection': 'keep-alive'}
'''http://icanhazip.com會返回當(dāng)前的IP地址'''
p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)
print(p.text)

根據(jù)我看過的許多教程的理論,如果代理設(shè)置成功,最后顯示的IP應(yīng)該是代理的IP地址,但是最終還是我真實(shí)的IP地址,這樣一來不就等于沒有設(shè)置代理么?

typecho
typecho

Following the voice in heart.

全部回復(fù)(1)
阿神

proxies在你訪問http時(shí)用http的設(shè)置,訪問https時(shí)用https的設(shè)置
所以你的proxy需要同時(shí)包含http及https的配置,這樣才能生效

proxy = {
    'http': 'http://117.85.105.170:808',
    'https': 'https://117.85.105.170:808'
}
最新下載
更多>
網(wǎng)站特效
網(wǎng)站源碼
網(wǎng)站素材
前端模板