本文共 664 字，大约阅读时间需要 2 分钟。

代理：破解封IP这种反爬机制。

什么是代理：

• 代理服务器。

代理的作用：

• 突破自身IP访问的限制。
• 隐藏自身真实IP

代理相关的网站：
-

• 西祠代理
• www.goubanjia.com

代理ip的类型：

• http：应用到http协议对应的url中
• https：应用到https协议对应的url中

代理ip的匿名度：

• 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
• 匿名：知道使用了代理，不知道真实ip
• 高匿：不知道使用了代理，更不知道真实的ip

代理在爬虫中的应用：

import requestsurl = 'http://ip.293.net'headers = {           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'    }# page_text = requests.get(url=url, headers=headers).textpage_text = requests.get(url=url, headers=headers, proxies={   "http":'51.91.122.208:80'}).textwith open('ip.html', 'w', encoding='utf-8') as fp:    fp.write(page_text)