本文共 1133 字，大约阅读时间需要 3 分钟。

本文是我在使用网易云课堂学习日月光华老师讲的“Python爬虫零基础入门到进阶实战”课程所做的笔记，如果大家觉得不错，可以去看一下老师的视频课，讲的还是很棒的。

1. 通过识别用户代理(Headers) 反爬虫

应对：设置Headers(User-Agent)。基本所有的爬虫都要设置Headers，不然很容易被反爬虫识别。

2. 基于用户行为反爬虫

检测用户行为，比如短时间快速爬取

2.1 代理IP

所谓代理IP，就是代理用户去取得网络信息的IP地址。代理IP可以帮助爬虫掩藏真实身份，突破IP访问限制，隐藏爬虫的真实IP，从而避免被网站反爬虫禁止。

2.2 Requests中使用代理IP的方法

在get方法中加入proxies属性。

import requestsproxies = {
       # :后面为端口    "http": "http://27.152.90.179:9999",    "https": "1.197.16.144:9999",}requests.get("http://example.org",proxies=proxies)

2.3 如何获得代理IP

1. 使用免费代理IP
   从实用性、稳定性以及安全性来考虑，不推荐使用免费的代理IP。
2. 购买代理IP

2.4 代理IP使用

import requestsproxies = {
       # :后面为端口    'http': 'http://123.169.101.109:9999',}print(requests.get('https://jsonip.com', proxies=proxies).json())

执行结果：

3. 动态网页面反爬虫

动态网页很多东西由JavaScript生成，通过Ajax请求得到数据。

4. Eles

比如：使用cookies反爬虫。

转载地址：https://kaisarh.blog.csdn.net/article/details/102978749 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！