Python爬虫怎么设置Requests代理IP？代码怎么写，详细教程来了

Requests库设置代理IP的基本原理

在Python爬虫开发中，使用Requests库发送网络请求是最常见的操作之一。当我们需要通过代理IP来发送这些请求时，理解其设置原理就很重要了。简单来说，代理IP就像一个中间人，你的请求不是直接从你的电脑发到目标网站，而是先发到代理服务器，再由代理服务器转发出去。目标网站看到的是代理服务器的IP地址，而不是你的真实IP。

Requests库支持通过一个简单的字典参数来配置代理。这个字典的键是协议类型，比如http、https，值就是代理服务器的地址和端口。无论你使用的是哪种类型的代理IP服务，无论是长效静态的、还是自动轮换的隧道代理，最终都是通过这个统一的接口进行设置。这意味着，一旦你掌握了这个方法，就可以灵活应用各种代理IP资源。

获取可用的代理IP资源

在写代码之前，你得先有能用的代理IP。市面上有很多服务商，质量参差不齐。对于爬虫项目来说，IP的稳定性、速度和纯净度是关键。一个不稳定的代理IP会导致请求频繁失败，大大影响数据采集效率。

这里推荐一下全民HTTP。他们拥有海量的国内IP资源，覆盖城市很广，响应速度也快，最重要的是IP可用率非常高，这对于需要长时间稳定运行的爬虫任务来说是个好消息。他们的产品线也比较全，比如你希望IP固定一段时间，可以用长效静态IP；如果希望IP不断自动更换以防被识别，可以用隧道代理IP；对资源有更高控制要求的，还可以选择独享代理IP池。根据你的具体业务场景，比如是做数据抓取、价格监控还是广告验证，可以选择最适合的代理IP使用方式。

在Requests中配置代理IP的详细步骤

接下来我们进入核心部分。假设你已经从服务商那里获取到了一个代理IP，格式通常是“IP地址:端口”，可能还带有用户名和密码。下面分情况说明如何设置。

最基础的是HTTP/HTTPS代理的设置。你需要在发起请求的`requests.get()`或`requests.post()`方法中，传入一个`proxies`参数。这个参数是一个字典。如果你只有一个代理IP，并且希望HTTP和HTTPS请求都走这个代理，可以这样写：

proxies = { “http”: “http://12.34.56.78:8080”, “https”: “http://12.34.56.78:8080” } response = requests.get(“你的目标网址”, proxies=proxies)

注意，即使目标是HTTPS网址，如果代理服务器本身是HTTP协议，`https`键对应的值通常也以`http://`开头。如果你的代理IP需要认证，就需要把用户名和密码加进去，格式是：“http://用户名:密码@IP地址:端口”。

对于SOCKS5代理，设置也类似，但需要确保你的Requests库安装了SOCKS支持。字典的写法是：`{‘http’: ‘socks5://用户:密码@IP:端口’, ‘https’: ‘socks5://用户:密码@IP:端口’}`。全民HTTP的代理服务也支持SOCKS5协议，为一些特殊场景提供了更多选择。

处理代理IP失效与异常的策略

再好的代理IP也不可能保证100%永远有效，网络波动、IP被目标网站暂时封锁等情况都可能发生。一个健壮的爬虫必须要有完善的代理IP异常处理机制。

你应该捕获请求时可能抛出的异常，比如`requests.exceptions.ProxyError`、`requests.exceptions.ConnectTimeout`、`requests.exceptions.ConnectionError`等。一旦捕获到这类异常，就意味着当前使用的这个代理IP可能出了问题。

你需要有一个备用的代理IP列表和切换逻辑。当检测到当前代理失效时，程序能自动从IP列表中选取下一个代理IP进行重试。如果你使用的是全民HTTP的隧道代理，这个“轮换”的过程是服务端自动完成的，你只需要连接一个固定的隧道入口地址，后端会自动为你切换不同的出口IP，省去了自己管理和列表的麻烦，对于防封要求高的数据采集场景尤其省心。

建议加入重试机制和超时设置。不要因为一次失败就放弃，可以设置最多重试几次。给请求设置合理的超时时间，避免在某个失效的代理IP上等待过久，拖慢整体采集速度。

针对不同业务场景的代理IP方案选择

不同的爬虫任务，对代理IP的需求侧重点不同。选对方案，事半功倍。

如果你做的是大规模、长时间的数据抓取，比如对某个电商平台进行持续的价格监控，那么对代理IP的消耗量会很大，且要求稳定。这种情况下，全民HTTP的不限量代理IP或高性价比的隧道代理可能比较合适，它们能提供持续不断的IP资源，保证采集任务不间断。

如果业务对IP的纯净度和成功率要求极高，比如用于广告效果验证或账号管理，那么建议使用独享代理IP或长效静态IP。这类IP资源通常由你一人专用，没有被他人滥用过的风险，因此更干净，访问成功率也更高，可以有效避免因IP连带问题导致的目标网站访问限制。

对于需要模拟移动端数据的场景，比如采集一些APP端才有的信息，那么移动代理IP就是必需品。全民HTTP提供的移动网络代理，能让你服务器的请求看起来像是从真实手机网络发出的，更容易获取到移动端的页面数据。

常见问题与解答（QA）

Q1：设置了代理IP，但爬虫程序报错，提示连接失败，可能是什么原因？

A1：原因可能有几种：一是你获取的代理IP本身已经失效或端口不对；二是代理服务器网络不稳定；三是你的代码中代理字典的格式写错了，比如协议头`http://`漏了，或IP、端口拼写错误；四是代理IP需要认证但你没有填写正确的用户名和密码。建议先从服务商后台检查IP的有效性，再核对代码格式。

Q2：使用代理IP后，访问速度变慢了怎么办？

A2：代理访问必然比直连多一个中转环节，轻微延迟是正常的。但如果速度慢得异常，可以尝试：1）选择地理位置离你或离目标网站更近的代理IP节点；2）联系服务商检查IP质量，全民HTTP这类服务商通常能提供低延迟、高可用的IP资源；3）检查是否是本地网络问题；4）在代码中合理设置超时时间，避免长时间等待。

Q3：如何判断代理IP是否真的生效了？

A3：有一个简单的方法：在设置代理前后，分别访问一个显示本机IP的网站（比如一些IP查询网站），对比两次显示的IP地址。如果设置代理后显示的IP变成了代理服务器的IP，那就说明生效了。在调试时，可以先用一个免费的、简单的网页进行测试，确保代理配置正确后再用于正式的数据采集任务。

Q4：我的爬虫需要高匿名代理，该如何选择？

A4：高匿名代理意味着代理服务器会完全隐藏你的真实IP，并且不会向目标网站透露它自己是代理。在选择服务商时，要明确询问其代理的匿名等级。像全民HTTP提供的代理IP服务，通常能保证高匿名性，确保在数据采集过程中，目标网站只能看到代理IP，这对于避免被反爬机制识别至关重要。

Q5：代理IP用一会儿就被封了，有什么解决办法？

A5：这说明目标网站的反爬策略比较严格。解决办法包括：1）降低请求频率，在爬虫中增加随机延迟；2）配合User-Agent等请求头一起轮换，模拟得更像真人；3）使用自动轮换的隧道代理IP，让每个请求或每隔一段时间就自动更换一个IP，大大降低单个IP的曝光率；4）使用更纯净的独享IP资源，避免使用被多人用过、可能已有不良记录的共享IP。