Python代码验证代理IP有效性的方法与实现

实战技巧：用Python揪出失效代理IP的七寸

搞网络数据采集的伙计们都知道，代理IP就像耗材，今天能用的明天可能就凉凉。市面上很多免费代理存活时间不超过5分钟，这时候就需要咱们自己动手验证有效性。全民代理IP虽然质量靠谱，但定期检查库存也是必修课。

基础验证三板斧

先教各位最直接的验证方法，用requests库就能搞定：

import requests

def check_proxy(proxy):
    try:
        response = requests.get('http://httpbin.org/ip', 
            proxies={'http': proxy, 'https': proxy},
            timeout=5)
        return response.status_code == 200
    except:
        return False

注意三个关键点：

超时设置别超过5秒，否则影响效率
测试地址选httpbin这种稳定服务
同时检测http/https两种协议支持

进阶版验证策略

光能连通还不够，得看代理是否真能隐藏真实IP。全民代理IP的高匿代理就能完美通过这个检测：

def deep_check(proxy):
    try:
        real_ip = requests.get('http://httpbin.org/ip').json()['origin']
        proxy_ip = requests.get('http://httpbin.org/ip',
            proxies={'http': proxy, 'https': proxy},
            timeout=5).json()['origin']
        return real_ip != proxy_ip
    except:
        return False

批量验证提速秘籍

当需要验证成百上千个IP时，单线程会慢到怀疑人生。用concurrent.futures实现多线程才是正解：

from concurrent.futures import ThreadPoolExecutor

def batch_check(proxies):
    with ThreadPoolExecutor(max_workers=20) as executor:
        results = list(executor.map(check_proxy, proxies))
    return [proxy for proxy, valid in zip(proxies, results) if valid]

线程数建议控制在20以内，太多容易触发反爬机制。全民代理IP的API支持批量获取，配合这个方法效率直接拉满。