java爬虫使用代理|Java爬虫使用代理IP代码实现示例

Java爬虫用代理IP到底图个啥？

搞爬虫的老铁都知道，目标网站的反爬机制就像小区保安似的，逮着可疑IP就封。这时候代理IP就相当于会变脸的通行证，每次请求换个马甲，让服务器以为是不同用户在操作。比如用全民代理IP的动态池子，1分钟能换几百个IP地址，比川剧变脸还快。

选代理服务商的门道

市面上的代理IP鱼龙混杂，要挑个靠谱的得看这几个硬指标：

IP存活时间：全民代理IP的住宅代理存活周期长达24小时
连接成功率：实测API接口响应速度在200ms以内
协议支持：同时兼容HTTP/HTTPS/SOCKS5三种协议

手把手教你写代理代码

以HttpClient为例，给爬虫套个代理马甲：

// 重点看这里！设置代理参数
CloseableHttpClient client = HttpClients.custom()
    .setProxy(new HttpHost("proxy.qmindaili.com", 9020)) //全民代理的接入节点
    .setProxyAuthenticationStrategy(new ProxyAuthenticationStrategy())
    .build();

// 记得加上认证信息（账号密码在官网控制台找）
CredentialsProvider credsProvider = new BasicCredentialsProvider();
credsProvider.setCredentials(
    new AuthScope("proxy.qmindaili.com", 9020),
    new UsernamePasswordCredentials("你的账号", "你的密码")
);