Python爬虫代理IP超详细教程｜解决爬虫封IP、访问受限、高频拦截问题

Fluxisp

1116人浏览 · 2026-07-03 11:23:59

Fluxisp · 2026-07-03 11:23:59 发布

一、为什么爬虫一定要用代理IP？

很多新手写爬虫，只会用 time.sleep() 降低请求频率，但依然频繁被封IP、验证码拦截、403禁止访问。

核心原因：网站服务器会检测单IP的请求频次，单一IP高频访问直接触发风控策略。

使用代理IP可以实现：

隐藏本地真实IP，保护本机网络安全
分散请求IP，避免单一IP请求过于密集
突破网站区域访问限制、访问频次限制
实现大规模、分布式、稳定批量爬取数据

温馨提示：本文仅用于合法合规学习、公开数据采集、技术测试，禁止用于违规爬取、恶意请求、商业侵权等行为。

二、爬虫常用代理IP分类（新手必懂）

1. HTTP代理

仅支持HTTP/HTTPS网页请求，适配绝大多数爬虫场景，性价比最高、使用最广泛，是爬虫首选代理类型。

2. HTTPS代理

支持加密网页请求，适合需要SSL加密验证的网站，安全性更高。

3. 隧道代理（长效代理）

无需频繁更换IP，自动轮转IP，稳定性极强，适合长时间持续爬取项目。

4. 短效动态代理

IP存活时间短、秒级更换、IP池量大，适合高频、大批量短期爬取任务。

三、Python requests 代理IP实战（最常用）

requests是爬虫最基础的请求库，配置代理极其简单，只需在请求参数中传入 proxies 字典。

1. 基础代理使用代码

import requests

# 配置代理IP（格式：IP:端口）
proxies = {
    "http": "http://127.0.0.1:7890",
    "https": "http://127.0.0.1:7890"
}

# 测试请求，查看当前访问IP
try:
    res = requests.get("http://httpbin.org/ip", proxies=proxies, timeout=10)
    print("当前代理IP：", res.text)
except Exception as e:
    print("请求失败：", e)

2. 代码说明

http/https：分别对应不同协议的代理配置
timeout：设置超时时间，避免代理卡顿导致程序卡死
httpbin.org/ip：免费IP检测接口，可验证代理是否生效

四、Selenium 自动化爬虫代理配置

针对JS动态渲染网站，我们常使用Selenium自动化爬虫，同样可以配置代理隐藏IP。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

# 设置Chrome代理参数
chrome_options = Options()
# 配置代理IP
proxy_ip = "127.0.0.1:7890"
chrome_options.add_argument(f'--proxy-server={proxy_ip}')

# 启动浏览器
driver = webdriver.Chrome(options=chrome_options)

# 访问IP检测页面
driver.get("http://httpbin.org/ip")
time.sleep(3)
print("代理生效成功")
driver.quit()

该方案可完美隐藏自动化爬虫的真实IP，大幅降低selenium被检测拦截的概率。

五、批量随机代理池实战（进阶防封）

单一代理IP依然有被封风险，项目开发中常用代理IP池，随机切换IP，稳定性拉满。

import requests
import random

# 模拟代理IP池（实际项目可对接代理API自动获取）
proxy_list = [
    "http://111.111.111.111:8080",
    "http://222.222.222.222:8080",
    "http://333.333.333.333:8080"
]

# 随机选取代理
def get_random_proxy():
    proxy = random.choice(proxy_list)
    return {
        "http": proxy,
        "https": proxy
    }

# 带随机代理的请求方法
def spider_request(url):
    proxies = get_random_proxy()
    try:
        res = requests.get(url, proxies=proxies, timeout=8)
        print(f"当前使用代理：{proxies['http']}，请求成功")
        return res
    except Exception as e:
        print(f"代理请求失败：{e}")
        return spider_request(url)

# 测试调用
if __name__ == "__main__":
    spider_request("http://httpbin.org/ip")