Python 里怎么使用代理IP：常见方法、代码示例与排错思路

直接结论：Python 使用代理 IP 最常见的方式，是在 requests、aiohttp 或 Scrapy 里显式配置代理，再结合重试、超时和代理池管理控制失败率。多数问题不在“代码怎么写”，而在 代理质量、会话策略、并发控制和异常处理是否匹配真实任务。

如果你的目标是脚本调试，requests 就够用；如果是高并发请求，优先看 aiohttp；如果是系统化采集项目，再考虑 Scrapy 中间件。不要一开始就堆复杂框架，先把单代理连通性、认证方式和目标站兼容性跑通更重要。

Python 里使用代理 IP 是什么

在 Python 里使用代理 IP，本质上是让程序发出的 HTTP 请求先经过代理服务器，再由代理转发到目标站点。这样可以改变请求出口、隔离任务环境，或把不同请求分配给不同的代理资源。

它适合解决三类问题：出口地区控制、任务隔离、请求成功率优化。但它不能自动解决目标站风控、浏览器指纹或业务逻辑本身的问题。

什么时候应该在 Python 里接入代理

1. 需要地区化访问结果

如果你要验证不同国家或城市看到的页面、价格或搜索结果，代理是常见做法。

2. 需要隔离不同任务出口

公开采集、账号操作和验证任务最好分开，不建议都共用同一出口。

3. 需要控制单一 IP 的访问压力

当请求量较大时，代理池和轮换策略可以帮助你降低单点失败的概率。

Python 里最常见的 4 种方法

方法	适合场景	优点	风险点
`requests` 显式配置	调试、小规模脚本	简单直观，排错方便	不适合高并发
代理池封装	中等规模任务	可做轮换、失败剔除	容易写出脆弱逻辑
`aiohttp` 异步代理	高并发采集	效率高	并发和超时更难调
Scrapy 中间件	长期运行项目	结构清晰、可扩展	配置复杂度更高

方法 1：用 requests 直接配置代理

这是最适合先验证连通性的方式。

import requests

proxies = {
    "http": "http://username:password@proxy_ip:port",
    "https": "http://username:password@proxy_ip:port",
}

resp = requests.get("https://example.com", proxies=proxies, timeout=10)
print(resp.status_code)

适合的场景：

快速验证代理是否可用
小型脚本
本地调试和问题定位

方法 2：给 requests 加一个简单代理池

单代理能跑通之后，再谈代理池才有意义。

import random
import time
import requests

class ProxyPool:
    def __init__(self, proxies):
        self.proxies = proxies
        self.fail_count = {proxy: 0 for proxy in proxies}

    def get_proxy(self):
        candidates = [p for p in self.proxies if self.fail_count[p] < 3]
        if not candidates:
            self.fail_count = {proxy: 0 for proxy in self.proxies}
            candidates = self.proxies
        return random.choice(candidates)

    def mark_fail(self, proxy):
        self.fail_count[proxy] += 1

pool = ProxyPool([
    "http://proxy1:port",
    "http://proxy2:port",
    "http://proxy3:port",
])

def fetch(url):
    for _ in range(3):
        proxy = pool.get_proxy()
        try:
            resp = requests.get(
                url,
                proxies={"http": proxy, "https": proxy},
                timeout=10,
            )
            return resp.text
        except Exception:
            pool.mark_fail(proxy)
            time.sleep(1)
    return None

更实用的点不在“随机切换”，而在：

失败剔除
成功率统计
超时统一控制
不同任务使用不同代理组

方法 3：用 aiohttp 做异步请求

如果任务主要受 I/O 限制而不是 CPU 限制，异步通常更合适。

import aiohttp
import asyncio

async def fetch(url, proxy):
    timeout = aiohttp.ClientTimeout(total=10)
    async with aiohttp.ClientSession(timeout=timeout) as session:
        async with session.get(url, proxy=proxy) as resp:
            return await resp.text()

async def main():
    proxy = "http://username:password@proxy_ip:port"
    content = await fetch("https://example.com", proxy)
    print(len(content))

asyncio.run(main())

异步不等于可以无限放大并发。真正要控制的是：

并发上限
单代理负载
错误分类
重试节奏

方法 4：在 Scrapy 里用代理中间件

如果你已经是 Scrapy 项目，代理更适合放在中间件层统一管理。

import random

class ProxyMiddleware:
    def __init__(self):
        self.proxies = [
            "http://proxy1:port",
            "http://proxy2:port",
        ]

    def process_request(self, request, spider):
        request.meta["proxy"] = random.choice(self.proxies)

这类方式适合：

长期运行项目
需要统一统计和调度
想把代理逻辑和业务逻辑分开

Python 项目里更应该关注什么

关注点	为什么重要	最低建议
超时设置	防止请求长期卡死	建议统一 5 到 15 秒
重试策略	提高临时失败恢复能力	只对可重试错误重试
错误分类	便于定位问题	区分超时、认证失败、目标站拒绝
代理分组	防止不同任务互相污染	账号类和采集类任务分开
成功率监控	防止代理池劣化不自知	按代理和按任务统计