如何在python代码中使用HTTP代理IP

如何再python代码中使用HTTP代理IP。

以下代码主要围绕第一次接触HTTP代理IP的python新手来写。（步骤注释清晰）

 

直接把下面示例代码中的HTTP代理API，替换成你后台生成的代理API链接，就可以跑起来了。

以下是一个示例代码，只是一个基础的演示，具体的代码还是要根据你业务的实际情况去写的。

示例代码中的HTTP代理IP，我使用的是华益云的HTTP代理，注册就白嫖1万个高匿爬虫IP，有效期是一年，对于调试代码来说这个时间是非常的友好。（步骤注释清晰）

华益云-企业级HTTP爬虫代理IP供应商-点我免费领取示例代码demo中同款10000个高匿IP

打开代理API，获取里面的IP，使用IP访问目标网站，其实代码中就是执行这个过程而已，然后加了几个错误判断有助于代码的稳定运行。

# 此版本无需安装依赖
import urllib
import urllib.request
import urllib

def main():
    # 发送给服务器的标识
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api（这里我推荐使用www.9vps.com华益云的HTTP代理API，注册就白嫖1万IP）
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
    # 请求代理url，获取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 没有获取到代理
        return
    # 目标请求网站
    # https://httpbin.org/get
    url = "https://www.qq.com/"
    content = None
 
    for _ in range(0, 3):
        # 最多尝试三次
        try:
            # 从列表中取出一个代理出来
            proxy = outPutProxy.pop(0)
            px = {
                "http": proxy,
                "https": proxy
            }
            content = requestGet(url, userAgent, px)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果发现没有代理了，就去获取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
     
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print("(proxyIps)", proxyIps)
        # {"code":3002,"data":[],"msg":"error!用户名或密码错误","success":false}
        if "{" in proxyIps:
            raise Exception("[错误]"+proxyIps)
        outPutProxy = proxyIps.splitlines()
        
    except Exception as e:
        print(e)
    print("总共获取了"+str(len(outPutProxy))+"个代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    # httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"}) 
    response = None
    if (proxy):
        proxyHandler = urllib.request.ProxyHandler(proxy)
        opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
        urllib.request.install_opener(opener)
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
    else:
        # 没有代理走这个
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
        #response = opener.open(request)
    
    
    html = response.read()
    # # 设置编码，防止乱码
    # 手动设置网页字符编码方式
    return html.decode("utf-8", "ignore")

main()