Python如何优雅的设置爬虫重试次数

工作中经常碰到的问题就是，当我们在使用爬虫发送请求的时候。某个方法出现了异常，重试几次循环重复一个方法是很常见的。一提到重复操作，我们第一反应就是使用循环。接下来咱们用while看一下示例代码：

import requests
url ="www.baidu.com"
i=0
total=2000
while i < total:
    try:
        result=requests.get(url)
        return result.status_code
    except:
        i+=1

在代码外面在加一层循环。这个代码看起来已经不是丑的问题了。那接下来我们使用一个优雅的方式。python retrying模块。retrying是一个python的重试包，可以用来自动重试一些可能运行失败的程序段，retrying提供一个装饰器函数retry，被装饰的函数就会在运行失败的情况下重新执行，默认只要一直报错就会不断重试。首先安装一下

pip install retrying

下面是示例代码：

from retrying import retry
@retry(stop_max_attempt_number=2000)
def test():
    url ="www.baidu.com"
    result=requests.get(url)
    return result.status_code
test()

我们原来的代码没有进行任何修改，只是说在这个函数之前，我们加上了这么一个装饰器这样看起来是不是很优雅。那除此之外，我们还可以设置retrying其他的参数

1. 重试之间等待 2 秒。

   @retry(wait_fixed=2000)
    def test():
        url ="www.baidu.com"
        result=requests.get(url)
        return result.status_code
    test()

2. stop_max_delay 设置失败重试的最大时间, 单位毫秒，超出时间，则停止重试

   @retry(stop_max_delay =1000)
   def test():
       url ="www.baidu.com"
       result=requests.get(url)
       return result.status_code
   test()

3. 两次retrying之间的停留最短时间wait_random_mint和两次retrying之间的停留最长时间wait_random_max

    @retry(wait_random_min=100, wait_random_max=2000)
    def test():
         url ="www.baidu.com"
         result=requests.get(url)
         return result.status_code
     test()
    ```

4. wait_exponential_multiplier间隔时间倍数增加，wait_exponential_max最大间隔时间

   @retry(wait_random_min=100, wait_random_max=2000)
   def test():
       print("test %d" % int(time()))
       url ="www.baidu.com"
       result=requests.get(url)
       return result.status_code
   test()

其它参数咱们可以看 官方文档