【asyncio】异步编程知识总结

1. 基础概念

1.1 协程概念

协程（Coroutine），也称为微线程，是一种用户态内的上下文切换技术。其实就是通过一个线程实现代码块相互切换执行。

实现协程的几种方法：

• greentlet ，手动switch切换

• yield关键字

• asyncio装饰器（py3.4+）,遇到IO自动切换。

• async、await他关键字（py3.5，推荐）

协程的目的是通过一个线程利用其IO等待的时候，再去干点别的事情，别闲着！

1.2 事件循环

可以把事件循环当作一个while True循环，监测并执行某些代码。

1.3 协程函数和协程对象

协程函数： 定义函数格式为async def 函数名。

协程对象： 协程函数() 得到的对象。

注意： result = func()创建协程对象，函数内部代码不会执行。

如果要运行协程函数内部代码，必须要将协程对象交给事件循环来处理。

1.4 await关键字

await后跟可等待对象，可等待对象包括协程对象、Future和Task对象，这些都是IO等待。等IO操作完成之后再继续往下执行，当前协程(任务)挂起时，事件循环可以执行其他协程(任务)。

同一个协程任务中，多个await，会依次等待等待对象执行完成；不同协程任务中，遇到await会交替执行。

案例1：

案例2：

运行结果：

1.5 Task对象

Tasks are used to schedule coroutines concurrently.  

 When a coroutine is wrapped into a Task with functions like asyncio.create_task() the coroutine is automatically scheduled to run soon.

Task被用来在事件循环中添加多个任务的。

当协程包装到具有asyncio.create_task()等函数的任务中时，会自动地添加到事件循环中等待被调度执行。除了使用asynico.create_task()函数以外，还可以用底层级的loop.create_create_task()或ensure_future()函数。

注意： asynico.create_task()函数在py3.7中被加入。在py3.7之前，可以改用低层级的asyncio.ensure_future()函数。

create_task源码，获取正在运行的事件循环，然后在事件循环里把任务core添加进去，最后返回一个Task对象。

案例1：

案例2：

案例3：

和案例2相比，task_list中直接写的任务名称，没有通过create_task创建Task对象，这是因为create_task函数创建任务之后会自动添加到事件循环中，在该案例中定义task_list前还没有创建事件循环，但是通过asyncio.wait()可以将任务添加到asyncio.run()创建的事件循环中。

1.6 asyncio.Future对象

A Future is a special low-level awaitable object that represents an eventual result of an asynchronous operation.

asyncio中的Future对象是一个更偏向底层的可等待对象，代表异步任务的最终结果。通常不会直接用到这个对象，而是直接使用Task对象来完成任务的创建和状态的追踪。

Task继承Future，Task对象内部await结果是基于Future对象来的。

案例1：

案例2：

1.7 异步和非异步模块混合使用

python还有一个concurrent.futures.Future对象，它和asyncio.Future是不一样的。concurrent.futures.Future对象不可以用await修饰，asyncio.Future对象可以用await修饰。

但是asyncio提供了一个方法asyncio.wrap_future()可以将concurrent.futures.Future对象转换为asyncio.Future。

案例： asyncio + 不支持异步的模块

1.8 异步迭代器

• 异步迭代器

实现了__aiter__()和__anext__()方法的对象。__anext__必须返回一个awaitable对象。async for会处理异步迭代器的__anext__()方法所返回的可等待对象，直到其引发一个StopAsyncIteration异常。

• 异步可迭代对象

可在async for语句中被使用的对象。必须通过它的__aiter__()方法返回一个asynchronous iterator。

案例1：

async for要写在async函数里，不然会报错：SyntaxError: 'async for' outside async function

1.9 异步上下文管理器

异步上下文管理器就是对象通过定义__aenter__()和__aexit__()方法来对async with语句中的环境进行控制。

可以通过with open来理解，enter中打开文件，exit中关闭文件。

案例：

1.10 uvloop

uvloop是asyncio的事件循环的替代方案。uvloop的事件循环效率高于默认asyncio的事件循环。

注： uvloop不支持window平台，安装会报错；ubuntu上测试是可以正常安装的。

注意：一个asgi->uvicorn内部使用的就是uvloop

案例：

2. 案例学习

2.1 异步redis

在使用python代码操作redis时，连接/操作/断开都是网络IO。

环境： aioredis 2.0.1

案例：

redis库中存放的数据：

从redis库中读取数据：

2.2 异步MySQL

环境： aiomysql 0.1.1

案例：

2.3 异步FastAPI

环境：

• fastapi 0.88.0 pip install fastapi

• uvicorn 0.20.0 pip install uvicorn

案例：

2.4 异步爬虫

环境：

• aiohttp 3.8.3 pip install aiohttp 

案例：

 3. 参考资料

• BIlibili学习视频： BV1Ke411W71L （非常好的入门课程）

• asyncio官方文档：https://docs.python.org/zh-cn/3.8/library/asyncio.html

• 事件循环： https://docs.python.org/zh-cn/3.8/library/asyncio-eventloop.html

• Task对象： https://docs.python.org/zh-cn/3.8/library/asyncio-task.html#awaitables

• asyncio和线程、进程混用： https://docs.python.org/3.8/library/asyncio-eventloop.html#asyncio.loop.run_in_executor

• aioredis官方文档：https://aioredis.readthedocs.io/en/latest/

• aiomysql官方文档： https://aiomysql.readthedocs.io/en/latest/index.html

• Ubuntu上安装MySQL： https://kalacloud.com/blog/ubuntu-install-mysql/#:~:text=%E5%A6%82%E4%BD%95%E5%9C%A8%20Ubuntu%20%E4%B8%8A%E5%AE%89%E8%A3%85%20MySQL%201%20%E7%AC%AC%E4%B8%80%E6%AD%A5%20-%20%E5%AE%89%E8%A3%85,MySQL%20%E6%98%AF%E4%B8%8D%E6%98%AF%E5%AE%8C%E5%85%A8%E5%AE%89%E8%A3%85%E6%88%90%E5%8A%9F%20%E8%B5%B0%E5%88%B0%E8%BF%99%E9%87%8C%EF%BC%8C%E6%88%91%E4%BB%AC%E5%8F%AF%E4%BB%A5%E7%94%A8%20service%20%E5%91%BD%E4%BB%A4%EF%BC%8C%E7%9C%8B%E4%B8%80%E4%B8%8B%20mysql%20%E8%BF%99%E4%B8%AA%E6%9C%8D%E5%8A%A1%E6%98%AF%E4%B8%8D%E6%98%AF%E6%AD%A3%E5%B8%B8%E5%9C%A8%E8%BF%90%E8%A1%8C%E3%80%82%20