self.loop, _ = self.start_loop(loop) # 限制并发量为500 self.semaphore = asyncio.Semaphore(maxsize, loop=self.loop) def task_add ( self, item= 1 ): :param item: :return: self.task.put(item) def task_done ( self, fn ): :param fn: :return: if fn: self.task.get() self.task.task_done() def wait ( self ): 等待任务执行完毕 :return: self.task.join() @property def running ( self ): 获取当前线程数 :return: return self.task.qsize() @staticmethod def _start_thread_loop ( loop ): 运行事件循环 :param loop: loop以参数的形式传递进来运行 :return: # 将当前上下文的事件循环设置为循环。 asyncio.set_event_loop(loop) # 开始事件循环 loop.run_forever() async def _stop_thread_loop ( self, loop_time= 1 ): :return: while True : if self.task.empty(): # 停止协程 self.loop.stop() break await asyncio.sleep(loop_time) def start_loop ( self, loop ): 运行事件循环 开启新线程 :param loop: 协程 :return: # 获取一个事件循环 if not loop: loop = asyncio.new_event_loop() loop_thread = Thread(target=self._start_thread_loop, args=(loop,)) # 设置守护进程 loop_thread.setDaemon( True ) # 运行线程，同时协程事件循环也会运行 loop_thread.start() return loop, loop_thread def stop_loop ( self, loop_time= 1 ): 队列为空，则关闭线程 :param loop_time: :return: # 关闭线程任务 asyncio.run_coroutine_threadsafe(self._stop_thread_loop(loop_time), self.loop) def release ( self, loop_time= 1 ): :param loop_time: :return: self.stop_loop(loop_time) async def async_semaphore_func ( self, func ): :param func: :return: async with self.semaphore: return await func def submit ( self, func, callback= None ): 提交任务到事件循环 :param func: 异步函数对象 :param callback: 回调函数 :return: self.task_add() # 将协程注册一个到运行在线程中的循环，thread_loop 会获得一个环任务 # 注意：run_coroutine_threadsafe 这个方法只能用在运行在线程中的循环事件使用 # future = asyncio.run_coroutine_threadsafe(func, self.loop) future = asyncio.run_coroutine_threadsafe(self.async_semaphore_func(func), self.loop) # 添加回调函数,添加顺序调用 future.add_done_callback(callback) future.add_done_callback(self.task_done)

async def thread_example(i): url = " http://127.0.0.1:8080/app04/async4?num={}".format(i) async with aiohttp.ClientSession() as session: async with session.get(url) as res: # print(res.status) # print(res.content) return await res.text()

def my_callback(future): result = future.result() print('返回值: ', result)

def main(): # 任务组， 最大协程数 pool = AsyncPool(maxsize=100000)

# 插入任务任务
for i in range(100000):
    pool.submit(thread_example(i), my_callback)
print("等待子线程结束1...")
# 停止事件循环
pool.release()
# 获取线程数
# print(pool.running)
print("等待子线程结束2...")
pool.wait()
print("等待子线程结束3...")
if name == 'main':
start_time = time.time()
main()
end_time = time.time()
print("run time: ", end_time - start_time)

'''
 
 
    Python基础入门教程：使用 Python 3 协程快速获得一个代理池




    
 
在执行 IO 密集型任务的时候，程序会因为等待 IO 而阻塞。比如我们使用 requests 库来进行网络爬虫请求的话，如果网站响应速度过慢，程序会一直等待网站响应，最终导致其爬取效率十分低下。本文以爬取 IP 代理池为例，演示 Python 中如何利用异步协程来加速网络爬虫。…
 
  
                Python_Jack
            Python
          
 
 
  
    Python3 asyncio 异步 并行 协程 线程 非阻塞
 
Python在执行异步并行方法已经有一些内部方法，比如线程，线程池，进程，进程池等（这里不列举第三方工具）；不过这几个方法都得创建个类，把这些动作塞进去，再声明这个类然后去run；能不这么麻烦么？
 
  
                大壮Jobson
            Python
          
 
 
  
    Python 黑魔法之协程 / 异步 IO
 
随着 node.js 的盛行，相信大家今年多多少少都听到了异步编程这个概念。Python 社区虽然对于异步编程的支持相比其他语言稍显迟缓，但是也在 Python3.4 中加入了 asyncio，在 Python3.5 上又提供了 async/await 语法层面的支持，刚正式发布的 Python3.6 中 asynico 也已经由临时版改为了稳定版。下面我们就基于 Python3.4 + 来了解一下异步编程的概念以及 asyncio 的用法。
 
  
            Python
          
 
 
  
    突破性能瓶颈：使用Asyncio构建高并发Python应用程序
 
前言 并发编程是一种处理多个任务同时执行的编程方式，在Python中，asyncio是一种用于实现异步编程的强大工具。asyncio基于协程（coroutine）的概念，能够高效地处理I/O密集型任务
 
  
                郝同学的测开笔记
            Python
          
 
 
  
    tornado 并发编程系列（2）——asyncio和concurrent.futures
 
Asyncio: Python的异步I/O库 asyncio 模块是 Python 3.4 版本中添加的一些强大且易于使用的异步编程工具。 为了有效地使用 asyncio 模块，首先要了解什么是协程，
 
  
                Goland猫
            Python
          
 
 
  
    Python黑魔法 --- 异步IO（ asyncio） 协程 
 
pythonasyncio网络模型有很多中，为了实现高并发也有很多方案，多线程，多进程。无论多线程和多进程，IO的调度更多取决于系统，而协程的方式，调度来自用户，用户可以在函数中yield一个状态。使
 
  
                andy_21353
            Python
          
 
 
  
    Python 并发编程之协程 / 异步 IO
 
基于 Python3.4 + 来了解一下异步编程的概念以及 asyncio 的用法。
 
  
                vinegar19389
            Python
          
 
 
  
    Python爬虫（十四）使用协程实现异步爬虫
 
协程，又称微线程，纤程。英文名Coroutine。 asyncio是Python 3.4版本引入的标准库，直接内置了对异步IO的支持。划重点，python3.4及以上才可以使用协程 简单回顾一下： E
 
  
                camellia
            Python
          
 
 
  
    理解Python的协程(Coroutine)
 
由于GIL的存在，导致Python多线程性能甚至比单线程更糟。 于是出现了协程（Coroutine）这么个东西。 协程由于由程序主动控制切换，没有线程切换的开销，所以执行效率极高。对于IO密集型任务非常适用，如果是cpu密集型，推荐多进程+协程的方式。 在Python3.4之前…
 
  
            
 
 19.2k
 
 
            Python
          
 
 
  
    Python 并行编程实践（下）
 
协程是子例程的更一般形式。子例程可以在某一点进入并在另一点退出。 协程则可以在许多不同的点上进入、退出和恢复。 它们可通过 async def 语句来实现