Skip to content
/ pglet Public

multiprocessing & greenlet spawn (多进程+协程的spawn)

License

Notifications You must be signed in to change notification settings

gf0842wf/pglet

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

49 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

gevent进程协程池

使用场景

  • 代替不跨服务器、不跨语言的RPC使用, 可以利用多核
  • 在gevent程序中执行cpu绑定型函数, 不会阻塞主进程的协程

注意事项

  • 仅在*nix系统运行很好
  • 子进程会复制主进程的进程空间, 所以要在合适的时候调用PPool实例的init函数
  • 必须手动调用PPool实例的close函数来关闭pipe、子进程和循环协程
  • 如果使用spawn,请必须调用 返回值.get,否则请使用 spawn_sub

使用

  • spawn: 返回future对象,函数必须是复制到子进程的,参数和返回值必须能够pickle序列化
  • spawn_sub: 不返回值,函数必须是复制到子进程的,参数必须能够pickle序列化

benchmark:

因为没有实现join方法,所以测试数据是debug时期内嵌在源码中,然后被删除了

1w个本地http get(urllib2)
普通协程:     8.83s
pglet 2核:   4.21s
pglet 3核:   3.95s

Example

# -*- coding: utf-8 -*-
from pglet import PPool
import gevent

def foo(arg):
    return arg
    
try:
    ppool = PPool(2)                       # 开启2个子进程,可放在启动文件开始出
    ppool.init()                           # 初始化,开启n个子进程,要在合适的时机调用

    print ppool.spawn(foo, "abc").get()    # 任务会均匀分配到子进程中用协程执行(返回future,future.get回去结果)
    print ppool.spawn_sub(foo, "def")      # 不返回结果,在子进程的子协程中执行(打印出None)
    
    gevent.wait()                          # 主进程协程等待
except KeyboardInterrupt:
    ppool.close()                    # 关闭管道和循环协程

About

multiprocessing & greenlet spawn (多进程+协程的spawn)

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages