亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python多進程并發操作中進程池Pool的應用

系統 1852 0

在利用Python進行系統管理的時候,特別是同時操作多個文件目錄,或者遠程控制多臺主機,并行操作可以節約大量的時間。當被操作對象數目不大時,可以直接利用multiprocessing中的Process動態成生多個進程,10幾個還好,但如果是上百個,上千個目標,手動的去限制進程數量卻又太過繁瑣,這時候進程池Pool發揮作用的時候就到了。
????? Pool可以提供指定數量的進程,供用戶調用,當有新的請求提交到pool中時,如果池還沒有滿,

那么就會創建一個新的進程用來執行該請求; 但如果池中的進程數已經達到規定最大值,

那么該請求就會等待,直到池中有進程結束,

才會創建新的進程來它。 這里有一個簡單的例子:

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#!/usr/bin/env python

#coding=utf-8

?

?

from ? multiprocessing? import ? Pool

from ? time? import ? sleep

?

def ? f(x):

???? for ? i? in ? range ( 10 ):

???????? print ? '%s --- %s ' ? % ? (i, x)

???????? sleep( 1 )

?

?

def ? main():

???? pool? = ? Pool(processes = 3 )???? # set the processes max number 3

???? for ? i? in ? range ( 11 , 20 ):

???????? result? = ? pool.apply_async(f, (i,))

???? pool.close()

???? pool.join()

???? if ? result.successful():

???????? print ? 'successful'

?

?

if ? __name__? = = ? "__main__" :

???? main()

?

先創建容量為3的進程池,然后將f(i)依次傳遞給它,運行腳本后利用ps aux | grep pool.py查看進程情況,會發現最多只會有三個進程執行。pool.apply_async()用來向進程池提交目標請求,pool.join()是用來等待進程池中的worker進程執行完畢,防止主進程在worker進程結束前結束。但必pool.join()必須使用在pool.close()或者pool.terminate()之后。其中close()跟terminate()的區別在于close()會等待池中的worker進程執行結束再關閉pool,而terminate()則是直接關閉。result.successful()表示整個調用執行的狀態,如果還有worker沒有執行完,則會拋出AssertionError異常。
????利用multiprocessing下的Pool可以很方便的同時自動處理幾百或者上千個并行操作,腳本的復雜性也大大降低.

?

python中multiprocessing.pool函數介紹

?

一?apply(func[, args[, kwds]])
???apply用于傳遞不定參數,同python中的apply函數一致(不過內置的apply函數從2.3以后就不建議使用了),主進程會阻塞于函數。
for x in gen_list(l):
????result = pool.apply(pool_test, (x,))
????print 'main process'
這個時候主進程的執行流程同單進程一致
二?apply_async(func[, args[, kwds[, callback]]])
???與apply用法一致,但它是非阻塞的且支持結果返回后進行回調。
for x in gen_list(l):
????result = pool.apply_async(pool_test, (x,))
????print 'main process'
???這個時候主進程循環運行過程中不等待apply_async的返回結果,在主進程結束后,即使子進程還未返回整個程序也會就退出。雖然 apply_async是非阻塞的,但其返回結果的get方法卻是阻塞的,在本例中result.get()會阻塞主進程。因此可以這樣來處理返回結果:
????[x.get() for x in [pool.apply_async(pool_test, (x,)) for x in gen_list(l)]]
如果我們對返回結果不感興趣, 那么可以在主進程中使用pool.close與pool.join來防止主進程退出。注意join方法一定要在close或terminate之后調用。
????for x in gen_list(l):
????pool.apply_async(pool_test, (x, ))
????print 'main_process'
????pool.close()
????pool.join()
三?map(func, iterable[, chunksize])
??? map方法與內置的map函數行為基本一致,在它會使進程阻塞與此直到結果返回。
???但需注意的是其第二個參數雖然描述的為iterable, 但在實際使用中發現只有在整個隊列全部就緒后,程序才會運行子進程。
四?map_async(func, iterable[, chunksize[, callback]])
???與map用法一致,但是它是非阻塞的。其有關事項見apply_async。
五?imap(func, iterable[, chunksize])
???與map不同的是, imap的返回結果為iter,需要在主進程中主動使用next來驅動子進程的調用。即使子進程沒有返回結果,主進程對于gen_list(l)的 iter還是會繼續進行, 另外根據python2.6文檔的描述,對于大數據量的iterable而言,將chunksize設置大一些比默認的1要好。
???for x in pool.imap(pool_test, gen_list(l)):
???????pass
六?imap_unordered(func, iterable[, chunksize])
???同imap一致,只不過其并不保證返回結果與迭代傳入的順序一致。
七?close()
???關閉pool,使其不在接受新的任務。
八?terminate()
???結束工作進程,不在處理未處理的任務。
九?join()
???主進程阻塞等待子進程的退出, join方法要在close或terminate之后使用。

?

l = range(10)
def gen_list(l):
????for x in l:
????????print 'yield', x
????????yield x

def pool_test(x):
????print 'f2', x
????time.sleep(1)

?

我可以輸,但我不會認輸


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 伊人久久成人爱综合网 | 中文字幕亚洲一区 | 久久综合资源 | 国产精品资源站 | 四虎在线永久视频观看 | 卡通动漫精选国产欧美 | 日韩免费一级片 | 亚洲第一综合色 | 男人天堂黄色 | 狠狠干夜夜操 | 国产成人高清视频免费播放 | 亚洲国产精品久久久久666 | 欧美日韩乱码毛片免费观看 | 九九在线观看精品视频6 | 国产精品视频自拍 | 亚洲精品宾馆在线精品酒店 | 中文字幕在线观看亚洲日韩 | 亚洲精品国产字幕久久不卡 | 97久久综合精品久久久综合 | 免费永久国产在线视频 | 国产一级特黄全黄毛片 | 日本一级毛片毛片一级毛片 | 欧美5o老妇性xxx | 欧美麻豆久久久久久中文 | 亚洲国产精品久久久久婷婷软件 | 国产成年网站 | 福利资源在线 | 久久手机免费视频 | 麻豆va一区二区三区久久浪 | 91精品免费不卡在线观看 | 老王午夜69精品影院 | 热99这里只有精品 | 国产欧美网站 | 羞羞视频在线免费 | 狠狠色丁香婷婷久久综合考虑 | 美女被羞羞的网站 | 亚洲欧美日韩中文字幕在线一 | 亚洲精品久久久久影 | 国产一级免费在线观看 | a视频在线播放 | 无套嗨操 |