亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python并行處理任務時 該用多進程?還是該用多線程?

系統(tǒng) 1750 0

在python并行處理任務時要使用多線程還是多進程? 說到這個話題,必須要提的GIL( Global Interpreter Lock)全局解釋鎖,當Cpython每次執(zhí)行字節(jié)碼時都要先申請這個鎖。那么問題就來了,如果使用多線程是比也會受到影響。

? ? ? ?多線程和多進程程序比較,哪個性能更高?還是拿一個實例運行來看看吧~?

?

            
              #寫一個簡單的例子,計算100W個隨機數(shù)的和8次,同時將分散到8個線程進行運算。
#thread.py

#!/usr/bin/env python

import random
import threading

results = []

def compute():
    results.append(
        sum([random.randint(1,100) for i in range(1000000)]))

def main():        
    workers = [threading.Thread(target(compute) for  x in range(8))]

    for worker in workers:
        worker.start()
    
    for woker in workers:
        worker.join()
    print("Result: %s" % results)
   
   
if __name__  == "__main__":
    main()
    

    
#相同的功能,使用多進程來實現(xiàn)
#worker.py

#!/usr/bin/env python

import multiprocessing
import random

def compute(n):
    return sum(
        [random.randint(1,100) for i in range(1000000)])
        
def main():
    pool = multiprocessing.Pool(8)
    print("Results: %s" % pool.map(compute, range(8)))
    
if __name__ == "__main__":
    main()
            
          

?

?兩個代碼片段已經(jīng)寫完了,接下來我找了三種配置的機器來運行這兩段代碼:

?

配置1 ? ? ? 1Core ? ? ? ? ? ? ?2GB內(nèi)存

配置2

? ? ? 4Core ? ? ? ? ? ? ?8GB內(nèi)存
配置3 ? ? ? 48Core ? ? ? ? ? ? ?64GB內(nèi)存

?

實驗1:

兩端代碼同時在1Core 2GB機器上運行,查看運行結果:

?

python并行處理任務時 該用多進程?還是該用多線程?_第1張圖片

從運行結果來看,多線程的程序比多進程的程序效率要高,使用cpu都是99%(由于機器只有一個Core,多進程沒有體現(xiàn)它的價值)。

?

實驗2:

兩段代碼同時在4Core 8GB內(nèi)存機器上運行,查看運行結果:

?

python并行處理任務時 該用多進程?還是該用多線程?_第2張圖片

從運行結果來看,多進程程序效率比多線程程序效率要高1倍還要多。cpu使用上多線程卡在了141%,多進程跑到了379%,這里體現(xiàn)出多進程的優(yōu)勢。

?

實驗3:

兩段代碼同時在48core 64GB內(nèi)存機器上跑,查看運行結果:

?

python并行處理任務時 該用多進程?還是該用多線程?_第3張圖片

從運行結果來看,多進程程序cpu可以跑到715%(程序設置了開啟8個worker進程,所以不會超過800%),而多線程卡在了124%。

?

通過以上測試結果,已經(jīng)可以得出。 python下多進程程序要比多線程程序要高效。并且會隨著Core數(shù)不斷的增加,性能也會得到提升。

?

所以考慮在一定的時間內(nèi)并行處理一些工作時,最好依靠多進程創(chuàng)建多個作業(yè),以便在多個cpu之間分散負載。


更多文章、技術交流、商務合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!?。?/p>

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 国产精品手机网站 | 亚洲欧美国产毛片在线 | 日韩在线国产精品 | 自拍偷自拍亚洲精品被多人伦好爽 | 伊伊综合网| 黑人超长巨大xxxxxxx视频 | 精品国产免费久久久久久婷婷 | 欧美成人亚洲欧美成人 | 亚洲欧美日韩一区二区在线观看 | 亚洲国产精品yw在线观看 | 12至16末成年毛片 | 999在线播放 | aa毛片免费全部播放完整 | 你懂得在线网站 | 国产特级毛片aaaaaaa高清 | 国产精品免费看久久久麻豆 | 神马97| 91资源视频| 久草视频官网 | 久久精品日日躁夜夜躁欧美 | 青青久操视频 | 俺去鲁婷婷六月色综合 | 伊人久久综合热青草 | 奇米色奇米 | 四虎国产精品4hu永久 | 欧美亚洲一区二区三区四 | 久久99精品久久久久久噜噜 | 毛片视频免费 | 中文字幕亚洲 综合久久 | 日韩精品国产自在久久现线拍 | 亚洲区一二三四区2021 | 女人18毛片a级毛片免费看一 | 亚洲免费在线观看 | 老司机午夜精品视频 | 一区二区三区久久精品 | 99热播 | 精品一区二区三区免费观看 | 亚洲国产综合精品 | 激情网站视频 | 欧美日韩国产一区二区三区 | 国产精品久久永久免费 |