問題

你創(chuàng)建一個工作者線程池，用來響應客戶端請求或執(zhí)行其他的工作。

解決方案

concurrent.futures 函數(shù)庫有一個 ThreadPoolExecutor 類可以被用來完成這個任務。 下面是一個簡單的TCP服務器，使用了一個線程池來響應客戶端：

from socket import AF_INET, SOCK_STREAM, socketfrom concurrent.futures import ThreadPoolExecutordef echo_client(sock, client_addr): ’’’ Handle a client connection ’’’ print(’Got connection from’, client_addr) while True: msg = sock.recv(65536) if not msg: break sock.sendall(msg) print(’Client closed connection’) sock.close()def echo_server(addr): pool = ThreadPoolExecutor(128) sock = socket(AF_INET, SOCK_STREAM) sock.bind(addr) sock.listen(5) while True: client_sock, client_addr = sock.accept() pool.submit(echo_client, client_sock, client_addr)echo_server((’’,15000))

如果你想手動創(chuàng)建你自己的線程池， 通常可以使用一個Queue來輕松實現(xiàn)。下面是一個稍微不同但是手動實現(xiàn)的例子：

from socket import socket, AF_INET, SOCK_STREAMfrom threading import Threadfrom queue import Queuedef echo_client(q): ’’’ Handle a client connection ’’’ sock, client_addr = q.get() print(’Got connection from’, client_addr) while True: msg = sock.recv(65536) if not msg: break sock.sendall(msg) print(’Client closed connection’) sock.close()def echo_server(addr, nworkers): # Launch the client workers q = Queue() for n in range(nworkers): t = Thread(target=echo_client, args=(q,)) t.daemon = True t.start() # Run the server sock = socket(AF_INET, SOCK_STREAM) sock.bind(addr) sock.listen(5) while True: client_sock, client_addr = sock.accept() q.put((client_sock, client_addr))echo_server((’’,15000), 128)

使用 ThreadPoolExecutor 相對于手動實現(xiàn)的一個好處在于它使得 任務提交者更方便的從被調(diào)用函數(shù)中獲取返回值。例如，你可能會像下面這樣寫：

from concurrent.futures import ThreadPoolExecutorimport urllib.requestdef fetch_url(url): u = urllib.request.urlopen(url) data = u.read() return datapool = ThreadPoolExecutor(10)# Submit work to the poola = pool.submit(fetch_url, ’http://www.python.org’)b = pool.submit(fetch_url, ’http://www.pypy.org’)# Get the results backx = a.result()y = b.result()

例子中返回的handle對象會幫你處理所有的阻塞與協(xié)作，然后從工作線程中返回數(shù)據(jù)給你。 特別的，a.result() 操作會阻塞進程直到對應的函數(shù)執(zhí)行完成并返回一個結(jié)果。

討論

通常來講，你應該避免編寫線程數(shù)量可以無限制增長的程序。例如，看看下面這個服務器：

from threading import Threadfrom socket import socket, AF_INET, SOCK_STREAMdef echo_client(sock, client_addr): ’’’ Handle a client connection ’’’ print(’Got connection from’, client_addr) while True: msg = sock.recv(65536) if not msg: break sock.sendall(msg) print(’Client closed connection’) sock.close()def echo_server(addr, nworkers): # Run the server sock = socket(AF_INET, SOCK_STREAM) sock.bind(addr) sock.listen(5) while True: client_sock, client_addr = sock.accept() t = Thread(target=echo_client, args=(client_sock, client_addr)) t.daemon = True t.start()echo_server((’’,15000))

盡管這個也可以工作， 但是它不能抵御有人試圖通過創(chuàng)建大量線程讓你服務器資源枯竭而崩潰的攻擊行為。 通過使用預先初始化的線程池，你可以設置同時運行線程的上限數(shù)量。

你可能會關心創(chuàng)建大量線程會有什么后果。 現(xiàn)代操作系統(tǒng)可以很輕松的創(chuàng)建幾千個線程的線程池。 甚至，同時幾千個線程等待工作并不會對其他代碼產(chǎn)生性能影響。 當然了，如果所有線程同時被喚醒并立即在CPU上執(zhí)行，那就不同了——特別是有了全局解釋器鎖GIL。 通常，你應該只在I/O處理相關代碼中使用線程池。

創(chuàng)建大的線程池的一個可能需要關注的問題是內(nèi)存的使用。 例如，如果你在OS X系統(tǒng)上面創(chuàng)建2000個線程，系統(tǒng)顯示Python進程使用了超過9GB的虛擬內(nèi)存。 不過，這個計算通常是有誤差的。當創(chuàng)建一個線程時，操作系統(tǒng)會預留一個虛擬內(nèi)存區(qū)域來 放置線程的執(zhí)行棧（通常是8MB大?。５沁@個內(nèi)存只有一小片段被實際映射到真實內(nèi)存中。 因此，Python進程使用到的真實內(nèi)存其實很小 （比如，對于2000個線程來講，只使用到了70MB的真實內(nèi)存，而不是9GB）。 如果你擔心虛擬內(nèi)存大小，可以使用 threading.stack_size() 函數(shù)來降低它。例如：

import threadingthreading.stack_size(65536)

如果你加上這條語句并再次運行前面的創(chuàng)建2000個線程試驗， 你會發(fā)現(xiàn)Python進程只使用到了大概210MB的虛擬內(nèi)存，而真實內(nèi)存使用量沒有變。 注意線程棧大小必須至少為32768字節(jié)，通常是系統(tǒng)內(nèi)存頁大?。?096、8192等）的整數(shù)倍。

以上就是Python 如何創(chuàng)建一個線程池的詳細內(nèi)容，更多關于Python 創(chuàng)建線程池的資料請關注好吧啦網(wǎng)其它相關文章！