Python3 多线程 | 菜鸟教程


本站和网页 https://www.runoob.com/python3/python3-multithreading.html 的作者无关,不对其内容负责。快照谨为网络故障时之索引,不代表被搜索网站的即时页面。

Python3 多线程 | 菜鸟教程
菜鸟教程 -- 学的不仅是技术,更是梦想!
首页
HTML
CSS
JavaScript
Vue
Bootstrap
NodeJS
Python3
Python2
Java
C++
C#
Go
SQL
Linux
jQuery
本地书签
首页
HTML
CSS
JS
本地书签
Search
Python3 教程
Python2 教程
Vue3 教程
vue2 教程
Bootstrap3 教程
Bootstrap4 教程
Bootstrap5 教程
Bootstrap2 教程
Python 3 教程
Python3 教程
Python3 简介
Python3 环境搭建
Python3 VScode
Python3 基础语法
Python3 基本数据类型
Python3 数据类型转换
Python3 解释器
Python3 注释
Python3 运算符
Python3 数字(Number)
Python3 字符串
Python3 列表
Python3 元组
Python3 字典
Python3 集合
Python3 条件控制
Python3 循环语句
Python3 编程第一步
Python3 推导式
Python3 迭代器与生成器
Python3 函数
Python3 数据结构
Python3 模块
Python3 输入和输出
Python3 File
Python3 OS
Python3 错误和异常
Python3 面向对象
Python3 命名空间/作用域
Python3 标准库概览
Python3 实例
Python 测验
Python3 高级教程
Python3 正则表达式
Python3 CGI编程
Python3 MySQL(mysql-connector)
Python3 MySQL(PyMySQL)
Python3 网络编程
Python3 SMTP发送邮件
Python3 多线程
Python3 XML 解析
Python3 JSON
Python3 日期和时间
Python3 内置函数
Python3 MongoDB
Python3 urllib
Python uWSGI 安装配置
Python3 pip
Python3 operator
Python math
Python requests
Python random
Python 有用的资源
Python AI 绘画
Python statistics
Python3 SMTP发送邮件
Python3 XML 解析
Python3 多线程
多线程类似于同时执行多个不同程序,多线程运行有如下优点:
使用线程可以把占据长时间的程序中的任务放到后台去处理。
用户界面可以更加吸引人,比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度。
程序的运行速度可能加快。
在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。
每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行,必须依存在应用程序中,由应用程序提供多个线程执行控制。
每个线程都有他自己的一组CPU寄存器,称为线程的上下文,该上下文反映了线程上次运行该线程的CPU寄存器的状态。
指令指针和堆栈指针寄存器是线程上下文中两个最重要的寄存器,线程总是在进程得到上下文中运行的,这些地址都用于标志拥有线程的进程地址空间中的内存。
线程可以被抢占(中断)。
在其他线程正在运行时,线程可以暂时搁置(也称为睡眠) -- 这就是线程的退让。
线程可以分为:
内核线程:由操作系统内核创建和撤销。
用户线程:不需要内核支持而在用户程序中实现的线程。
Python3 线程中常用的两个模块为:
_thread
threading(推荐使用)
thread 模块已被废弃。用户可以使用 threading 模块代替。所以,在 Python3 中不能再使用"thread" 模块。为了兼容性,Python3 将 thread 重命名为 "_thread"。
开始学习Python线程
Python中使用线程有两种方式:函数或者用类来包装线程对象。
函数式:调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:
_thread.start_new_thread ( function, args[, kwargs] )
参数说明:
function - 线程函数。
args - 传递给线程函数的参数,他必须是个tuple类型。
kwargs - 可选参数。
实例
#!/usr/bin/python3
import _thread
import time
# 为线程定义一个函数
def print_time( threadName, delay):
count = 0
while count < 5:
time.sleep&#40;delay&#41;
count += 1
print &#40;"%s: %s" % &#40; threadName, time.ctime&#40;time.time&#40;&#41;&#41; &#41;&#41;
# 创建两个线程
try:
_thread.start_new_thread&#40; print_time, &#40;"Thread-1", 2, &#41; &#41;
_thread.start_new_thread&#40; print_time, &#40;"Thread-2", 4, &#41; &#41;
except:
print &#40;"Error: 无法启动线程"&#41;
while 1:
pass
执行以上程序输出结果如下:
Thread-1: Wed Jan 5 17:38:08 2022
Thread-2: Wed Jan 5 17:38:10 2022
Thread-1: Wed Jan 5 17:38:10 2022
Thread-1: Wed Jan 5 17:38:12 2022
Thread-2: Wed Jan 5 17:38:14 2022
Thread-1: Wed Jan 5 17:38:14 2022
Thread-1: Wed Jan 5 17:38:16 2022
Thread-2: Wed Jan 5 17:38:18 2022
Thread-2: Wed Jan 5 17:38:22 2022
Thread-2: Wed Jan 5 17:38:26 2022
执行以上程后可以按下 ctrl-c 退出。
线程模块
Python3 通过两个标准库 _thread 和 threading 提供对线程的支持。
_thread 提供了低级别的、原始的线程以及一个简单的锁,它相比于 threading 模块的功能还是比较有限的。
threading 模块除了包含 _thread 模块中的所有方法外,还提供的其他方法:
threading.currentThread(): 返回当前的线程变量。
threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。
threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果。
除了使用方法外,线程模块同样提供了Thread类来处理线程,Thread类提供了以下方法:
run(): 用以表示线程活动的方法。
start():启动线程活动。
join([time]): 等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。
isAlive(): 返回线程是否活动的。
getName(): 返回线程名。
setName(): 设置线程名。
使用 threading 模块创建线程
我们可以通过直接从 threading.Thread 继承创建一个新的子类,并实例化后调用 start() 方法启动新线程,即它调用了线程的 run() 方法:
实例
#!/usr/bin/python3
import threading
import time
exitFlag = 0
class myThread &#40;threading.Thread&#41;:
def __init__&#40;self, threadID, name, delay&#41;:
threading.Thread.__init__&#40;self&#41;
self.threadID = threadID
self.name = name
self.delay = delay
def run&#40;self&#41;:
print &#40;"开始线程:" + self.name&#41;
print_time&#40;self.name, self.delay, 5&#41;
print &#40;"退出线程:" + self.name&#41;
def print_time&#40;threadName, delay, counter&#41;:
while counter:
if exitFlag:
threadName.exit&#40;&#41;
time.sleep&#40;delay&#41;
print &#40;"%s: %s" % &#40;threadName, time.ctime&#40;time.time&#40;&#41;&#41;&#41;&#41;
counter -= 1
# 创建新线程
thread1 = myThread&#40;1, "Thread-1", 1&#41;
thread2 = myThread&#40;2, "Thread-2", 2&#41;
# 开启新线程
thread1.start&#40;&#41;
thread2.start&#40;&#41;
thread1.join&#40;&#41;
thread2.join&#40;&#41;
print &#40;"退出主线程"&#41;
以上程序执行结果如下;
开始线程:Thread-1
开始线程:Thread-2
Thread-1: Wed Jan 5 17:34:54 2022
Thread-2: Wed Jan 5 17:34:55 2022
Thread-1: Wed Jan 5 17:34:55 2022
Thread-1: Wed Jan 5 17:34:56 2022
Thread-2: Wed Jan 5 17:34:57 2022
Thread-1: Wed Jan 5 17:34:57 2022
Thread-1: Wed Jan 5 17:34:58 2022
退出线程:Thread-1
Thread-2: Wed Jan 5 17:34:59 2022
Thread-2: Wed Jan 5 17:35:01 2022
Thread-2: Wed Jan 5 17:35:03 2022
退出线程:Thread-2
退出主线程
线程同步
如果多个线程共同对某个数据修改,则可能出现不可预料的结果,为了保证数据的正确性,需要对多个线程进行同步。
使用 Thread 对象的 Lock 和 Rlock 可以实现简单的线程同步,这两个对象都有 acquire 方法和 release 方法,对于那些需要每次只允许一个线程操作的数据,可以将其操作放到 acquire 和 release 方法之间。如下:
多线程的优势在于可以同时运行多个任务(至少感觉起来是这样)。但是当线程需要共享数据时,可能存在数据不同步的问题。
考虑这样一种情况:一个列表里所有元素都是0,线程"set"从后向前把所有元素改成1,而线程"print"负责从前往后读取列表并打印。
那么,可能线程"set"开始改的时候,线程"print"便来打印列表了,输出就成了一半0一半1,这就是数据的不同步。为了避免这种情况,引入了锁的概念。
锁有两种状态——锁定和未锁定。每当一个线程比如"set"要访问共享数据时,必须先获得锁定;如果已经有别的线程比如"print"获得锁定了,那么就让线程"set"暂停,也就是同步阻塞;等到线程"print"访问完毕,释放锁以后,再让线程"set"继续。
经过这样的处理,打印列表时要么全部输出0,要么全部输出1,不会再出现一半0一半1的尴尬场面。
实例
#!/usr/bin/python3
import threading
import time
class myThread &#40;threading.Thread&#41;:
def __init__&#40;self, threadID, name, delay&#41;:
threading.Thread.__init__&#40;self&#41;
self.threadID = threadID
self.name = name
self.delay = delay
def run&#40;self&#41;:
print &#40;"开启线程: " + self.name&#41;
# 获取锁,用于线程同步
threadLock.acquire&#40;&#41;
print_time&#40;self.name, self.delay, 3&#41;
# 释放锁,开启下一个线程
threadLock.release&#40;&#41;
def print_time&#40;threadName, delay, counter&#41;:
while counter:
time.sleep&#40;delay&#41;
print &#40;"%s: %s" % &#40;threadName, time.ctime&#40;time.time&#40;&#41;&#41;&#41;&#41;
counter -= 1
threadLock = threading.Lock&#40;&#41;
threads = &#91;&#93;
# 创建新线程
thread1 = myThread&#40;1, "Thread-1", 1&#41;
thread2 = myThread&#40;2, "Thread-2", 2&#41;
# 开启新线程
thread1.start&#40;&#41;
thread2.start&#40;&#41;
# 添加线程到线程列表
threads.append&#40;thread1&#41;
threads.append&#40;thread2&#41;
# 等待所有线程完成
for t in threads:
t.join&#40;&#41;
print &#40;"退出主线程"&#41;
执行以上程序,输出结果为:
开启线程: Thread-1
开启线程: Thread-2
Thread-1: Wed Jan 5 17:36:50 2022
Thread-1: Wed Jan 5 17:36:51 2022
Thread-1: Wed Jan 5 17:36:52 2022
Thread-2: Wed Jan 5 17:36:54 2022
Thread-2: Wed Jan 5 17:36:56 2022
Thread-2: Wed Jan 5 17:36:58 2022
退出主线程
线程优先级队列( Queue)
Python 的 Queue 模块中提供了同步的、线程安全的队列类,包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列 PriorityQueue。
这些队列都实现了锁原语,能够在多线程中直接使用,可以使用队列来实现线程间的同步。
Queue 模块中的常用方法:
Queue.qsize() 返回队列的大小
Queue.empty() 如果队列为空,返回True,反之False
Queue.full() 如果队列满了,返回True,反之False
Queue.full 与 maxsize 大小对应
Queue.get([block[, timeout]])获取队列,timeout等待时间
Queue.get_nowait() 相当Queue.get(False)
Queue.put(item) 写入队列,timeout等待时间
Queue.put_nowait(item) 相当Queue.put(item, False)
Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号
Queue.join() 实际上意味着等到队列为空,再执行别的操作
实例
#!/usr/bin/python3
import queue
import threading
import time
exitFlag = 0
class myThread &#40;threading.Thread&#41;:
def __init__&#40;self, threadID, name, q&#41;:
threading.Thread.__init__&#40;self&#41;
self.threadID = threadID
self.name = name
self.q = q
def run&#40;self&#41;:
print &#40;"开启线程:" + self.name&#41;
process_data&#40;self.name, self.q&#41;
print &#40;"退出线程:" + self.name&#41;
def process_data&#40;threadName, q&#41;:
while not exitFlag:
queueLock.acquire&#40;&#41;
if not workQueue.empty&#40;&#41;:
data = q.get&#40;&#41;
queueLock.release&#40;&#41;
print &#40;"%s processing %s" % &#40;threadName, data&#41;&#41;
else:
queueLock.release&#40;&#41;
time.sleep&#40;1&#41;
threadList = &#91;"Thread-1", "Thread-2", "Thread-3"&#93;
nameList = &#91;"One", "Two", "Three", "Four", "Five"&#93;
queueLock = threading.Lock&#40;&#41;
workQueue = queue.Queue&#40;10&#41;
threads = &#91;&#93;
threadID = 1
# 创建新线程
for tName in threadList:
thread = myThread&#40;threadID, tName, workQueue&#41;
thread.start&#40;&#41;
threads.append&#40;thread&#41;
threadID += 1
# 填充队列
queueLock.acquire&#40;&#41;
for word in nameList:
workQueue.put&#40;word&#41;
queueLock.release&#40;&#41;
# 等待队列清空
while not workQueue.empty&#40;&#41;:
pass
# 通知线程是时候退出
exitFlag = 1
# 等待所有线程完成
for t in threads:
t.join&#40;&#41;
print &#40;"退出主线程"&#41;
以上程序执行结果:
开启线程:Thread-1
开启线程:Thread-2
开启线程:Thread-3
Thread-3 processing One
Thread-1 processing Two
Thread-2 processing Three
Thread-3 processing Four
Thread-1 processing Five
退出线程:Thread-3
退出线程:Thread-2
退出线程:Thread-1
退出主线程
Python3 SMTP发送邮件
Python3 XML 解析
4 篇笔记
写笔记
#0 Dexu 724***971@qq.com 149在线程里,传递参数有三种方法:
1、使用元组传递 threading.Thread(target=方法名,args=(参数1,参数2, ...))
import time
import threading
def song(a,b,c):
print(a, b, c)
for i in range(5):
print("song")
time.sleep(1)
if __name__ == "__main__":
threading.Thread(target=song,args=(1,2,3)).start()
2、使用字典传递 threading.Thread(target=方法名, kwargs={"参数名": 参数1, "参数名": 参数2, ...})
threading.Thread(target=song,kwargs={"a":1,"c":3,"b":2}).start() #参数顺序可以变
3、混合使用元组和字典 threading.Thread(target=方法名,args=(参数1, 参数2, ...), kwargs={"参数名": 参数1,"参数名": 参数2, ...})
threading.Thread(target=song,args=(1,),kwargs={"c":3,"b":2}).start()Dexu Dexu 724***971@qq.com4年前 (2019-08-08)
#0 举世无双古拉顿 184***72838@163.com 162上面那个理解不了,我这个应该更容易懂:
import time
import threading
# 使用 threading 模块创建线程
import queue
#优先级队列模块
#线程优先级队列(Queue)
exitFlag = 0
class myThread (threading.Thread):
def __init__(self, threadID, name, q):
threading.Thread.__init__(self)
self.threadID = threadID
self.name = name
self.q = q
def run(self):
print ("开启线程:" + self.name)
process_data(self.threadID,self.name, self.q)
print ("退出线程:" + self.name)
def process_data(id,threadName, q):
while not exitFlag:
id += 1
if id >= 4:
data = q.get()
print ("%s processing %s" % (threadName, data))
time.sleep(1)
threadList = ["Thread-1", "Thread-2", "Thread-3"]
nameList = ["One", "Two", "Three", "Four", "Five"]
workQueue = queue.Queue(10)
threads = []
threadID = 1
# 填充队列
for word in nameList:
workQueue.put(word)
# 创建新线程
for tName in threadList:
thread = myThread(threadID, tName, workQueue)
thread.start()
threads.append(thread)
threadID += 1
# 等待队列清空
while not workQueue.empty():
pass
# 通知线程是时候退出
exitFlag = 1
# 等待所有线程完成
for t in threads:
t.join()
print ("退出主线程")
举世无双古拉顿 举世无双古拉顿 184***72838@163.com4年前 (2019-08-26)
#0 博大慕 ttt***q.com 42上面的太麻烦,还是我这个好理解和使用:
#!/usr/bin/python
from concurrent.futures import ProcessPoolExecutor
from os import getpid as pid
from time import sleep
L = [1,2,3,4,5]
#单进程,要用至少25秒
for i in L:
sleep(5)
print(pid(),"已过5秒",i)
#多进程并发,5秒
def SleepPrint (in_value) :
sleep(5)
print(pid(),"已过5秒",in_value)
pool = ProcessPoolExecutor(5)
for i in L :
pool.submit(SleepPrint,i)博大慕 博大慕 ttt***q.com3年前 (2020-10-16)
#0 lijiajun lij***un3029@gmail.com 24关于线程优先级队列( Queue)小结:
首先为了体现 queue 特性,代码中理应避免使用 Lock。
队列之于多线程,在于多任务处理时,不便创建过多线程而消耗过量资源,因此queue模块提供了同步的,线程安全的队列类。
import threading
import queue
import time
class Worker(threading.Thread):
def __init__(self, name, queue):
threading.Thread.__init__(self)
self.name = name
self.queue = queue
self.start() # 执行run()
def run(self):
# 循环,保证接着跑下一个任务
while True:
# 队列为空则退出线程
if self.queue.empty():
break
# 获取一个队列数据
foo = self.queue.get()
print(self.getName() + " process " + str(foo))
# 延时1s模拟你要做的事情
time.sleep(1)
# 任务完成
self.queue.task_done()
# 队列
queue = queue.Queue()
# 加入10个任务队列
for i in range(10):
queue.put(i)
# 开3个线程
for i in range(3):
threadName = 'Thread' + str(i)
Worker(threadName, queue)
# 所有线程执行完毕后关闭
queue.join()lijiajun lijiajun lij***un3029@gmail.com2年前 (2021-11-19)
点我分享笔记
取消
分享笔记
昵称昵称 (必填)
邮箱邮箱 (必填)
引用地址引用地址
分类导航
HTML / CSSHTML 教程HTML5 教程CSS 教程CSS3 教程Bootstrap3 教程Bootstrap4 教程Bootstrap5 教程Font Awesome 教程Foundation 教程 JavaScriptJavaScript 教程HTML DOM 教程jQuery 教程AngularJS 教程AngularJS2 教程Vue.js 教程Vue3 教程React 教程TypeScript 教程jQuery UI 教程jQuery EasyUI 教程Node.js 教程AJAX 教程JSON 教程Echarts 教程Chart.js 教程Highcharts 教程Google 地图 教程 服务端Python 教程Python2.x 教程Linux 教程Docker 教程Ruby 教程Java 教程C 教程C++ 教程Perl 教程Servlet 教程JSP 教程Lua 教程Rust 教程Scala 教程Go 教程PHP 教程数据结构与算法Django 教程Zookeeper 教程设计模式正则表达式Maven 教程Verilog 教程ASP 教程AppML 教程VBScript 教程 数据库SQL 教程MySQL 教程PostgreSQL 教程SQLite 教程MongoDB 教程Redis 教程Memcached 教程 数据分析Python 教程NumPy 教程Pandas 教程Matplotlib 教程Scipy 教程R 教程Julia 教程 移动端Android 教程Swift 教程jQuery Mobile 教程ionic 教程Kotlin 教程 XML 教程XML 教程DTD 教程XML DOM 教程XSLT 教程XPath 教程XQuery 教程XLink 教程XPointer 教程XML Schema 教程XSL-FO 教程SVG 教程 ASP.NETASP.NET 教程C# 教程Web Pages 教程Razor 教程MVC 教程Web Forms 教程 Web ServiceWeb Service 教程WSDL 教程SOAP 教程RSS 教程RDF 教程 开发工具Eclipse 教程Git 教程Svn 教程Markdown 教程 网站建设HTTP 教程网站建设指南浏览器信息网站主机教程TCP/IP 教程W3C 教程网站品质
Advertisement
反馈/建议
在线实例
&middot;HTML 实例
&middot;CSS 实例
&middot;JavaScript 实例
&middot;Ajax 实例
&middot;jQuery 实例
&middot;XML 实例
&middot;Java 实例
字符集&工具
&middot; HTML 字符集设置
&middot; HTML ASCII 字符集
&middot; JS 混淆/加密
&middot; PNG/JPEG 图片压缩
&middot; HTML 拾色器
&middot; JSON 格式化工具
&middot; 随机数生成器
最新更新
&middot;
正则表达式 &#82...
&middot;
CSS element.cla...
&middot;
正则表达式 &#82...
&middot;
C 语言静态数组...
&middot;
Edge 浏览器
&middot;
JavaScript 模板...
&middot;
Python statisti...
站点信息
&middot;
意见反馈
&middot;
免责声明
&middot;
关于我们
&middot;
文章归档
关注微信
Copyright 2013-2023 菜鸟教程
runoob.com All Rights Reserved. 备案号:闽ICP备15012807号-1
微信关注