python——多线程的共享变量用法

十七度

文章目录多线程共享变量锁（Locks）示例事件（Events）示例条件变量（ConditionVariables）示例队列（Queues）示例阻塞传输数据非阻塞传输数据多线程共享变量在Python中，如果你有一个变量shared_var_data在多个线线程之间共享，并且你需要确保即使这个数据长时间未变，其他线程也能正常工作，你可以采取以下策略来实现这一目标：使用锁（Locks）来同步访问：当多个线程需要访问共享数据时，使用锁可以防止数据在被一个线程修改时被另一个线程访问，这可以确保数据的一致性。通过锁的机制，即使shared_var_data长时间未变，其他线程在尝试访问这个数据前需要获得锁，从而保证了数据访问的安全性。条件变量（ConditionVariables）：条件变量用于线程间的同步，可以让一个或多个线程等待某个条件成立。如果你的场景中shared_var_data长时间未变化是一个需要等待改变的条件，那么可以使用条件变量来通知其他线程数据已经更新，或者某个特定条件已经满足。事件（Events）：事件是一个简化的线程同步机制，可以用来通知一个或多个等待的线程某个事件已经发生。如果其他线程需要在shared_var_data发生变化后才能继续执行，可以使用事件来实现这种同步。使用队列（Queues）来实现生产者消费者模式：如果shared_var_data的更新是由某些特定的生产者线程负责，而其他消费者线程需要处理这些更新，使用队列可以很好地解耦生产者和消费者，同时还提供了线程安全的数据访问机制。定期检查或轮询：在一些场景下，如果不需要即时响应数据的变化，可以在其他线程中实现定期检查shared_var_data是否发生变化的逻辑，这种方式简单但可能不够高效，因为它可能引入不必要的延迟和CPU资源消耗。使用原子操作：对于简单的数据类型，使用原子操作（如在某些Python实现中的threading或multiprocessing模块提供的原子类型）可以确保即使在多线程环境中，对共享数据的单个操作也是原子的，这样可以避免使用锁的开销。选择哪种策略取决于你的具体应用场景、数据共享的复杂度以及对性能的要求。通常，使用锁和条件变量可以提供最大的灵活性和控制，但也可能带来性能开销。在设计多线程程序时，合理选择同步机制是非常重要的，以确保既能保证数据一致性，又能保持高效的执行。锁（Locks）示例在多线程编程中，锁（Locks）是一种基本的同步机制，用于防止多个线程同时访问共享资源，从而避免数据竞争和状态不一致的问题。以下是使用Python的threading模块中的Lock来同步多个线程访问共享数据的一个简单示例。在这个例子中，我们将创建两个线程，它们都试图修改同一个全局变量counter。为了确保每次只有一个线程能修改counter，我们将使用Lock对象来同步对counter的访问。importthreading#共享资源counter=0#创建一个锁对象lock=threading.Lock()#线程工作的函数defupdate_counter(name):globalcounterprint(f"{name}:准备更新计数器。")#请求锁lock.acquire()try:print(f"{name}:已获得锁。")current_counter=counterprint(f"{name}:当前计数器值为{current_counter}。")counter=current_counter+1print(f"{name}:更新后的计数器值为{counter}。")finally:#无论如何都要释放锁lock.release()print(f"{name}:已释放锁。")#创建线程thread1=threading.Thread(target=update_counter,args=('线程1',))thread2=threading.Thread(target=update_counter,args=('线程2',))#启动线程thread1.start()thread2.start()#等待线程完成thread1.join()thread2.join()print(f"最终计数器值为{counter}。")1234567891011121314151617181920212223242526272829303132333435363738'运行运行这个示例中，我们通过调用lock.acquire()来请求锁，这会阻塞当前线程直到锁被获得。一旦获得锁，线程就可以安全地访问和修改共享资源（在本例中是counter变量）。完成更新后，我们使用finally语句块来确保锁在操作完成后总是会被释放（通过调用lock.release()），这是一种良好的实践，可以避免死锁的发生。注意，Python的锁还支持with语句，使得代码更简洁，自动管理锁的获取和释放：withlock:#修改共享资源12这种方式在实际编程中更加推荐，因为它简化了代码并减少了因忘记释放锁而可能引发的问题。事件（Events）示例下面是一个简单的使用事件（threading.Event）的多线程示例。在这个示例中，我们将创建两个线程：一个事件发布者（EventSetter）和一个事件监听者（EventListener）。EventSetter线程将在睡眠一段时间后设置一个事件，而EventListener线程将等待这个事件被设置，一旦事件被设置，它就会继续执行。importthreadingimporttime#创建一个事件对象event=threading.Event()#事件监听者线程函数defevent_listener():print("EventListener:等待事件被设置...")event.wait()#阻塞，直到事件被设置print("EventListener:检测到事件被设置，继续执行...")#事件发布者线程函数defevent_setter():time.sleep(2)#模拟耗时操作print("EventSetter:准备设置事件...")event.set()#设置事件print("EventSetter:事件已被设置。")#创建线程listener_thread=threading.Thread(target=event_listener)setter_thread=threading.Thread(target=event_setter)#启动线程listener_thread.start()setter_thread.start()#等待线程完成listener_thread.join()setter_thread.join()print("主线程:所有线程已完成执行。")1234567891011121314151617181920212223242526272829303132'运行运行这个示例展示了如何使用threading.Event来同步两个线程的执行。event.wait()在EventListener线程中调用，使该线程阻塞，直到EventSetter线程调用event.set()。一旦事件被设置，event.wait()将不再阻塞，EventListener线程继续执行。这种机制非常适合于需要等待特定条件满足的场景，例如等待一个任务完成或者资源变得可用。条件变量（ConditionVariables）示例使用条件变量（Condition）的多线程示例通常涉及到生产者-消费者模式，其中生产者线程生成一些数据，消费者线程消费这些数据。条件变量用于同步线程，确保消费者线程在数据准备好之前等待，并且当数据准备好时，生产者线程通知消费者线程。下面是一个简单的使用threading.Condition的例子，演示了一个生产者线程和一个消费者线程如何通过条件变量来同步操作。importthreadingimporttime#创建条件变量condition=threading.Condition()#用于在生产者和消费者之间传递数据的列表items=[]#生产者线程函数defproducer():withcondition:print("生产者:正在生产项目...")time.sleep(2)#模拟耗时的生产过程items.append("产品")#生产一个项目并添加到列表中print("生产者:产品生产完成，通知消费者。")condition.notify()#通知消费者产品已准备好#消费者线程函数defconsumer():withcondition:print("消费者:等待产品...")condition.wait()#等待产品被生产item=items.pop()#消费产品print(f"消费者:已消费{item}。")#创建线程producer_thread=threading.Thread(target=producer)consumer_thread=threading.Thread(target=consumer)#启动线程consumer_thread.start()producer_thread.start()#等待线程完成producer_thread.join()consumer_thread.join()print("主线程:所有线程已完成执行。")1234567891011121314151617181920212223242526272829303132333435363738'运行运行这个例子中，生产者线程生产一个项目（模拟为字符串"产品"），然后通过条件变量通知消费者线程产品已经准备好。消费者线程在产品准备好之前会在condition.wait()处阻塞，直到收到生产者的通知。一旦收到通知，消费者线程就会继续执行，从列表中取出产品并消费它。使用withcondition语句确保了在操作条件变量时自动获得和释放锁，从而简化了代码并提高了安全性。队列（Queues）示例下面分别是使用Python的queue.Queue模块实现的阻塞传输数据和非阻塞传输数据的示例。这两个示例展示了生产者-消费者模式，其中生产者线程向队列中添加数据，而消费者线程从队列中取出数据。阻塞传输数据在阻塞模式下，如果队列为空，消费者线程将被阻塞，直到队列中有数据可供消费；如果队列已满，生产者线程将被阻塞，直到队列中有空间可用来添加新的数据项。importthreadingimportqueueimporttime#创建一个队列data_queue=queue.Queue(maxsize=5)defproducer(name):foriinrange(5):time.sleep(1)#模拟数据生产耗时item=f'产品{i}'data_queue.put(item)#阻塞方式添加数据到队列print(f'{name}:生产了{item}')print(f'{name}:完成生产。')defconsumer(name):whileTrue:item=data_queue.get()#阻塞方式从队列取出数据ifitemisNone:break#None是结束信号print(f'{name}:消费了{item}')data_queue.task_done()#表明之前入队的一个任务已经完成print(f'{name}:完成消费。')#启动生产者和消费者线程producer_thread=threading.Thread(target=producer,args=('生产者',))consumer_thread=threading.Thread(target=consumer,args=('消费者',))producer_thread.start()consumer_thread.start()#等待生产者线程结束producer_thread.join()#发送结束信号data_queue.put(None)#等待消费者线程结束consumer_thread.join()12345678910111213141516171819202122232425262728293031323334353637'运行运行非阻塞传输数据在非阻塞模式下，生产者和消费者在队列满或空时不会阻塞，而是会立即抛出异常或执行某些特定的操作。importthreadingimportqueueimporttime#创建一个队列data_queue=queue.Queue(maxsize=5)defproducer(name):foriinrange(5):item=f'产品{i}'try:data_queue.put(item,block=False)#非阻塞方式添加数据到队列print(f'{name}:生产了{item}')exceptqueue.Full:print(f'{name}:队列已满，无法立即生产{item}')time.sleep(1)#模拟其他耗时操作print(f'{name}:完成生产。')defconsumer(name):whileTrue:try:item=data_queue.get(block=False)#非阻塞方式从队列取出数据print(f'{name}:消费了{item}')time.sleep(2)#模拟消费耗时exceptqueue.Empty:print(f'{name}:队列为空，暂时无法消费')break#如果队列为空，则结束消费print(f'{name}:完成消费。')#启动生产者和消费者线程producer_thread=threading.Thread(target=producer,args=('生产者',))consumer_thread=threading.Thread(target=consumer,args=('消费者',))producer_thread.start()consumer_thread.start()#等待生产者和消费者线程结束producer_thread.join()consumer_thread.join()123456789101112131415161718192021222324252627282930313233343536373839在这两个示例中，生产者线程生产数据并将其放入队列中，而消费者线程从队列中取出并消费这些数据。阻塞和非阻塞操作主要体现在对队列操作时的行为差异：阻塞操作会等待直到条件满足（如队列非满或非空），而非阻塞操作在条件不满足时会立即返回或抛出异常。