Python多线程和多进程并发执行

见贤思齐

Python多线程和多进程并发执行引言多线程主要特点和概念多线程的使用threading模块concurrent.futures线程池多进程主要特点和概念：多进程的使用：multiprocessing模块concurrent.futures进程池选择合适的进程数总结I/O密集型任务CPU密集型任务引言在测试领域，为了提高测试效率，通常采用并行方式执行脚本，可通过多线程和多进程机制来实现，今天来了解一下多线程和多进程的概念，区别以及使用。多线程多线程是一种并发执行的机制，它允许程序同时执行多个线程，每个线程都是独立执行的最小单位。线程是在进程内部运行的，多线程共享同一个进程的地址空间，因此它们可以更方便地共享数据和通信。主要特点和概念轻量级：线程相对于进程来说更轻量，因为它们共享同一个进程的资源，包括内存空间。线程的创建和切换开销较小。共享内存：线程在同一进程中共享相同的内存空间，这使得线程之间可以直接访问共享的数据，也容易进行通信。并发执行：多线程允许程序的不同部分并发执行，从而提高程序的整体性能。每个线程都有自己的执行路径，它们可以同时执行不同的任务。线程安全：在多线程编程中，需要考虑到多个线程同时访问和修改共享数据可能引发的问题。为了确保线程安全，可能需要使用锁、信号量等同步机制。全局解释锁（GIL）：在CPython解释器中，由于全局解释锁的存在，一次只允许一个线程执行Python字节码。这使得在多线程中并发执行CPU密集型任务时性能提升有限，但对于I/O密集型任务仍然有效。多线程的使用threading模块在Python中，可以使用threading模块来创建和管理线程。使用threading模块时，需要手动管理线程的创建和执行。以下是一个简单的多线程示例importthreadingimporttimedefsquare_number(number):result=number*numbertime.sleep(1)print(f"Resultfor{number}:{result}")numbers=[1,2,3,4,5,6,7,8,9,10]#创建一个线程池，用于存储线程对象threads=[]#定义一个线程执行函数defthread_worker(num):square_number(num)#启动线程fornuminnumbers:thread=threading.Thread(target=thread_worker,args=(num,))threads.append(thread)thread.start()#等待所有线程执行完成forthreadinthreads:thread.join()print("Alltaskshavefinished.")12345678910111213141516171819202122232425262728'运行运行在这个例子中，我们手动创建了一个线程的线程池。然后，我们定义了一个thread_worker函数，该函数接受一个数字并调用square_number函数。我们为每个数字创建一个线程，并将这些线程加入到一个列表中。最后，通过遍历线程列表，等待所有线程执行完成。执行结果：Resultfor2:4Resultfor1:1Resultfor4:16Resultfor3:9Resultfor5:25Resultfor7:49Resultfor10:100Resultfor9:81Resultfor6:36Resultfor8:64Alltaskshavefinished.1234567891011concurrent.futures线程池concurrent.futures.ThreadPoolExecutor是Python标准库中concurrent.futures模块提供的一个线程池实现，线程池自动管理了线程的生命周期，使得代码更为简洁，用于简化并发编程。它提供了高级别的接口，使得在多线程环境中提交和管理任务变得更加容易。importconcurrent.futuresimporttimedefsquare_number(number):result=number*numbertime.sleep(1)print(f"Resultfor{number}:{result}")#创建一个包含3个线程的线程池max_threads=4numbers=[1,2,3,4,5,6,7,8,9,10]withconcurrent.futures.ThreadPoolExecutor(max_workers=max_threads)asexecutor:#提交任务给线程池futures=[executor.submit(square_number,num)fornuminnumbers]#等待所有任务执行完成concurrent.futures.wait(futures)print("Alltaskshavefinished.")1234567891011121314151617181920'运行运行在这个例子中，我们定义了一个简单的任务square_number，该任务接受一个数字并计算其平方，然后打印结果。我们使用ThreadPoolExecutor创建了一个包含4个线程的线程池，并使用submit方法提交了一系列任务，每个任务处理一个数字。submit方法会返回一个concurrent.futures.Future对象，可以用来监控任务的执行状态。由于我们限制了线程池中的最大线程数为4，因此任务会并发执行，但最多只有4个任务同时运行。等待所有任务完成后，程序输出“Alltaskshavefinished.”。最后，使用concurrent.futures.wait等待一系列任务完成。这个例子中，wait会阻塞主线程，直到所有的任务都完成。ThreadPoolExecutor简化了线程的管理和任务的提交过程，使得在多线程环境中更容易实现并发编程。需要注意的是，与原生的threading模块相比，ThreadPoolExecutor提供了更高级别的抽象，更易于使用。执行结果：Resultfor3:9Resultfor1:1Resultfor4:16Resultfor2:4Resultfor7:49Resultfor6:36Resultfor5:25Resultfor8:64Resultfor10:100Resultfor9:81Alltaskshavefinished.1234567891011多进程多进程是一种并发执行的机制，允许程序同时执行多个独立的进程。每个进程都拥有独立的内存空间，因此它们不会互相干扰。多进程的优点在于能够充分利用多核处理器，实现真正的并行执行，特别适合处理CPU密集型的任务。主要特点和概念：独立内存空间：每个进程都有独立的内存空间，不同进程之间的数据不能直接共享。进程之间的通信通常需要使用一些特殊的机制，例如管道、消息队列等。并行执行：多进程能够在多个CPU核心上并行执行，因此适用于CPU密集型任务。每个进程都有自己的Python解释器，避免了全局解释锁（GIL）对并行性能的限制。稳定性：进程之间相互隔离，一个进程的崩溃通常不会影响其他进程。这提高了系统的稳定性和可靠性。创建和销毁开销较大：与线程相比，创建和销毁进程的开销较大，因为每个进程都有独立的资源和状态。多进程的使用：multiprocessing模块在Python中，可以使用multiprocessing模块来创建和管理多进程。以下是一个简单的多进程示例：importmultiprocessingimporttimedefsquare_number(number):result=number*numbertime.sleep(1)print(f"Resultfor{number}:{result}")if__name__=='__main__':#创建一个包含3个进程的进程池max_processes=3numbers=[1,2,3,4,5,6,7,8,9,10]withmultiprocessing.Pool(processes=max_processes)aspool:#使用map方法将任务分配给进程池pool.map(square_number,numbers)print("Alltaskshavefinished.")12345678910111213141516171819'运行运行在这个例子中，我们创建了一个包含3个进程的进程池（max_processes=3）。使用pool.map方法，我们将任务函数square_number应用于列表numbers中的每个数字，进程池会自动分配任务给空闲的进程。最后，等待所有任务完成后，程序输出“Alltaskshaveinished.”。使用Pool类可以很方便地实现多进程编程，而不必手动管理进程的创建和销毁。每个进程在执行任务时独立运行，从而实现了并行处理的效果。注意：multiprocessing的某些环境（比如在交互式环境中如JupyterNotebook中）使用ifname==‘main’:是必要的，这是因为在Unix系统上，multiprocessing在fork子进程时会复制整个进程的状态，包括已经创建的线程，而在Windows上，由于没有fork，必须通过重新导入模块来确保每个进程都能正确地运行主程序。ifname==‘main’:语句确保代码只在主模块中运行，而不是在子进程中运行。这是为了避免多次执行程序，因为在子进程中也会执行导入的代码。这是一个在使用multiprocessing模块时常见的实践。concurrent.futures进程池当使用concurrent.futures.ProcessPoolExecutor时，你可以使用submit方法来提交可调用的对象（函数）给进程池，并获得一个concurrent.futures.Future对象，该对象代表异步计算的结果。以下是一个简单的例子：importconcurrent.futuresimporttimedefsquare_number(number):result=number*numbertime.sleep(1)print(f"Resultfor{number}:{result}")returnresultdefprocesses_work():#创建一个包含3个进程的进程池max_processes=3numbers=[1,2,3,4,5,6,7,8,9,10]withconcurrent.futures.ProcessPoolExecutor(max_workers=max_processes)asexecutor:#使用submit方法提交任务给进程池futures=[executor.submit(square_number,num)fornuminnumbers]#等待所有任务执行完成#concurrent.futures.wait(futures)#或获取结果forfutureinconcurrent.futures.as_completed(futures):result=future.result()#在这里处理结果，例如打印或进行其他操作print("printresult:",result)print("Alltaskshavefinished.")if__name__=='__main__':processes_work()1234567891011121314151617181920212223242526272829303132'运行运行在这个例子中，我们使用concurrent.futures.ProcessPoolExecutor创建了一个包含3个进程的进程池（max_workers=3）。然后，我们使用executor.submit提交了一系列任务，每个任务是square_number函数对不同的数字进行平方运算。我们通过concurrent.futures.as_completed来获取已完成的任务，并通过future.result()获取任务的返回结果。在这个例子中，处理结果的操作是简单地打印结果。需要注意，在这个例子中同样使用了ifname==‘main’:条件判断，以确保在主模块中运行，避免在Windows等环境下可能出现的问题。执行结果：Resultfor2:4Resultfor1:1printresult:4printresult:1Resultfor3:9printresult:9Resultfor4:16Resultfor5:25printresult:16printresult:25Resultfor6:36printresult:36Resultfor8:64Resultfor7:49printresult:64printresult:49Resultfor9:81printresult:81Resultfor10:100printresult:100Alltaskshavefinished.123456789101112131415161718192021选择合适的进程数选择合适的进程数取决于任务的性质、系统资源和硬件配置。通常，你可以通过试验和性能测试来确定最佳的进程数。以下是一些考虑因素：CPU核心数：一般来说，进程数不应该超过系统的物理CPU核心数，否则可能导致竞争和性能下降。在多核系统上，你可以选择使用与核心数相当的进程数以充分利用硬件。可以使用Python中的os模块来获取系统的CPU核心数importosdefget_cpu_core_count():returnos.cpu_count()if__name__=='__main__':core_count=get_cpu_core_count()ifcore_countisnotNone:print(f"Thesystemhas{core_count}CPUcore(s).")else:print("UnabletodeterminethenumberofCPUcores.")12345678910111213'运行运行任务类型：如果任务是CPU密集型的（需要大量计算），则增加进程数可能会提高性能。但对于I/O密集型任务（等待外部资源，如文件I/O或网络请求），增加进程数可能不会显著提高性能。系统资源：考虑系统的可用内存和其他资源。创建太多的进程可能导致内存不足，从而影响整体性能。并发任务数：任务的并发数也是一个重要的考虑因素。如果有大量的并发任务，适当增加进程数可能有助于更好地并行执行。性能测试：进行性能测试是确定最佳进程数的有效方法。通过尝试不同的进程数，测量执行时间和资源利用率，以找到最佳的配置。根据这些因素，你可以根据具体情况来选择一个适当的进程数。注意，增加进程数并不总是能够线性提高性能，因此在选择进程数时需要平衡系统资源和任务的特性。总结总体而言，多线程适用于轻量级任务和I/O密集型任务，而多进程能够在多个CPU核心上真正并行执行，适用于CPU密集型任务和需要更高稳定性的场景。选择使用多线程还是多进程取决于任务的性质、硬件配置和系统要求。I/O密集型任务I/O密集型任务指的是程序在执行过程中主要涉及输入/输出操作（I/O操作）的任务。这些任务通常涉及从外部设备（如磁盘、网络、数据库）读取或写入数据。在这样的任务中，大部分的时间都花费在等待I/O操作的完成上，而不是在计算或处理数据上。实践结论：可以对比一下多线程和多进程执行的区别，对于I/O密集型任务，会发现多进程执行效率更高。I/O密集型任务的特点包括：高度依赖外部资源：这类任务需要频繁地与外部设备进行交互，例如读取文件、从网络下载数据、与数据库通信等。等待时间较长：由于涉及到外部设备，I/O操作通常需要较长的时间完成。在这段时间内，程序可以执行其他任务而不是等待I/O操作的完成。CPU利用率较低：在执行I/O操作期间，CPU大部分时间都是空闲的，因为它不需要进行大量的计算工作。这导致了CPU利用率较低。并发性较高：由于大部分时间都在等待外部操作完成，因此在这期间可以同时执行其他任务，提高了程序的并发性。性能瓶颈在I/O操作上：对于I/O密集型任务，性能瓶颈主要出现在等待外部设备完成操作的时间上，而不是在CPU处理数据的速度上。一些典型的I/O密集型任务包括网络通信、文件读写、数据库查询等。在这些场景中，使用多线程通常是一种有效的并发处理方式，因为一个线程在等待I/O操作完成的同时，其他线程仍然可以执行任务，从而提高整体系统的吞吐量。CPU密集型任务CPU密集型任务指的是程序在执行过程中主要涉及大量计算或处理大量数据的任务，而不涉及大量的输入/输出操作。在这类任务中，大部分的时间都花费在计算或处理数据上，而不是等待外部设备的操作完成。CPU密集型任务的特点包括：大量计算：这类任务需要进行大量的计算工作，可能涉及复杂的数学运算、算法执行或大规模的数据处理。相对较短的等待时间：与I/O密集型任务不同，CPU密集型任务的等待时间相对较短，因为它们主要依赖CPU进行计算。CPU利用率高：在执行CPU密集型任务时，CPU大部分时间都处于繁忙状态，因为它需要进行大量的计算工作。并发性较低：由于CPU密集型任务主要依赖CPU进行计算，而不是等待外部设备，因此在执行期间很难同时执行其他任务。性能瓶颈在CPU处理速度上：对于CPU密集型任务，性能瓶颈主要出现在CPU处理速度上，而不是在等待外部设备完成操作的时间上。一些典型的CPU密集型任务包括科学计算、图像处理、密码学操作等。在这些场景中，通常采用多进程或其他并行计算的方式，以充分利用多核CPU的性能。在Python中，由于全局解释锁(GIL)的存在，使用多线程可能无法充分发挥多核CPU的性能，因此对于CPU密集型任务，通常使用多进程是更为有效的选择。