当我们使用multiprocessing时,可能会发现进程之间不共享全局变量。
问题示例:
让我们来看一个问题的例子,有两个输入列表,两个进程从中读取并将其附加到最终列表,然后将合并的列表打印输出。
import multiprocessing
final_list = []
input_list_one = [‘a’, ‘b’, ‘c’, ‘d’]
input_list_two = [‘e’, ‘f’, ‘g’]
def worker(data):
for item in data:
final_list.append(item)
process1 = multiprocessing.Process(target=worker, args=[final_list_one])
process2 = multiprocessing.Process(target=worker, args=[final_list_two])
process1.start()
process2.start()
process1.join()
process2.join()
print(final_list)
运行代码时:
$ python3 mp_list_issue.py
[]
如大家所看到的,输出列表为空。
解决方案:
我们需要使用multiprocessing.Manager.List。
摘自Python文档:
“multiprocessing.Manager返回一个已启动的SyncManager对象,该对象可用于在进程之间共享对象。返回的管理器对象对应于生成的子进程,并且具有创建共享对象并返回相应代理的方法。”
import multiprocessing
manager = multiprocessing.Manager()
final_list = manager.list()
input_list_one = [‘a’, ‘b’, ‘c’, ‘d’]
input_list_two = [‘e’, ‘f’, ‘g’]
def worker(data):
for item in data:
final_list.append(item)
process1 = multiprocessing.Process(target=worker, args=[final_list_one])
process2 = multiprocessing.Process(target=worker, args=[final_list_two])
process1.start()
process2.start()
process1.join()
process2.join()
print(final_list)
当我们再运行脚本时,我们可以看到预期的输出:
$ python3 mp_list.py
[‘a’, ‘b’, ‘c’, ‘d’, ‘e’, ‘f’, ‘g’]