У меня есть утилита, которая порождает несколько рабочих процессов с помощью модуля Python multiprocessing, и я хотел бы иметь возможность отслеживать использование памяти с помощью превосходной утилиты memory_profiler, которая делает все, что я хочу - в частности, выборка использования памяти с течением времени и построение окончательного результата (меня не интересует построчное профилирование памяти для этого вопроса).
Чтобы задать этот вопрос, я создал более простую версию скрипта с рабочей функцией, которая выделяет память, аналогичную пример из библиотеки memory_profiler. Рабочий выглядит следующим образом:
import time
X6 = 10 ** 6
X7 = 10 ** 7
def worker(num, wait, amt=X6):
"""
A function that allocates memory over time.
"""
frame = []
for idx in range(num):
frame.extend([1] * amt)
time.sleep(wait)
del frame
Учитывая последовательную рабочую нагрузку 4 рабочих следующим образом:
if __name__ == '__main__':
worker(5, 5, X6)
worker(5, 2, X7)
worker(5, 5, X6)
worker(5, 2, X7)
Запуск исполняемого файла mprof для профилирования моего сценария занимает 70 секунд, когда каждый рабочий процесс запускается один за другим. Скрипт запускается следующим образом:
$ mprof run python myscript.py
Создает следующий график использования памяти:
Если эти рабочие процессы выполняются параллельно с multiprocessing, это означает, что скрипт завершится так же медленно, как самый медленный рабочий процесс (25 секунд). Этот сценарий выглядит следующим образом:
import multiprocessing as mp
if __name__ == '__main__':
pool = mp.Pool(processes=4)
tasks = [
pool.apply_async(worker, args) for args in
[(5, 5, X6), (5, 2, X7), (5, 5, X6), (5, 2, X7)]
]
results = [p.get() for p in tasks]
Профилировщик памяти действительно работает, по крайней мере, при использовании mprof ошибок нет, но результаты немного странные:
Беглый взгляд на Activity Monitor показывает, что на самом деле существует 6 процессов Python, один для mprof, один для python myscript.py, а затем по одному для каждого рабочего подпроцесса. Похоже, что mprof измеряет использование памяти только для процесса python myscript.py.
Библиотека memory_profiler обладает широкими возможностями настройки, и я вполне уверен, что смогу захватывать память каждого процесса и, возможно, записывать их в отдельные файлы журналов с помощью самой библиотеки. Я просто не уверен, с чего начать или как подойти к этому уровню настройки.
ИЗМЕНИТЬ
Прочитав сценарий mprof, я обнаружил флаг -C, который суммирует использование памяти всеми дочерними (разветвленными) процессами. Это приводит к следующему (значительно улучшенному) графику:
Но то, что я ищу, - это использование памяти каждым отдельным подпроцессом с течением времени, чтобы я мог отображать всех рабочих (и мастер) на одном графике. Моя идея состоит в том, чтобы каждый подпроцесс memory_usage записывался в отдельный файл журнала, который я затем могу визуализировать.
