многопроцессорность с большим массивом numpy в качестве аргумента

Проблема может быть в передаче данных дочерним процессам. Когда необходимо использовать объекты только для чтения, я предпочитаю использовать copy-on-write механизм, используемый базовой ОС для управления памятью дочерних процессов. Однако я не знаю, использует ли Windows 7 этот механизм. Когда доступно копирование при записи, вы можете получить доступ к области родительского процесса, не копируя их внутри дочернего процесса. Этот трюк работает, только если вы обращаетесь к ним только для чтения и если объект создается до создания процессов.

Подводя итог, возможное решение (по крайней мере, для Linux-машин) таково:

import multiprocessing as mp
import numpy as np

def funcA():
    print "A {}".format(X.shape)
    # do something with the global variable X
    print 'funcA OK'

def funcB():
    print "B {}".format(X.shape)
    # do something else with the global variable X
    print 'funcB OK'

if __name__=='__main__':
    X=np.random.rand(int(5.00e8),)
    funcA() # OK
    funcB() # OK

    X=np.random.rand(int(2.65e8),)
    P=[mp.Process(target=funcA), mp.Process(target=funcB)]
    for p in P:
        p.start()

    for p in P:
        p.join()

    X=np.random.rand(int(2.70e8),)
    P=[mp.Process(target=funcA), mp.Process(target=funcB)]
    for p in P:
        p.start()

    for p in P:
        p.join()

ОБНОВЛЕНИЕ: после различных комментариев о проблемах совместимости с Windows я набросал новое решение однозначно на основе родных карт памяти. В этом решении я создаю карту памяти numpy в файле, которая используется совместно через файловый дескриптор, поэтому не требуется копировать весь массив внутри дочерних элементов. Я нашел это решение намного быстрее, чем использование multiprocessing.Array!

ОБНОВЛЕНИЕ 2: приведенный ниже код был обновлен, чтобы избежать проблем с памятью во время рандомизации карты памяти.

import multiprocessing as mp
import numpy as np
import tempfile

def funcA(X):
    print "A {}".format(X.shape)
    # do something with X
    print 'funcA OK'

def funcB(X):
    print "B {}".format(X.shape)
    # do something else with X
    print 'funcB OK'

if __name__=='__main__':
    dim = int(2.75e8)
    with tempfile.NamedTemporaryFile(dir='/tmp', delete=False) as tmpfile:
        X = np.memmap(tmpfile, shape=dim, dtype=np.float32)  # create the memory map
        # init the map by chunks of size 1e8
        max_chunk_size = int(1e8)
        for start_pos in range(0, dim, max_chunk_size):
            chunk_size = min(dim-start_pos, max_chunk_size)
            X[start_pos:start_pos+chunk_size] = np.random.rand(chunk_size,)
        P=[mp.Process(target=funcA, args=(X,)), mp.Process(target=funcB, args=(X,))]
        for p in P:
            p.start()

        for p in P:
            p.join()