Загрузка изображений в облако мл

Это основной код, который работает на процессоре. Он загружает все изображения и маски из папок, изменяет их размер и сохраняет в виде двух пустых массивов.

from skimage.transform import resize as imresize
from skimage.io import imread


def create_data(dir_input, img_size):

    img_files = sorted(glob(dir_input + '/images/*.jpg'))
    mask_files = sorted(glob(dir_input + '/masks/*.png'))

    X = []
    Y = []

    for img_path, mask_path in zip(img_files, mask_files):

        img = imread(img_path)
        img = imresize(img, (img_size, img_size), mode='reflect', anti_aliasing=True)

        mask = imread(mask_path)
        mask = imresize(mask, (img_size, img_size), mode='reflect', anti_aliasing=True)

        X.append(img)
        Y.append(mask)



    path_x = dir_input + '/images-{}.npy'.format(img_size)
    path_y = dir_input + '/masks-{}.npy'.format(img_size)

    np.save(path_x, np.array(X))
    np.save(path_y, np.array(Y))


Вот иерархия хранилища gcloud

gs://my_bucket
|
|----inputs    
|      |----images/
|      |-----masks/
|   
|----outputs
|
|----trainer    


dir_input должно быть gs://my_bucket/inputs

Это не работает. Каков правильный способ загрузки изображений с этого пути в облаке и сохранения массива numpy в папке ввода?

Желательно с skimage, который загружается в setup.py


person elektricni    schedule 21.10.2018    source источник


Ответы (1)


Большинство библиотек Python, таких как numpy, изначально не поддерживают чтение и запись в хранилища объектов, такие как GCS или S3. Есть несколько вариантов:

  • Сначала скопируйте данные на локальный диск (см. этот ответ).
  • Попробуйте использовать GCS python SDK (документы).
  • Используйте другую библиотеку, например абстракцию FileIO TensorFlow. Вот код, похожий на то, что вы пытаетесь сделать (чтение/запись пустых массивов).

Последнее особенно полезно, если вы используете TensorFlow, но его все равно можно использовать, даже если вы используете какой-либо другой фреймворк.

person rhaertel80    schedule 22.10.2018