Источник лазурного большого двоичного объекта фабрики данных - подстановочный знак

Меня заставили поверить, что вы можете использовать подстановочные знаки для свойства filename в исходном объекте таблицы BLOB-объектов Azure.

Я хочу получить из хранилища BLOB-объектов только определенные файлы csv, которые находятся в том же каталоге, что и другие файлы, которые я не хочу обрабатывать:

i.e.

корень / данные / GUJH-01.csv

корень / данные / GUJH-02.csv

корень / данные / DFGT-01.csv

Я хочу обрабатывать GUJH * .csv, а не DFGT-01.csv

Это возможно? Если да, то почему не удается проверить источник моего большого двоичного объекта, сообщая мне, что файл не существует (сообщение сообщает, что корневой объект / большой двоичный объект данных не существует.

Заранее спасибо.


azure csv azure-data-factory azure-storage-blobs cortana-intelligence
person Steve    schedule 29.01.2016    source источник

Ответы (2)


arrow_upward
3
arrow_downward

Отвечая на свой вопрос ..

Здесь нет подстановочного знака, но есть «Начинается с», который будет работать в моем сценарии:

Вместо root / data / GUJH * .csv я могу сделать root / data / GUJH в свойстве folderPath, и он принесет все файлы root / data / GUJH ..

:)

person Steve    schedule 03.02.2016
comment
Мне тоже потребовалось много времени, чтобы разобраться с этим. Теперь мне интересно, как бы вы ограничили его только файлами CSV? - person Nick.McDermaid; 27.07.2017
comment
Просто убедитесь, что filePath не указан и folderPath имеет полный путь, включая имя файла. Также убедитесь, что вы запустили правильный временной интервал. Я просто запускал случайный временной интервал, который, в свою очередь, передавал неправильный параметр, что означает, что он не мог найти файл - person Nick.McDermaid; 27.07.2017

arrow_upward
0
arrow_downward

Просто добавлю здесь больше деталей, потому что я считаю, что это очень трудная кривая обучения, и я хотел бы задокументировать это для себя и других.

Учитывая такой образец файла (в данном случае без расширений) в хранилище BLOB-объектов,

ZZZZ_20170727_1324

Мы видим, что средняя часть имеет формат yyyyMMdd.

Он загружается в папку Landing внутри контейнера MyContainer.

это было частью моего определения набора данных:

    "typeProperties": {
        "folderPath": "MyContainer/Landing/ZZZZ_{DayCode}",
        "format": {
            "type": "TextFormat",
            "columnDelimiter": "\u0001"
        },
        "partitionedBy": [
            {
                "name": "DayCode",
                "value": {
                    "type": "DateTime",
                    "date": "SliceStart",
                    "format": "yyyyMMdd"
                }
            }
        ]
    },

Обратите внимание, что это «префикс», который вы увидите в сообщениях журнала / ошибок, если сможете их найти (удачи)

Если вы хотите протестировать загрузку этого конкретного файла, вам нужно нажать кнопку «Диаграмма», а затем перейти к конвейеру, пока не найдете набор данных target - тот, который файл загружается в < / em> (я загружаю это в SQL Azure). Щелкните целевой набор данных, а теперь найдите правильный временной интервал. В моем случае мне нужно найти временной интервал с начальным временным интервалом 20170727 и запустить его.

Это гарантирует, что правильный файл будет выбран и загружен в SQL Azure.

Забудьте о ручном запуске конвейеров или действий - это просто не то, как это работает. Вам нужно запустить выходной набор данных под временным интервалом, чтобы вытащить его.

person Nick.McDermaid    schedule 27.07.2017