Удалить конвейер фабрики данных Azure после успешного запуска

Прямо сейчас у меня есть приложение WebAPI, которое после получения запроса динамически создает определенный конвейер на C # для выполнения конкретной задачи.

Однако, поскольку число конвейеров и наборов данных ограничен 5000, запросы приложений в конечном итоге приведут к достижению этого лимита. Я думаю о способе автоматического удаления конвейера и его наборов данных, но не знаю, как это сделать. К сожалению, об удалении вручную не может быть и речи.

Есть ли способ выполнить «самоуничтожение» конвейера после завершения? Или, может быть, триггер периодического удаления старых трубопроводов?


azure c# azure-data-factory pipeline
person Mariusz Ignatowicz    schedule 30.10.2019    source источник
comment
Я не думаю, что есть способ самоуничтожиться. Но вы могли бы просто написать простую функцию Azure с запуском по времени, которая запускалась бы один раз в день и удаляла старые конвейеры с помощью SDK ?!   -  person silent    schedule 30.10.2019

Ответы (1)


arrow_upward
0
arrow_downward

Нет такого механизма для очистки всех ресурсов непосредственно в ADF, однако вы можете использовать Триггер времени функции Azure, чтобы реализовать его в расписании. Прочтите мои мысли:

1. Создайте лазерную функцию триггера времени (например, запускаемую каждый день) для выполнения запросов конвейера с REST API или SDK.

2. Выполните цикл результатов и отфильтруйте Status==Succeeded и runEnd< today, чтобы получить список имен конвейеров.

введите описание изображения здесь

3. Удалите их по одному по списку имен с помощью Delete API. (REST API: https://docs.microsoft.com/en-us/rest/api/datafactory/pipelines/delete)

4. Удаление наборов данных - небольшая проблема. Хотя вы можете получить имя конвейера, действия в конвейере не обязательно совпадают, что приводит к разным наборам данных. Например, если это действие копирования, вы можете получить referenceName в массиве inputs и outputs. Если возможно очистить все наборы данных, и они будут созданы повторно, вы можете легко использовать LIST DATASETS API и убейте их всех.

введите описание изображения здесь

person Joey Cai    schedule 31.10.2019