Hapus alur Azure Data Factory setelah berhasil dijalankan

Saat ini saya memiliki aplikasi WebAPI yang setelah menerima permintaan secara dinamis membuat saluran tertentu di C# untuk melakukan tugas tertentu.

Namun, karena jumlah saluran pipa dan kumpulan data dibatasi hingga 5000, permintaan aplikasi pada akhirnya akan mencapai batas ini. Saya sedang memikirkan cara untuk menghapus pipeline dan kumpulan datanya secara otomatis, tapi saya tidak yakin bagaimana caranya. Sayangnya, penghapusan manual tidak mungkin dilakukan.

Apakah mungkin ada cara untuk melakukan "penghancuran sendiri" pada saluran pipa setelah selesai? Atau mungkin memicu penghapusan jaringan pipa lama secara berkala?


azure c# azure-data-factory pipeline
person Mariusz Ignatowicz    schedule 30.10.2019    source sumber
comment
Saya tidak berpikir ada cara untuk menghancurkan diri sendiri. Namun Anda cukup menulis Fungsi Azure sederhana yang dipicu waktu untuk dijalankan sekali sehari dan menghapus saluran pipa lama menggunakan SDK?!   -  person silent    schedule 30.10.2019

Jawaban (1)


arrow_upward
0
arrow_downward

Tidak ada mekanisme untuk membersihkan semua sumber daya secara langsung di ADF, namun Anda dapat menggunakan Pemicu Waktu Fungsi Azure untuk mengimplementasikannya dalam jadwal. Silakan lihat pemikiran saya:

1.Buat fungsi biru pemicu waktu (misalnya dipicu setiap hari) untuk menjalankan alur kueri dengan REST API atau SDK.

2.Ulangkan hasilnya dan filter Status==Succeeded dan runEnd< today untuk mendapatkan daftar nama pipa

masukkan deskripsi gambar di sini

3.Hapus satu per satu berdasarkan daftar nama dengan menggunakan Delete API.(REST API:https://docs.microsoft.com/en-us/rest/api/datafactory/pipelines/delete)

4.Menghapus dataset sedikit merepotkan. Meskipun Anda bisa mendapatkan nama pipeline, aktivitas di dalam pipeline belum tentu sama, sehingga menghasilkan kumpulan data yang berbeda. Misalnya, jika aktivitas penyalinan, Anda bisa mendapatkan referenceName di larik inputs dan outputs. Jika memungkinkan untuk menghapus semua kumpulan data dan akan dibuat ulang, Anda dapat dengan mudah menggunakan DAFTAR DATASET API dan matikan semuanya.

masukkan deskripsi gambar di sini

person Joey Cai    schedule 31.10.2019