Panduan Definitif untuk Profesional Data (Analisis Data)
Terapkan Proyek Analytics Pertama Anda
Terapkan Dasbor Scraping Web Lazada dengan Heroku
Pernyataan masalah:
Bagi data scientist, sangat penting untuk menyebarkan aplikasi Anda ke cloud, agar dapat diakses oleh pengguna teknis atau non teknis. Dari pengalaman kerja saya, harapan bahwa data scientist akan membuat model pembelajaran mesin sementara para insinyur menerapkannya sudah hilang. Seringkali, data scientist perlu melakukan keduanya: merancang model data dan menerapkan aplikasi data (Dev-Ops).
Bagaimana jika kami dapat menyebarkan Aplikasi Data kami untuk pengguna kami dengan mudah dan bebas.
Masuk ke Heroku
Heroku adalah Platform sebagai Perangkat Lunak (PaaS) komersial yang banyak digunakan yang memudahkan para profesional data untuk membangun, mengelola, menerapkan berbagai skala aplikasi. Ini berarti Anda kini dapat fokus pada pengembangan aplikasi analitik tanpa kerumitan pada infrastruktur penerapan. Heroku menangani semua penerapan tugas berat untuk Anda!
Sederhananya, apa pun yang Anda jalankan di Server Jupyter lokal, Anda juga dapat menerapkannya di cloud agar pengguna dapat melakukannya!
Heroku beraksi
Dalam tutorial ini, Anda akan mempelajari cara menerapkan Aplikasi Web Dasbor Python Anda dengan Heroku. Kami akan menerapkan dasbor untuk meninjau penurunan harga produk Lazada dan menghasilkan peringatan.
Silakan nikmati saja artikel ini atau kunjungi Github Repo saya untuk kode lengkapnya. Atau cukup gulir ke bawah dan nikmati artikel ini.
Bagi anda yang belum familiar dengan Aplikasi Dashboard Web yang saya maksud. Saya membuat dashboard berdasarkan perubahan harga Produk Scraped Lazada. Setiap kali pengguna mengubah input drop-down, aplikasi akan memperingatkan pengguna jika harga produk turun.
Tugas kitaadalah menerapkan aplikasi ini di cloud dengan Heroku. Hasil akhirnya adalah link dimana Anda dapat berbagi dengan teman atau kolega Anda untuk mengakses dan memantau tren harga produk Lazada.
Ini adalah langkah-langkah penting untuk melakukannya:
- Daftarkan Akun Heroku
- Buat Aplikasi baru
- Siapkan Konfigurasi Penerapan dan Pustaka
- Terapkan Aplikasi Pertama Anda dengan Heroku Toolbelt
- Debugging dan Pemecahan Masalah
Daftarkan Akun Heroku
Kunjungi Heroku dan daftar. Anda kemudian akan menerima pemberitahuan di email Anda untuk mengonfirmasi pembuatan akun Anda.
Setelah Anda siap, buka akun Anda dan Anda dapat mengunjungi halaman aplikasi utama pribadi Anda.
Buat Aplikasi baru
Lanjutkan dan klik aplikasi barudi sudut kanan halaman. Masukkan nama aplikasi Anda lalu klik buat aplikasi.
Siapkan Konfigurasi Penerapan dan Pustaka
Anda memerlukan dua file di halaman pertama Heroku: persyaratan.txt dan Procfile.
- requirements.txt akan menyimpan semua pustaka dan dependensi Python yang Anda miliki di lingkungan Python saat Anda menjalankan aplikasi. Anda dapat menjalankan
pip freeze > requirements.txtuntuk membuang pustaka Python Anda ke dalam sebuah file - Procfileakan menentukan kriteria penerapan seperti jenis dyno yang Anda gunakan. "Dynos"adalah model kontainer untuk menjalankan dan menskalakan aplikasi di platform Heroku. Ini adalah cara yang sangat terukur dan andal untuk menyeimbangkan lalu lintas dan menjalankan aplikasi Anda dalam unit mesin yang kecil. Dalam hal ini, kita akan menggunakan gunicorn sebagai antarmuka untuk berinteraksi dengan dyno.
Gunicorn sebagai Layanan Aplikasi Web
Gunicornadalah antarmuka WSGI yang berarti menghosting semua aplikasi web Python yang Dapat Diprogram dan memastikan komunikasi yang baik dengan Dash Python dan Flask Library kami.
Gunicorn menangani tugas-tugas yang terjadi antara server web dan aplikasi web Anda. Ini juga membantu Anda menjalankan beberapa instance ke aplikasi web Anda, memeriksa kesehatan instance, dan meresetnya jika diperlukan sambil melakukan penyeimbangan beban pada instance tersebut. Banyak upaya telah dilakukan untuk mengoptimalkannya sehingga mudah bagi kami untuk menggunakannya. Dingin!
Sederhananya baris kode ini di Procfile untuk menginstruksikan dyno menggunakan antarmuka web gunicorn.
web: gunicorn app:server
Terapkan Aplikasi Pertama Anda dengan Heroku Toolbelt
Ada banyak cara untuk menerapkan menggunakan Heroku. Namun salah satu cara termudah yang saya temukan adalah dengan menggunakan Heroku Toolbelt. Lihat tautan ini untuk mengunduh Toolbelt.
Kami kemudian akan menggunakan perintah git dan heroku untuk menyebarkan aplikasi kami.
Kemudian setelah Anda memasukkannya ke heroku, Anda akan melihat bahwa host Anda akan menginstal semua perpustakaan yang Anda tentukan di persyaratan.txt Anda.
Setelah server selesai dengan komisinya, Anda akan mengambil tautan untuk mengakses aplikasi kami Anda.
Selamat, Anda baru saja menerapkan aplikasi pertama Anda ke Heroku!
Debugging dan Pemecahan Masalah
Dalam kebanyakan kasus, Anda akan mengalami beberapa masalah dengan penerapan. Oleh karena itu untuk men-debug ini, Anda dapat memasukkan perintah heroku logs -tail.
Perintah ini akan mengembalikan log berikut yang memberi tahu mengapa aplikasi Anda mogok.
Di sini dikatakan bahwa modul di Dash saya tidak disebut aplikasi. Ini karena saya menamai aplikasi utama saya sebagai dashboard.py, bukan app.py. Hal ini menyebabkan error karena Flask tidak dapat menemukan skrip aplikasi utama untuk dijalankan. Oleh karena itu, kita cukup mengganti namanya menjadi app.py lalu mendorong aplikasinya lagi.
Jika Anda mengalami lebih banyak masalah, cukup cari kesalahan log di Google, Stack Overflow, atau Dokumentasi Dash. Jika tidak, silakan berkomentar di sini dan saya akan membalasnya sesegera mungkin. Bersulang :)
Hasil Akhir
Selamat!! Anda telah menyebarkan aplikasi data pertama Anda. Jika Anda melakukannya dengan benar, Anda akan dapat mengakses aplikasi di tautan Anda. Jika belum, silakan lihat kembali Kode Github saya atau kirim pertanyaan Anda di sini.
Sekarang bebaskan dan terapkan Aplikasi Analytics Anda dengan Heroku
Referensi Lainnya
Jika Anda memerlukan lebih banyak contoh dan wawasan yang lebih baik tentang apa yang dapat ditawarkan Heroku dengan beberapa mesinnya. Jangan ragu untuk mengunjungi tautan berikut.
Akhirnya…
Saya sangat berharap ini menjadi bacaan yang bagus dan menjadi sumber inspirasi bagi Anda untuk berkembang dan berinovasi.
Silakan Komentardi bawah untuk memberikan saran dan masukan. Sama seperti Anda, saya masih belajar bagaimana menjadi Ilmuwan dan Insinyur Data yang lebih baik. Tolong bantu saya meningkatkannya sehingga saya dapat membantu Anda lebih baik dalam rilis artikel saya berikutnya.
Terima kasih dan Selamat coding :)
tentang Penulis
Vincent Tatan adalah pakar Data dan Teknologi dengan pengalaman kerja yang relevan dari Google LLC, Visa Inc. dan Lazada untuk mengimplementasikan arsitektur layanan mikro, intelijen bisnis, dan proyek jalur analitik".»
Vincent adalah penduduk asli Indonesia yang memiliki rekam jejak prestasi dalam penyelesaian masalah dengan keunggulan dalam Full Stack Development, Analisis Data, dan Perencanaan Strategis.
Ia aktif berkonsultasi dengan SMU BI & Analytics Club, membimbing calon ilmuwan dan insinyur data dari berbagai latar belakang, dan membuka keahliannya bagi bisnis untuk mengembangkan produknya.
Vincent juga membuka layanan bimbingan 1 lawan 1 di BestTop untuk melatih bagaimana Anda bisa mendapatkan Pekerjaan Analis/Insinyur Data impian Anda di Google, Visa, atau perusahaan teknologi besar lainnya. "Pesan janji temu Anda dengannya di sini" jika Anda sedang mencari bimbingan.
Terakhir, harap hubungi Vincent melalui "LinkedIn", "Medium", atau "Saluran YouTube"
