Mari kita coba tanyakan pada Chat GPT-3 kode apa yang kita perlukan untuk mengikis Hackernews dan kemudian gunakan Alat Tanpa Server Kode Rendah untuk mengatur alur kerja kita dan mengirimkan hasilnya ke Google Sheets untuk menyelesaikan sesuatu dalam waktu kurang dari 5 menit.
Ini bukan cara bagi Anda untuk mengikis situs web dan memasukkannya ke dalam OpenAI untuk melatih model yang telah disesuaikan.
Meskipun, ini kedengarannya sangat menyenangkan jadi mungkin akan terjadi hal serupa di masa mendatang. Posting ini memungkinkan Anda dengan mudah menyiapkan web scraper menggunakan alat kode rendah dan AI untuk menghindari keharusan memiliki banyak pengkodean untuk menyelesaikan pekerjaan.
Kami akan membaca Hackernews setiap sepuluh menit dan mengambil judul, tautan, dan skornya. Kami kemudian mengirimkan hasilnya ke Google Spreadsheet agar Anda dapat menganalisisnya lebih lanjut. Lihat alur kerja di bawah ini.
Yang ini akan diperbarui dengan data baru tergantung pada pengatur waktu yang Anda atur.
Anda jelas dapat melakukan pemrosesan lebih lanjut di tengah jika Anda mau.
Temukan Elemen yang Tepat di Website yang ingin Anda Kikis
Kita perlu berbicara dengan OpenAI dengan cara yang dapat dimengerti sehingga ada baiknya jika kita setidaknya memiliki pemilih css dari item yang ingin kita cari. Jadi mari kita pergi ke https://news.ycombinator.com/newest dan mencari item yang kita minati di inspektur.
Klik kanan pada salah satu elemen yang ingin Anda kikis, lalu pilih Periksa.
Sepertinya barang yang kita cari ada tr dengan kelas .athingdan di .athingterdapat judul dan link yang kita incar. Di bawahnya ada tr lagi dengan skor (atau poin). Mari gunakan informasi ini untuk meminta OpenAI melakukan sesuatu untuk kita.
Minta Chat OpenAI untuk Membuat Program NodeJS
Buka chat.openai, masuk dan buka obrolan baru. Anda dapat menggunakan login Google Anda untuk ini jadi harus cepat.
Sekarang kita perlu menyusun pertanyaan dengan benar. Kami ingin menggunakan NodeJS agar kompatibel dengan alat yang akan kami gunakan untuk menulisnya. Mari kita tulis sesuatu seperti ini.
Bisakah Anda membuat program nodejs untuk mengikis setiap tautan dan judul elemen .athing dan kemudian teks tr di bawah .athing .score dari “https://news.ycombinator.com/newest?
Apa yang Anda dapatkan mungkin berbeda tetapi tetap saja berhasil.
Lihat kode di bawah ini yang kami peroleh dari OpenAI.
Bagus, sekarang kita punya sesuatu untuk dikerjakan.
Siapkan Pemicu Timer dan Fungsi Baru di Lolo
Kita perlu membuat program yang memungkinkan kita mengatur pengatur waktu dan kemudian memicu kode di atas setiap 10 menit.
Jadi buka Kode Lolo dan buat aplikasi baru. Ini gratis untuk digunakan, Anda dapat mendaftar di halaman yang sama.
Anda dapat menamainya sesuka Anda dan menetapkan deskripsinya juga.
Di sini kita perlu menambahkan Lolo/Timer jadi buka Perpustakaan Fungsi dan cari itu. Klik untuk menambahkannya.
Kita perlu mengkonfigurasinya menjadi 600.000 milidetik. Sedikit repot karena kami menggunakan milidetik.
Saat Anda telah mengonfigurasi Lolo/Timer, tambahkan fungsi baru di sudut kanan bawah. Klik dua kali untuk membukanya. Hapus kode default yang Anda lihat di sana. Kami tidak membutuhkannya.
Gunakan Kode yang Dihasilkan GPT-3 di Kode Lolo
Dari sini kita perlu menyusun kode yang kita dapatkan dari OpenAI agar sesuai dengan format Lolo. Kami selalu menggunakan event handler untuk memasukkan kode kami ke dalam node. Lihat contoh di bawah ini.
Jadi fungsi baru yang Anda tambahkan memerlukan pengendali ekspor ini untuk membungkus kode yang Anda ingin jalankan.
Jadi, mari kita lihat seperti apa jika kita menambahkan kode yang kita dapatkan dari OpenAI tanpa log ke dalam kode ini.
Di Lolo kami juga bekerja dengan objek acara dan konteks (ctx) untuk merutekan data antar fungsi. Kami akan menambahkan ini ke kode di bawah sehingga kami dapat mengarahkan tautan, judul, dan skor ke fungsi berikutnya di mana kami dapat mengirimkannya ke Google Spreadsheet untuk setiap elemen.
Anda dapat menyalin kode di atas dan menempelkannya ke fungsi baru yang Anda buat di Lolo. Ganti namanya juga.
Ingatlah juga untuk menghubungkan kedua fungsi tersebut.
Seperti yang Anda lihat di atas, kami juga memiliki beberapa dependensi, jadi buka Setelan dalam aplikasi Anda lalu klik tab Modul. Di sini Anda cukup menambahkan permintaan & cheerio.
Sekarang kita hanya perlu menambahkan fungsi yang akan menulis ke Google Sheets setiap kali pengatur waktu berbunyi.
Dapatkan Kredensial Google yang Diperlukan
Agar Anda dapat mengirim data ke lembar Google, Anda memerlukan akun Google Cloud dan sebuah proyek. Ini gratis. Anda juga perlu mengaktifkan Google Sheets API.
Kami menggunakan paket NPM yang menjelaskan cara mendapatkan kredensial Anda di sini. Anda sedang mencari email akun layanan dan kunci.
Ingatlah untuk juga mengaktifkan Google Sheets API di konsol Google Cloud. Lihat contoh di bawah.
Setelah selesai, Anda juga perlu menyiapkan Google Sheet baru dan mengambil ID Sheet. Anda akan menemukannya di URL Google Sheet Anda seperti ini.
Seperti yang Anda lihat, saya juga telah menyiapkan tiga nama kolom (Judul, Skor, Tautan), Anda juga perlu menyiapkan nama untuk kolom yang ingin Anda tulis.
Hal terakhir adalah memberikan akun email Layanan Anda (yang akan Anda sertakan dengan kredensial Anda) ke Google Sheet sebagai editor.
Itu tadi, sekarang bagian terakhir ini sangat mudah.
Kirim Data ke Google Spreadsheet menggunakan Fungsi Perpustakaan
Kembali ke aplikasi Lolo Anda lalu temukan fungsi perpustakaan Lolo/Google Sheets V2. Buka setelah Anda menambahkannya ke aplikasi Anda.
Tetapkan ID lembar Anda, email akun layanan, dan kunci yang Anda dapatkan dari bagian sebelumnya.
Kita juga perlu menambahkan operasi, yaitu Tulis. Kami menambahkan data ke Spreadsheet.
Anda sekarang akan mengatur nama kolom Anda dengan nilai yang kami dapatkan dari scraper kami di fungsi terakhir. Nilai-nilai kami bersifat dinamis, seperti yang Anda ingat, kami menetapkan objek acara dengan judul, tautan, dan skor, jadi tetapkan nilai-nilai Anda seperti itu. Lihat layar di bawah.
Nama kolom Anda mungkin berbeda jika Anda menyetel sesuatu yang berbeda di Google Spreadsheet.
Simpan dan Jalankan aplikasi Lolo Anda
Simpan dan Jalankan aplikasi Anda. Tunggu sebentar lalu buka Log. Tunggu hingga Anda melihat Dengarkan port 4000.
Ini mungkin memerlukan waktu hingga satu menit. Anda dapat berpindah tab jika Anda tidak melihatnya.
Lihat juga hasilnya di Google Sheets di bawah ini.
Ini akan terus menambahkan data tergantung pada pengatur waktu yang Anda atur hingga Anda mematikan aplikasi Lolo. Rapi ya?
Bergabunglah dengan kami di discord jika Anda memerlukan bantuan atau memiliki pertanyaan.
❤ Lolo
