Давайте попробуем спросить у Chat GPT-3, какой код нам нужен для очистки Hackernews, а затем использовать Low Code Serverless Tool, чтобы настроить наш рабочий процесс и отправить результаты в Google Таблицы, чтобы что-то сделать менее чем за 5 минут.

Это не способ для вас очистить веб-сайт и передать его в OpenAI для обучения точно настроенной модели.

Хотя это звучит очень весело, так что в будущем мы можем сделать что-то подобное. Этот пост позволяет вам легко настроить парсер веб-страниц, используя инструменты с низким кодом и искусственный интеллект, чтобы обойти необходимость большого количества кода для выполнения работы.

Мы будем парсить Hackernews каждые десять минут и получать название, ссылку и счет. Затем мы отправляем результаты в Google Sheets, где вы можете их проанализировать. См. рабочий процесс ниже.

Этот будет обновляться новыми данными в зависимости от установленного вами таймера.

Очевидно, вы можете выполнить дальнейшую обработку в середине, если хотите.

Найдите правильные элементы на веб-сайте, которые вы хотите очистить

Нам нужно общаться с OpenAI таким образом, чтобы он понял, поэтому было бы хорошо, если бы у нас был хотя бы селектор css элемента, который мы хотим, чтобы он искал. Итак, заходим на https://news.ycombinator.com/newest и ищем в инспекторе интересующий нас пункт.

Щелкните правой кнопкой мыши один из элементов, которые вы хотите очистить, и выберите Проверить.

Похоже, что элементы, которые мы ищем, tr с классом .athing, а в .athing есть заголовок и ссылка, которые нам нужны. Под ним есть еще один tr со счетом (или баллами). Давайте воспользуемся этой информацией, чтобы попросить OpenAI что-нибудь для нас разработать.

Попросите Chat OpenAI создать программу NodeJS

Перейдите на chat.openai, авторизуйтесь и откройте новый чат. Вы можете использовать свой логин Google для этого, так что это должно быть быстро.

Теперь нам нужно правильно построить вопрос. Мы хотим, чтобы он использовал NodeJS, чтобы быть совместимым с инструментом, в котором мы будем его писать. Давайте напишем что-то вроде этого.

Можете ли вы создать программу на nodejs, которая очищает ссылки и заголовки каждого элемента .athing, а затем текст tr под .athing .score с «https://news.ycombinator.com/newest?

То, что вы получите, может быть другим, но, тем не менее, оно должно работать.

Посмотрите на код ниже, который мы получили из OpenAI.

Отлично, теперь нам есть с чем работать.

Настройте триггер таймера и новую функцию в Lolo

Нам нужно создать программу, которая позволит нам настроить таймер, а затем запускать приведенный выше код каждые 10 минут.

Итак, заходим в Лоло Код и создаем новое приложение. Это бесплатно для использования, вы можете зарегистрироваться на той же странице.

Вы можете назвать его как хотите, а также установить для него описание.

Здесь нам нужно добавить Lolo/Timer, поэтому перейдите в библиотеку функций и найдите его. Щелкните его, чтобы добавить.

Нам нужно настроить его на 600000 миллисекунд. Немного беспокоит то, что мы используем миллисекунды.

Когда вы настроите Lolo/Timer, добавьте новую функцию в правом нижнем углу. Дважды щелкните по нему, чтобы открыть его. Удалите код по умолчанию, который вы видите там. Нам это не понадобится.

Используйте сгенерированный код GPT-3 в Lolo Code

Отсюда нам нужно структурировать код, который мы получили от OpenAI, чтобы он соответствовал формату Lolo. Мы всегда используем обработчик событий, чтобы поместить наш код для узлов. См. пример ниже.

Таким образом, новая функция, которую вы добавили, нуждается в этом обработчике экспорта, обернутом вокруг кода, который вы хотите запустить.

Итак, давайте посмотрим, как это будет выглядеть, если мы добавим код, который мы получили от OpenAI без логов, в этот.

В Lolo мы также работаем с объектом события и контекстом (ctx) для маршрутизации данных между функциями. Мы добавим это в приведенный ниже код, чтобы мы могли направить ссылку, заголовок и оценку в следующую функцию, откуда мы можем отправить их в Google Таблицы для каждого элемента.

Вы можете скопировать приведенный выше код и вставить его в новую функцию, которую вы создали в Lolo. Тоже переименуй.

Также не забудьте соединить две функции.

Как вы видите выше, у нас также есть несколько зависимостей, поэтому перейдите в Настройки в своем приложении, а затем щелкните вкладку Модули. Здесь вы можете просто добавить request и cheerio.

Теперь нам просто нужно добавить функцию, которая будет записывать в Google Sheets каждый раз, когда срабатывает таймер.

Получите необходимые учетные данные Google

Для того, чтобы вы могли отправлять данные на лист Google, вам нужен Облачный аккаунт Google и проект. Это бесплатно. Вам также необходимо включить API Google Таблиц.

Мы используем пакет NPM, который объясняет, как получить ваши учетные данные здесь. Вы ищете адрес электронной почты сервисного аккаунта и ключ.

Не забудьте также включить API Google Таблиц в консоли Google Cloud. См. пример ниже.

Когда вы закончите, вам также нужно настроить новый лист Google и получить идентификатор листа. Вы найдете его в URL-адресе вашего Google Sheet следующим образом.

Как видите, я также задал три имени столбца (Название, Оценка, Ссылка), вам также нужно задать имена для столбцов, в которые вы хотите писать.

Последнее, что нужно сделать, это предоставить свою учетную запись электронной почты службы (которую вы получите вместе с вашими учетными данными) в Google Sheet в качестве редактора.

Это было здесь, теперь эта последняя часть действительно проста.

Отправка данных в Google Таблицы с помощью библиотечной функции

Вернитесь в приложение Lolo и найдите функцию библиотеки Lolo/Google Sheets V2. Откройте его, как только вы добавите его в свое приложение.

Установите идентификатор листа, адрес электронной почты учетной записи службы и ключ, которые вы получили в предыдущем разделе.

Нам также нужно добавить операцию Запись. Мы добавляем данные в Таблицы.

Теперь вы установите имена столбцов со значениями, которые мы получили от нашего парсера в последней функции. Наши значения являются динамическими, как вы помните, мы устанавливаем объект события с заголовком, ссылкой и оценкой, поэтому установите ваши значения таким образом. См. экран ниже.

Имена ваших столбцов могут отличаться, если вы установите что-то другое в Google Sheets.

Сохраните и запустите приложение Lolo

Сохраните и запустите приложение. Подождите немного, а затем перейдите в журналы. Подождите, пока не появится надпись Прослушивать порт 4000.

Это может занять до минуты. Вы можете переключать вкладки, если вы этого не видите.

См. также результаты в Google Sheets ниже.

Он будет продолжать добавлять данные в зависимости от установленного вами таймера, пока вы не отключите приложение Lolo. Аккуратно да?

Присоединяйтесь к нам в дискорде, если вам нужна помощь или есть вопросы.

❤ Лоло