Вопросы по теме 'screen-scraping'

JSoup — выбрать все комментарии
Я хочу выбрать все комментарии из документа с помощью JSoup. Я хотел бы сделать что-то вроде этого: for(Element e : doc.select("comment")) { System.out.println(e); } Я пробовал это: for (Element e : doc.getAllElements()) { if (e...
4136 просмотров
schedule 02.12.2023

Есть ли библиотека, чем можно таскаться через AJAX/javascript?
Я использую PHP для очистки некоторой информации с веб-страниц, однако я обнаружил, что информация, которую я пытаюсь очистить со страниц, загружается каким-то образом AJAX/javascript. Я думал, что вспомнил, что Curl может перебирать javascript, но я...
92 просмотров
schedule 07.12.2023

Получите криптовалютный твиттер, веб-сайт и рынки от coinmarketcap.com api
Я пытаюсь получить имя Twitter, веб-сайт и рынки для любой криптовалюты, указанной на coinmarketcap. Например: https://coinmarketcap.com/currencies/bitcoin показывает все данные, которые мне нужны но как мне проанализировать данные,...
109 просмотров
schedule 11.11.2023

Я пытаюсь очистить веб-сайты moderna / pfizer, чтобы узнать, в какие даты они выпускают новости. Код в R дает выходной символ (0), а не дату
Это код, который я запускал для pfizer и Moderna (используемый пакет: 'rvest') Pfizer: scrape_url ‹- http://www.pfizer.com/news веб-страница ‹- read_html (scrape_url) pfizer_newsdates_html ‹- html_nodes (веб-страница, '. rssDate')...
19 просмотров
schedule 07.01.2024