883
Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs
много хочешь - мало получишь! (с) владимир ильич конфуций
Читать полностью…
есть сайт без api, к нему надо сделать "обертку" api, чтобы внешние сервисы через эту api-обертку, обращались к сайту без api (искали информацию и выдавали ее), и получали результат в виде структурированного json
Читать полностью…
бойлерпплейт выпиливаешь и просишь чатгпт найти данные и сгенерировать селекторы, вполне неплохо работает
Читать полностью…
любые страницы и любые данные? или как вы это себе представляете?
Читать полностью…
всем привет! я тут неделю назад примерно спрашивал как получать статы с паука напрямую. так вот, я написал (но не тестировал никак) расширение, которое позволяет брать всякую инфу про запущенного паука, на подобие того, что было в Scrapy 0.26.
может, я плохо искал, но гугл ничего подобного и нового выдать не смог(
буду рад пул реквестам и другой активности!
https://github.com/abebus/spider-info-webservice
Привет всем, я знаю, что для этого мне действительно нужен гид, если есть кто-то, кто может направлять меня бесплатно, могут ли они, пожалуйста, отправить мне сообщение?
Читать полностью…
всем привет
scrapy фризится по середине процесса
внутри asyncio/trheading не используется, выглядит будто проблема в самом scrapy
кто сталкивался, в чем может быть проблема?
я авторизовался руками норм, скопировал свежие куки, менял прокси и не помогало
Читать полностью…
Автоматическое извлечение контента с преобразованием в json (нейросеть классифицирует контент и создает нужный json):
https://www.diffbot.com/products/extract/
ну типа кидаешь урлу в софтину, а софтина тебе выдает апи к сайту по этой урле )
Читать полностью…
А еще, никто не знает из готовых инструментов, "как превратить сайт без api, в сайт с api" или тут только хардкодинг с selenium? есть другие варианты удобнее и проще?
Читать полностью…
в принципе сейчас повылезало сервисов чатгпт скрейпинга, может там и подходящие есть
Читать полностью…
там вроде можно не уложиться в лимит размера запроса если кидать ему сырой html, чтобы вычленял
Читать полностью…
Т.е. хочется отойти от ручной разметки страницы для извлечения нужных данных.
Читать полностью…
Любые страницы, сервис анализирует, содержание страниц и потом вычленяет полезные данные и отдает их в json.
Читать полностью…
Всем привет! Есть ли какой сервис, позволяющий парсить страницы сайта и возвращать данные страниц в json, без предварительной разметки страницы?
Читать полностью…
Да может нет смысла посылать в ту группу, тут же тихо и ничего не обсуждаем?
Читать полностью…
Привет!
Ищу python-разработчика для выполнения проектной работы.
Суть проекта: разработать парсер сайта с данными о ценах на продукцию, после чего скрипт должен загрузить данные в Excel файл и отправить файл по почте
любой, кто знает скрапивы и spamming, что я мог бы сотрудничать с каждой прибылью я бы взял 40% и вы 60%
Читать полностью…
ради теста подождать минут 10, потом посмотреть в стату, сколько отлупов по таймауту...
у меня, в 99% случаев, после этого, вопросы отпадали :).
не обезательно, рандомно
concurrency 50, может в середине, может в конце очереди
а вторую не пропускает, я хз с чем связано, скорее всего с прокси
Читать полностью…