Scrapy

19 August 2024 11:55

Т.е. хочется отойти от ручной разметки страницы для извлечения нужных данных.

Scrapy

19 August 2024 11:54

Любые страницы, сервис анализирует, содержание страниц и потом вычленяет полезные данные и отдает их в json.

Scrapy

19 August 2024 11:51

Всем привет! Есть ли какой сервис, позволяющий парсить страницы сайта и возвращать данные страниц в json, без предварительной разметки страницы?

Scrapy

19 August 2024 09:40

Да может нет смысла посылать в ту группу, тут же тихо и ничего не обсуждаем?

Scrapy

19 August 2024 08:20

Привет!
Ищу python-разработчика для выполнения проектной работы.

Суть проекта: разработать парсер сайта с данными о ценах на продукцию, после чего скрипт должен загрузить данные в Excel файл и отправить файл по почте

Scrapy

15 August 2024 16:29

любой, кто знает скрапивы и spamming, что я мог бы сотрудничать с каждой прибылью я бы взял 40% и вы 60%

Scrapy

15 August 2024 08:11

ради теста подождать минут 10, потом посмотреть в стату, сколько отлупов по таймауту...
у меня, в 99% случаев, после этого, вопросы отпадали :).

Scrapy

14 August 2024 19:08

не обезательно, рандомно
concurrency 50, может в середине, может в конце очереди

Scrapy

12 August 2024 17:27

net::ERR_TUNNEL_CONNECTION_FAILED

Scrapy

12 August 2024 17:27

а вторую не пропускает, я хз с чем связано, скорее всего с прокси

Scrapy

10 August 2024 10:49

Всем привет. Ищу людей на постоянную основу который может парсить на selenium и requests (Python). Кто заинтересован пишите в ЛС, дам лёгкое тестовое задание на регистрацию, если выполните то приступим к настоящим заданиям

Scrapy

10 August 2024 07:07

ну да надо юзеров менять тогда
и это действительно гораздо более хрупко чем без авторизации, именно потому что привязка запроса к акку
ну и гораздо менее легально

Scrapy

10 August 2024 06:16

(пишу на js, но думаю концептуально ничего не изменится)

Scrapy

10 August 2024 06:15

ребят есть какие то советы как скрапить маркетплейс на новые обьявление и не попасться на антифрод ?

Scrapy

09 August 2024 19:37

Посоветуйте сервис для солва datadoom.
Заранее спасибо

Scrapy

19 August 2024 11:54

слишком многого хотите, но успехов

Scrapy

19 August 2024 11:53

любые страницы и любые данные? или как вы это себе представляете?

Scrapy

19 August 2024 09:51

а я че, я ниче. Могу посылать, могу не посылать :)

Scrapy

19 August 2024 09:22

@kirill9366 по работе в /channel/scrapy_jobs

Scrapy

18 August 2024 22:22

всем привет! я тут неделю назад примерно спрашивал как получать статы с паука напрямую. так вот, я написал (но не тестировал никак) расширение, которое позволяет брать всякую инфу про запущенного паука, на подобие того, что было в Scrapy 0.26.
может, я плохо искал, но гугл ничего подобного и нового выдать не смог(
буду рад пул реквестам и другой активности!
https://github.com/abebus/spider-info-webservice

Scrapy

15 August 2024 16:27

Привет всем, я знаю, что для этого мне действительно нужен гид, если есть кто-то, кто может направлять меня бесплатно, могут ли они, пожалуйста, отправить мне сообщение?

Scrapy

14 August 2024 19:09

ждёт ответов сервера либо причина в юзерском коде

Scrapy

14 August 2024 19:04

всем привет
scrapy фризится по середине процесса
внутри asyncio/trheading не используется, выглядит будто проблема в самом scrapy

кто сталкивался, в чем может быть проблема?

Scrapy

12 August 2024 17:27

я авторизовался руками норм, скопировал свежие куки, менял прокси и не помогало

Scrapy

12 August 2024 17:27

ребят одна сессия работает идеально

Scrapy

10 August 2024 07:49

нет, просто есть задача скрапить новые обьявления

Scrapy

10 August 2024 06:49

там прямо какие-то лично для данного пользователя спец-спец-спец предложения?

Scrapy

10 August 2024 06:15

при том что скрапить можно только с авторизованых акков, то есть я полагаю не выйдет просто менять прокси постоянно в случае если запросы не будут проходить по каким то причинам.
новые обьявления там появляются каждую секунду, категорий дофига, думаю будет странно если один юзер будет одеовременно скрапить 50+ категорий ежесекундно, надо чёто придумать

Scrapy

09 August 2024 20:10

Кто поможет зарегестрироваться на этом сайте: https://www.yell.ru/moscow/com/ . С selenium не получается, а с requests пишет что не подключил javascript. Помогите😭

Scrapy

09 August 2024 19:07

Было б удобно если бы считался только запрос 😂. Кидаешь такой гет запросик размером в пару байт, а тебе в ответ джейсон на мегабайтик 😂