Scrapy

09 June 2025 07:53

здесь тоже должно быть 288
а по факту отдается только 100

а вот пагинацию я нашел)))
пользуйся

Scrapy

09 June 2025 07:42

никак:^)
получай и обрабатывай страницу за страницей

Scrapy

09 June 2025 07:25

или если запрос без параметров/qs, то на их стороне по дефолту 100 может стоять

Scrapy

09 June 2025 07:18

https://him-tech.ru/

Scrapy

09 June 2025 00:44

Доброго времени суток. Подскажите куда глядеть. На сайте 10 категорий, в каждой разное количество товаров. Если меньше 100, получаю все, если больше, то только 100. 🫤

Scrapy

04 June 2025 19:51

Pydantic, json schema?

Scrapy

04 June 2025 19:43

из реального запроса. не кеш не мок

Scrapy

04 June 2025 19:42

типа получить данные и проверить значения в определенных полях .
например поля которые проверяю должны быть int или строка или json строка. или диапазон инта 10 - 100

Scrapy

04 June 2025 19:34

Доброго. Кто пишет тесты для пауков ? Толкните в нужном направлении)

Scrapy

02 June 2025 07:37

Более правильно было бы ставить вручную именно asyncio реактор, а не дефолтный
В мастере это всё уже неактуально, если будет 2.13.2 то попробую не забыть

Scrapy

19 May 2025 19:33

да ни в каком, это прототип, один под своим ип второй через впн

Scrapy

19 May 2025 19:32

а так чисто технически в апи отдавать код(?)

Scrapy

19 May 2025 19:30

А как ее решать селениумом?
Вот вижу капчу, могу сохранить скриншот, как правильно прокрутить ее)

Scrapy

18 May 2025 23:29

Судя по всему это играет не маловажную роль. Избавится навряд ли получится потому что засрать можно любую белую прокси

Scrapy

18 May 2025 23:26

cap.guru решает. А дальше смотрите частоту выскакивания / профит от парсинга

Scrapy

09 June 2025 07:48

так сам сайт и браузеру не дает больше 100 позиций

Scrapy

09 June 2025 07:28

Спасибо, это я и предполагал. А как обойти то?

Scrapy

09 June 2025 07:24

если ты про то, что не можешь получить больше 100 итемов за один пажинированный запрос, то это нормально

значит у них есть потолок, больше которого они на одну страницу итемов не дадут, чтоб респонсы огромными не были

на некоторых сайтах возвращают ошибку 429 по типу «кол-во должно быть от 1 до n», а на некоторых, как в твоем случае, просто отдают максимально разрешенное

Scrapy

09 June 2025 07:08

Может стоит еще ссылку добавить, а то выходит гадание на кофейной гуще)

Scrapy

04 June 2025 19:51

это всё спайдермоном делается конечно, но спайдермон про прод, а не про тесты

Scrapy

04 June 2025 19:46

https://docs.scrapy.org/en/latest/topics/contracts.html возможно

Scrapy

04 June 2025 19:43

получить из чего, из страницы которую тест скачает?

Scrapy

04 June 2025 19:36

тесты разные бывают, опишите цель тестирования

Scrapy

02 June 2025 07:45

(наша ошибка была в отсутствии тестов на сниппеты с CrawlerRunner)

Scrapy

02 June 2025 03:46

Поменять бы код в доках https://doc.scrapy.org/en/latest/topics/practices.html для Same example but running the spiders sequentially by chaining the deferreds на более правильный, или заметку какую приписать, а то если начиная со scrapy 2.13.0 не выставить в TWISTED_REACTOR=None (из-за теперешнего The asyncio reactor is now enabled by default), все ломается с этими @defer.inlineCallbacks и reactor.run(), reactor.stop() (как минимум под win10, но думаю os тут не особо влияет).

Scrapy

19 May 2025 19:32

А на каком сервсисе ты прокси покупал?

Scrapy

19 May 2025 19:32

я у себя просто релоадил страницу под другим прокси

Scrapy

19 May 2025 00:49

Яндух кроме всего прочего генерацию canvas проверят. У серверов, обычно, нет видюх, значит canvas CPUшный. Соответственно, он легко отличимый от среднестатистического компа пользователя. Рашать капчу - нет никаких проблем.

Scrapy

18 May 2025 23:28

Спасибо, но вопрос скорее про то, как модифицировать селениум скрипт/какое прокси купить, чтобы такая капча не выскакивала (или выскакивала редко)
на моем компе ее нет (тестировал скрипт больше часа)

Scrapy

18 May 2025 23:25

Да, возможно
Уже покупал прокси на сайте proxy-seller.io
но сатло еще хуже - даже на моем компе сразу вылезает сложная капча