Scrapy

13 Jun 2025 20:58

большинство селениум юзает

Scrapy

13 Jun 2025 20:55

Я отдельно вытащил плейрайт в фаст апи и упаковал в докер. А в скрапи просто сделал запросы на этот апи и все. Не стал парится пихать плейрайт в скрапи, не все заросы делаю через плейрайт. И все это работает на кубеон

Scrapy

13 Jun 2025 20:54

Это, я так понимаю, нужно посмотреть схему взаимодействия самого скрапи и плейврайта. Т.к. стелз применяется уже к самой Пейдж.
А в мидлваре мы получим доступ только к метадате.
Это менеджить надо на уровне хендлера

Scrapy

13 Jun 2025 20:49

нет никакого "Подключение фингрепринта", вы всё перепутали видимо

Scrapy

13 Jun 2025 20:40

Ребят, пытаюсь в scrapy, scrapy-playwright и tf-playwright-stealth.
Пробовал обернуть в мидлвару через 'evaluate' в process_request(). Работает не корректно, при попытке ходить на bot.sannysoft через хромиум и фф видит вебдрайвер плюс:
- в хроме варнинг на 264 кодек
- в фф половина полей связанных с видео - фейл

Не пойму, моя мидлвара отрабатывает уже после запроса чтоле?

Или фингерпинт как-то по другому имплементировать? Или есть ещё какие-нибудь технические решения?

Scrapy

10 Jun 2025 21:59

Вот оно что, за день сменился сайт. Теперь никаких таблиц. И можно пагинацию брать сразу с каталога. Начал вчера запускать паука. А выдачи - 0. Ещё раз спасибо за помощь.

Scrapy

09 Jun 2025 07:48

так сам сайт и браузеру не дает больше 100 позиций

Scrapy

09 Jun 2025 07:28

Спасибо, это я и предполагал. А как обойти то?

Scrapy

09 Jun 2025 07:24

если ты про то, что не можешь получить больше 100 итемов за один пажинированный запрос, то это нормально

значит у них есть потолок, больше которого они на одну страницу итемов не дадут, чтоб респонсы огромными не были

на некоторых сайтах возвращают ошибку 429 по типу «кол-во должно быть от 1 до n», а на некоторых, как в твоем случае, просто отдают максимально разрешенное

Scrapy

09 Jun 2025 07:08

Может стоит еще ссылку добавить, а то выходит гадание на кофейной гуще)

Scrapy

04 Jun 2025 19:51

это всё спайдермоном делается конечно, но спайдермон про прод, а не про тесты

Scrapy

04 Jun 2025 19:46

https://docs.scrapy.org/en/latest/topics/contracts.html возможно

Scrapy

04 Jun 2025 19:43

получить из чего, из страницы которую тест скачает?

Scrapy

04 Jun 2025 19:36

тесты разные бывают, опишите цель тестирования

Scrapy

02 Jun 2025 07:45

(наша ошибка была в отсутствии тестов на сниппеты с CrawlerRunner)

Scrapy

13 Jun 2025 20:57

Сначала ж надо сломать все пальцы, а потом пойти, как большинство))

Scrapy

13 Jun 2025 20:55

но вы уже код написали, запустили и спросили почему он не работает (кстати его не показав)
я думаю вам надо идти и смотреть исходники, ну либо создавать страницу самому и передавать её в реквесте

Scrapy

13 Jun 2025 20:50

и как вы собираетесь применить это мидлварью?

Scrapy

13 Jun 2025 20:48

Есть пакет tf-playwright-stealth. На сколько я понимаю, то он с коробки подкидывает красивый фингерпинт.
Код отрабатывает, но сайт сервис по определению ботов показывает, что проверку (chromium) не прохожу. Сервис видит, что это вебдрайвер.

Подключение фингрепринта осуществляется с помощью download midlware или нужно писать свой кастомный download handler?
Или есть ещё какие-нибудь готовые технические решения?

Scrapy

13 Jun 2025 10:17

«Человека легче обмануть, чем убедить, что его обманули».

Марк Твен

Scrapy

09 Jun 2025 07:53

здесь тоже должно быть 288
а по факту отдается только 100

а вот пагинацию я нашел)))
пользуйся

Scrapy

09 Jun 2025 07:42

никак:^)
получай и обрабатывай страницу за страницей

Scrapy

09 Jun 2025 07:25

или если запрос без параметров/qs, то на их стороне по дефолту 100 может стоять

Scrapy

09 Jun 2025 07:18

https://him-tech.ru/

Scrapy

09 Jun 2025 00:44

Доброго времени суток. Подскажите куда глядеть. На сайте 10 категорий, в каждой разное количество товаров. Если меньше 100, получаю все, если больше, то только 100. 🫤

Scrapy

04 Jun 2025 19:51

Pydantic, json schema?

Scrapy

04 Jun 2025 19:43

из реального запроса. не кеш не мок

Scrapy

04 Jun 2025 19:42

типа получить данные и проверить значения в определенных полях .
например поля которые проверяю должны быть int или строка или json строка. или диапазон инта 10 - 100

Scrapy

04 Jun 2025 19:34

Доброго. Кто пишет тесты для пауков ? Толкните в нужном направлении)

Scrapy

02 Jun 2025 07:37

Более правильно было бы ставить вручную именно asyncio реактор, а не дефолтный
В мастере это всё уже неактуально, если будет 2.13.2 то попробую не забыть