Scrapy

22 May 2024 10:29

там завязано, возможно, на изменении размера экрана

Scrapy

22 May 2024 10:05

так что миновал эту шляпу)

Scrapy

22 May 2024 10:04

ну всякие там методы есть, шанс что поможет как встретить динозавра, 50% что поможет, 50% что нет: https://stackoverflow.com/questions/38910904/avoid-the-detection-of-whether-chrome-devtoolsconsole-is-open

Scrapy

22 May 2024 10:02

я уже даже это в коде js нашел)))

Scrapy

22 May 2024 10:02

у летуаля теперь стоит что то подобное

Scrapy

22 May 2024 10:00

Могу еще подобного рода прикольный сайт показать, попробуйте devtools для него открыть (когда уже показало список фильмов): https://himovies.to/home

Scrapy

22 May 2024 09:51

попробуй с открытой панелью разработчика перезагрузить страницу

Scrapy

22 May 2024 09:49

shopee не позволяет с открытой devtools посмотреть запросы, просто выкидывает на начальную страницу с авторизацией) хотя сидишь на карточке товара

Scrapy

22 May 2024 09:21

Я вытащил api из веб версии сайта. Все вроде как работает ну приходится менять куки каждые 7 запросов. Возможно у кого-нибудь есть api из приложение и там меньше защиты. Или кто-нибудь подскажет где можно купить api?

Scrapy

22 May 2024 09:16

я про парсер. м-видео быстро удалось сделать

Scrapy

22 May 2024 09:14

Всем привет, кто-нибудь делал парсер эльдорадо?

Scrapy

22 May 2024 03:50

Запускаю скриптом 2 паука одновременно, нужно чтобы у каждого из них был свой особый formatter.
Гипотетически, стоит такие форматтеры привязывать к соответствующим spider.logger-ам? Или в spider.logger будет всегда рутлоггер?

Scrapy

21 May 2024 21:14

А точно "https://localhost8000.com/"?)

Scrapy

21 May 2024 21:03

откуда я знаю как чинить неизвестно что

Scrapy

21 May 2024 21:00

что-то выше сломалось

Scrapy

22 May 2024 10:28

а в firefox? Там же не chrome dev tools, может прокатит?

Scrapy

22 May 2024 10:05

ну я через playwright page.on достал всю инфу с запросов и нашел нужный

Scrapy

22 May 2024 10:03

а не, я по моему точку останова ставил на запрос и потом дебаггер вылазил

Scrapy

22 May 2024 10:02

хочешь отследить запросы - он тебе также дебаггер вызывает

Scrapy

22 May 2024 10:00

я уже конечно достал нужный мне запрос и без того, но это дело можно отключить? я просто сильно за js не шарю

Scrapy

22 May 2024 10:00

кодом javаscript действительно можно достаточно легко определить включен ли или выключен chrome devtools у пользователя - это действительно используется антиботами.

Scrapy

22 May 2024 09:51

зайди на любой товар

Scrapy

22 May 2024 09:45

не "компания", а "собственник". Компании, как раз, разные.
а насчет "защита разная", так амазон глянь, там и верстка разная в разных разделах. А на каком то сайте нарывался, что у разных разделов было АПИ разное :)

Scrapy

22 May 2024 09:18

самое интересное что компания 1 и таже, зато сайты с разными защитами

Scrapy

22 May 2024 09:15

https://nometa.xyz

Scrapy

22 May 2024 08:29

Если я правильно понял вопрос, то можешь делать и так, ему в целом пофигу but you can use any custom Python logger you want.: https://docs.scrapy.org/en/latest/topics/logging.html#logging-from-spiders

Scrapy

21 May 2024 21:19

да, там просто какая-то страность с энджином. В общем проще перезапустить шел, чем с этим возиться 😄

Scrapy

21 May 2024 21:08

ну хотя б намекните, точно знаете ж

Scrapy

21 May 2024 21:03

я переписал response своим, который типа вручную создал, мб из-за этого

Scrapy

21 May 2024 21:00

подскажите, почему в scrapy shell такая шляпа?