Scrapy

05 June 2024 08:38

то есть не могу посмотреть\залогировать хедеры\боди респонса с плохим статус кодом?

Scrapy

04 June 2024 15:31

    def process_request(self, request, spider):
......
                spider.crawler.engine.close_spider(self, reason='чего ты там хотел сказать')

Scrapy

02 June 2024 13:08

(см. https://stackoverflow.com/questions/71903966/using-playwright-for-python-how-can-i-click-a-button)

Scrapy

02 June 2024 11:10

Добрый день, у меня стоит задача автоматизации некоторый действий на сайте. Использую Selenium/Playwright. Мне необходимо нажать на кнопку что бы отправить заявку, но при этом нужно подменить некоторые данные которые отправляются. Если бы сайт был на чистом js, я бы через девтулс нашел онклик ивент, и просто раннил через консоль эту функцию с необходимыми мне параметрами. Но проблема в том что сайт использует react + обфускацию, и в итоге через девтулс показывает что при клике на кнопку выполняется пустая функция Bf(). Подскажите, какие варианты решение моей проблемы?

Scrapy

31 May 2024 19:51

Привет, может у кого была задача проверить текст на орфографию и отредактировать его, знаете такой сервис?

Scrapy

31 May 2024 15:03

воо, точно
спасибо!

Scrapy

28 May 2024 01:51

Да, можно. При желании и рулить ими можно через самописную морду типа джанги или фласка. Параллельный старт держит, количество параллельных потоков регулируется. Внешние параметры принимает. В докере замечательно крутится

Scrapy

27 May 2024 19:14

Да, download delay должен быть 0.

Autothrottle будет вас замедлять (его задача - не перегрузить сайт).

Scrapy

27 May 2024 11:54

Пароль на гуи установи, а то помню что что-то плохое лазило по инету

Scrapy

27 May 2024 10:33

один scrapyd, в конфиге укажи кол-во процессов

https://scrapyd.readthedocs.io/en/stable/config.html#max-proc

Scrapy

27 May 2024 10:23

народ, кто у нас в scrapyd шарит? Вопрос, надо 100500 пауков параллельно запустить в разных ядрах процессора. Мауки и разные и по несколько инстансов одного паука.
надо 100500 инстансов scrapyd поднимать или все в одном делать?

и еще, есть что то лучше/удобнее чем scrapyd (тут, понятное дело, предвзятое мнение будет)

Scrapy

24 May 2024 23:26

А, я так понял надо через autothrottle переделывать

Scrapy

24 May 2024 20:14

нужен кодер, который может обойти капчу

Scrapy

24 May 2024 20:02

хотите ждать результатов запросов в этом же колбэке - делайте как делали

Scrapy

24 May 2024 20:00

ну вот мне надо послать х*****ву тучу запросов, и кое-что сделать, как только они все закончат работу, поэтому я подумал что это хорошее решение моей проблемы 😂️️️️️️

Scrapy

05 June 2024 08:34

а как можно получить доступ к респонсу в process_exception?

Scrapy

04 June 2024 15:21

возможно ли закрыть паука\остановить енджин из мидлвери? при raise CloseSpider('оч важная мидлварь, без неё нельзя запускать'), эксепшн просто вылетает в логи и reason в статах 'finished'

Scrapy

02 June 2024 13:07

А чем не подходит page.locator('button:has-text(\"Супер кнопка\")').click() ?

Scrapy

01 June 2024 11:40

https://github.com/scrapy/itemloaders/issues/87

Scrapy

31 May 2024 15:16

ой, сюда не написали
пару недель назад вышел Scrapy 2.11.2, с бакгфиксами, секьюрити фиксами и одним брейкинг изменением
https://docs.scrapy.org/en/latest/news.html#scrapy-2-11-2-2024-05-14

Scrapy

31 May 2024 14:53

а возможно ли как нибудь кешировать только определённые реквесты? (у меня например это будут на описание товаров)

Scrapy

27 May 2024 21:45

не обязательно. Если, например, стоит DOWNLOAD_DELAY:1, CONCURRENT_REQUESTS_PER_DOMAIN:4 и в start_requests - спланировано 50 запросов и при этом сайт возвращает ответ.. (медленно) через 10 секунд после отправления запроса - тогда пятый запрос отправится на сайт не через секунду после отправки четвертого запроса как может ожидаться из-за DOWNLOAD_DELAY:1, а позже, когда будет получен ответ на первый запрос т.к. ограничение CONCURRENT_REQUESTS_PER_DOMAIN:4 не даст отправить 5й запрос, пока не получен ответ или (Exception/Failure) на первый.

Scrapy

27 May 2024 11:59

оно не "было дело", а, "через минуты уже майнер сидит" 😂. Уже поверенный вариант :). Точнее - у меня было уже такое :)

Scrapy

27 May 2024 10:35

ишо один тупой вопрос - докер, жеж, мультипроцессорный? :)

Scrapy

27 May 2024 10:24

просто в текущем проекте по ~100 инстансов пауков стартую... есть настроение чуть по красивше это сделать :))

Scrapy

26 May 2024 09:55

нужен кодер в лс срочно

Scrapy

24 May 2024 23:23

А concurrent_requests реально concurrent только если download_delay стоит в 0?

Scrapy

24 May 2024 20:02

весь скрапи асинхронный

Scrapy

24 May 2024 20:01

а делать костыли с булями уже надоело

Scrapy

24 May 2024 19:59

конечно, иначе зачем