Scrapy

05 April 2026 09:36

https://github.com/daijro/camoufox

Scrapy

05 April 2026 08:09

А сам плейврайт не проходит?

Scrapy

04 April 2026 14:45

Тоже кстати такие же мысли посещали. Ну они наверно всех посещают.

Scrapy

04 April 2026 14:42

На большинство вопросов чатгпт дает ответы :)

Scrapy

03 April 2026 16:17

тю, спамер пробегал, что ли? :)

Scrapy

03 April 2026 14:42

@Mifody пользуясь случаем передаю привет.

Scrapy

24 March 2026 21:38

Ладно, спасибо в общем

Scrapy

24 March 2026 21:37

разве что это был именно словарь, а не список словарей

Scrapy

24 March 2026 21:36

def process_spider_exception(self, response, exception, spider):
return [Test1Item(name='error')]

хотя такое работает

Scrapy

24 March 2026 21:35

я думал вам просто логировать надо

Scrapy

24 March 2026 12:55

process_spider_exception модифицировать надо, я так понимаю

Scrapy

24 March 2026 12:54

хочу выводить в оутпут { "error": "что-то" }, если происходит любая ошибка (http либо внутри обработки запроса)

Scrapy

24 March 2026 12:52

чатжпт предложил перенаправлять с signals.spider_error на мой обработчик

Scrapy

24 March 2026 12:51

Мне казалось что был тест, но я его не вижу, значит не должно работать

Scrapy

24 March 2026 12:46

errback не срабатывает от исключений внутри колбека?

Scrapy

05 April 2026 08:23

первый запрос проходит всегда, но дальнейшие нет


решил проблему, использую прокси

Scrapy

04 April 2026 22:25

здравствуйте, нужно обойти Cloudflare при скрепинге, есть идеи как?

использую playwright

Scrapy

04 April 2026 14:43

Добро пожаловать в эру ИИ)

Scrapy

04 April 2026 14:23

Обидно конечно за чат, раньше был мегаактивным, а сейчас стих

Scrapy

03 April 2026 16:15

ээээ, ни пониль ... 👀
я че то опять проспал 😂

Scrapy

24 March 2026 21:39

итерейбл, как и в колбэках

Scrapy

24 March 2026 21:38

Да, я как-то недопонял, что там именно список надо

Scrapy

24 March 2026 21:37

я словарь пробовал, и с ним не работало, именно с итемом работает

Scrapy

24 March 2026 21:35

итем оттуда не поменять

Scrapy

24 March 2026 21:34

ерунда короче какая-то выходит, я на сигнал могу попасть, но из него не получается менять оутпут

Scrapy

24 March 2026 12:54

Про сигналы не помню, может тоже подходит

Scrapy

24 March 2026 12:53

Не ну давайте задачу опишем

Scrapy

24 March 2026 12:51

Возможно есть открытый баг, у нас их много про еррбэки от одного пользователя

Scrapy

24 March 2026 12:47

class MySpider(scrapy.Spider):
    name = "myspider"
    allowed_domains = ["somewebsite.com"]

    def start_requests(self):
        yield scrapy.Request(
            url,
            callback=self.parse,
            errback=self.errback,
            dont_filter=True,
        )
    
    def errback(self, failure: Failure):
        logging.error('Error happened')
        logging.error(failure.getTraceback())
        yield {"error": str(failure.value)} 

    def parse(self, response):
        1 / 0

Scrapy

22 March 2026 15:19

LinkedIn cookie account creators, please contact me.