scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

итерейбл, как и в колбэках

Читать полностью…

Scrapy

Да, я как-то недопонял, что там именно список надо

Читать полностью…

Scrapy

я словарь пробовал, и с ним не работало, именно с итемом работает

Читать полностью…

Scrapy

итем оттуда не поменять

Читать полностью…

Scrapy

ерунда короче какая-то выходит, я на сигнал могу попасть, но из него не получается менять оутпут

Читать полностью…

Scrapy

Про сигналы не помню, может тоже подходит

Читать полностью…

Scrapy

Не ну давайте задачу опишем

Читать полностью…

Scrapy

Возможно есть открытый баг, у нас их много про еррбэки от одного пользователя

Читать полностью…

Scrapy

class MySpider(scrapy.Spider):
name = "myspider"
allowed_domains = ["somewebsite.com"]

def start_requests(self):
yield scrapy.Request(
url,
callback=self.parse,
errback=self.errback,
dont_filter=True,
)

def errback(self, failure: Failure):
logging.error('Error happened')
logging.error(failure.getTraceback())
yield {"error": str(failure.value)}

def parse(self, response):
1 / 0

Читать полностью…

Scrapy

LinkedIn cookie account creators, please contact me.

Читать полностью…

Scrapy

Только 2 дня: при оплате выделенного сервера на 6 месяцев вы получаете еще 3 месяца в подарок 🌐

Действует для любых конфигов и любых локаций.
Если вы устали от постоянных продлений и хотите зафиксировать инфраструктуру на долгий срок, это самый простой способ снизить стоимость владения и перестать дергать биллинг каждый месяц.
Выбираете конфиг под свою задачу, оплачиваете на срок от 6 месяцев, получаете +3 месяца автоматически.

Готовы стать нашим клиентом? Пишите @hstq_hosting или в чат на сайте – подберём конфиг, настроим бесплатно любой сервер Linux или Windows и останемся рядом 24/7/365.

HSTQ: хостинг от $0.99, VDS от $1, cерверы от $29.99! Переходи к нам, у нас бесплатный админ 24/7/365!

НАШ САЙТ | ЛИЧНЫЙ КАБИНЕТ

Читать полностью…

Scrapy

Hello,

I need a programmer to create a web scraping script for a website.

Passing query parameters

Opening links and downloading documents

100% payment, immediate.

Send me your proposal.

Читать полностью…

Scrapy

продам сервера с лс7 от ботов очень дешево в Германии , быстрый Пинг или впн с сервером Финляндии малый Пинг анонимный 59 руб/мес

Читать полностью…

Scrapy

Тогда беру слова с наездом назад 😂😂😂 Раньше можно было просто)

Читать полностью…

Scrapy

судя по гуглу и статьям есть реальные проблемы с прохождением hcaptcha
на рукапче (2captcha) доку скрыли на сколько я понял
на solvecaptcha.com писали так же что решало, но и там не нашёл доку
есть на https://brightdata.com/products/web-unlocker/captcha-solver/hcaptcha
эти ребята топовые но дорогие

Читать полностью…

Scrapy

Ладно, спасибо в общем

Читать полностью…

Scrapy

разве что это был именно словарь, а не список словарей

Читать полностью…

Scrapy

def process_spider_exception(self, response, exception, spider):
return [Test1Item(name='error')]

хотя такое работает

Читать полностью…

Scrapy

я думал вам просто логировать надо

Читать полностью…

Scrapy

process_spider_exception модифицировать надо, я так понимаю

Читать полностью…

Scrapy

хочу выводить в оутпут { "error": "что-то" }, если происходит любая ошибка (http либо внутри обработки запроса)

Читать полностью…

Scrapy

чатжпт предложил перенаправлять с signals.spider_error на мой обработчик

Читать полностью…

Scrapy

Мне казалось что был тест, но я его не вижу, значит не должно работать

Читать полностью…

Scrapy

errback не срабатывает от исключений внутри колбека?

Читать полностью…

Scrapy

HadiL, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Читать полностью…

Scrapy

What site?
Write a link

Читать полностью…

Scrapy

旧 GV、超级 GV、新 GV  旧 tn R4

Читать полностью…

Scrapy

https://www.opennet.ru/opennews/art.shtml?num=64750

Читать полностью…

Scrapy

Что то подобное видел, поэтому и задался вопросом. Спасибо за ответ!

Читать полностью…

Scrapy

Там есть апи, не надо Ляля

Читать полностью…
Subscribe to a channel