Scrapy

21 Nov 2024 16:11

ок, тогда в трай/эксцепт весь метод, так точно ничего не поломается :)

Scrapy

21 Nov 2024 16:11

Используйте try except

Scrapy

21 Nov 2024 16:10

я задолблюсь в каждом месте геты писать, потому что там очень много путей....

Scrapy

21 Nov 2024 16:09

KeyError и ZeroDivisionError одно и то же для меня

Scrapy

21 Nov 2024 16:08

profile_info = root['presentation']['userProfileContainer']['userProfile']
~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^
KeyError: 'userProfileContainer'

Scrapy

21 Nov 2024 16:07

ну и я потом вручную исправил

Scrapy

21 Nov 2024 16:05

благословляю
чем больше говнокодеров, тем мне лучше :))

Scrapy

21 Nov 2024 16:05

пусть так, не страшно

Scrapy

21 Nov 2024 16:02

ну реализовать-то как-то хочется)

Scrapy

21 Nov 2024 16:00

ну, в любом случае хотелось бы как-то отлавливать такие штуки.

Я так понимаю это возможно только если весь код закрыть под try/except?

Scrapy

21 Nov 2024 15:58

ну это причина остановки работы

Scrapy

21 Nov 2024 15:58

Нет, написано же finished

Scrapy

20 Nov 2024 02:19

Я слышал, как мой друг говорил о Scrapeless.

Scrapy

18 Nov 2024 21:40

Привет, подскажите где взять хорошие прокси

Scrapy

18 Nov 2024 11:57

выпустили Scrapy 2.12.0: https://github.com/scrapy/scrapy/releases/tag/2.12.0

Scrapy

21 Nov 2024 16:11

Он буквально для этого

Scrapy

21 Nov 2024 16:11

хотя если так подумать, то можно словарик кастомный написать 🤔

Scrapy

21 Nov 2024 16:10

json_data.get("какой там ключь пытаешься забрать")

Scrapy

21 Nov 2024 16:09

ну мне ж не нужно отправлять всё время файлы - только если эррор какой-то есть

Scrapy

21 Nov 2024 16:08

Не понимаю что общего у этого всего

Scrapy

21 Nov 2024 16:07

я хочу сделать такую шнягу, что когда в джейсоне я не могу найти какие-то данные (путь неверный), чтобы мне на дискорд сервак кинулся файл этого джейсона

Scrapy

21 Nov 2024 16:05

Или ничего не делать, как вы хотите их обрабатывать-то? Колбэк кончился что так что так

Scrapy

21 Nov 2024 16:04

а, ну, если задача стоит "как то реализовать", то ла, можно и так...
и да, Андей уже сказал - эксепшен в парсе не закрывает паука, если ты в своем пауке вкарачишь 10 тыс ссылок в старт_урлс, у тебя будет 10 тыс стрейсбеков в логе

Scrapy

21 Nov 2024 16:01

можно, но, такая себе идея.... если "без прикрас" сказать - хуевая идея....

Scrapy

21 Nov 2024 15:59

Исключение - не причина остановки работы

Scrapy

21 Nov 2024 15:58

У паука не осталось запросов для обработки

Scrapy

21 Nov 2024 15:53

всем привет, вопрос: если у меня в паучке написано что-то вроде

def parse(response):
    1/0 # код, ведущий к ошибке

Scrapy

19 Nov 2024 20:54

🅰️🅱️🔤🔡🔚
Cpoчнo uщy двyх чeловeк (oнлaйн)
✅ Лeгaльный дoxoд (18+) бeз pucкoв.
✅От 50 USD ежедневно
✅Cтaбuльный дoxoд с пeрвoгo дня
✅Полное o6yчeнuе
Oпыт не oбязaтeлeн, нayчuм вceмy, что нyжно.
Для бoлee дeтaльнoй uнфopмaцuu пuшuтe
➡️@ShemchukIvan

Scrapy

18 Nov 2024 15:41

Подскажите пожалуйста, кто может помочь с парсингом крупного сайта?
Порядка миллиона ссылок. Нужно отрабатывать с разных серверов или прокси, чтобы не быть забаненым. Бюджет - около 100к.

Scrapy

18 Nov 2024 08:29

проще всего - запускать этот скрипт через любой менеджер сервисов или тупо циклом в шелле