Scrapy

21 Nov 2024 16:08

profile_info = root['presentation']['userProfileContainer']['userProfile']
~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^
KeyError: 'userProfileContainer'

Scrapy

21 Nov 2024 16:07

ну и я потом вручную исправил

Scrapy

21 Nov 2024 16:05

благословляю
чем больше говнокодеров, тем мне лучше :))

Scrapy

21 Nov 2024 16:05

пусть так, не страшно

Scrapy

21 Nov 2024 16:02

ну реализовать-то как-то хочется)

Scrapy

21 Nov 2024 16:00

ну, в любом случае хотелось бы как-то отлавливать такие штуки.

Я так понимаю это возможно только если весь код закрыть под try/except?

Scrapy

21 Nov 2024 15:58

ну это причина остановки работы

Scrapy

21 Nov 2024 15:58

Нет, написано же finished

Scrapy

20 Nov 2024 02:19

Я слышал, как мой друг говорил о Scrapeless.

Scrapy

18 Nov 2024 21:40

Привет, подскажите где взять хорошие прокси

Scrapy

18 Nov 2024 11:57

выпустили Scrapy 2.12.0: https://github.com/scrapy/scrapy/releases/tag/2.12.0

Scrapy

18 Nov 2024 08:28

Всем привет, подскажите пожалуйста, как мне сделать, чтобы после того, как паук заканчивал работать, он начинал заново скрепить. Паука я запускаю так:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

if __name__ == "__main__":
    settings = get_project_settings()
    process = CrawlerProcess(settings)

    process.crawl("spider")
    process.start()
    process.stop()

Scrapy

14 Nov 2024 18:09

спасибо!!
попробую

Scrapy

14 Nov 2024 18:02

а вы кравлите ревью с амазона?
есть впечетление что вы даете советы ради совета

Scrapy

14 Nov 2024 17:38

очень интересно про 10 страниц, возможно мне бы этого хватило. но простите, не понимаю где это найти, т.к. ендпоинты отдают 401

Scrapy

21 Nov 2024 16:08

Не понимаю что общего у этого всего

Scrapy

21 Nov 2024 16:07

я хочу сделать такую шнягу, что когда в джейсоне я не могу найти какие-то данные (путь неверный), чтобы мне на дискорд сервак кинулся файл этого джейсона

Scrapy

21 Nov 2024 16:05

Или ничего не делать, как вы хотите их обрабатывать-то? Колбэк кончился что так что так

Scrapy

21 Nov 2024 16:04

а, ну, если задача стоит "как то реализовать", то ла, можно и так...
и да, Андей уже сказал - эксепшен в парсе не закрывает паука, если ты в своем пауке вкарачишь 10 тыс ссылок в старт_урлс, у тебя будет 10 тыс стрейсбеков в логе

Scrapy

21 Nov 2024 16:01

можно, но, такая себе идея.... если "без прикрас" сказать - хуевая идея....

Scrapy

21 Nov 2024 15:59

Исключение - не причина остановки работы

Scrapy

21 Nov 2024 15:58

У паука не осталось запросов для обработки

Scrapy

21 Nov 2024 15:53

всем привет, вопрос: если у меня в паучке написано что-то вроде

def parse(response):
    1/0 # код, ведущий к ошибке

Scrapy

19 Nov 2024 20:54

🅰️🅱️🔤🔡🔚
Cpoчнo uщy двyх чeловeк (oнлaйн)
✅ Лeгaльный дoxoд (18+) бeз pucкoв.
✅От 50 USD ежедневно
✅Cтaбuльный дoxoд с пeрвoгo дня
✅Полное o6yчeнuе
Oпыт не oбязaтeлeн, нayчuм вceмy, что нyжно.
Для бoлee дeтaльнoй uнфopмaцuu пuшuтe
➡️@ShemchukIvan

Scrapy

18 Nov 2024 15:41

Подскажите пожалуйста, кто может помочь с парсингом крупного сайта?
Порядка миллиона ссылок. Нужно отрабатывать с разных серверов или прокси, чтобы не быть забаненым. Бюджет - около 100к.

Scrapy

18 Nov 2024 08:29

проще всего - запускать этот скрипт через любой менеджер сервисов или тупо циклом в шелле

Scrapy

15 Nov 2024 13:06

Надоели обманчивые схeмы и фейкoвые пpедложения? Если вам нужен стaбильный и рeальный споcоб заpаботка, то у нас есть подxод, который рабoтает. Пишите плюс в личные сообщения и я расскажу как это рaботает

Scrapy

14 Nov 2024 18:07

Смотрите эндпоинт medley-filtered-reviews, он прекрасно парсится

Scrapy

14 Nov 2024 17:40

Посмотри в коде страницы https://www.amazon.com/hz/reviews-render/ajax/

Scrapy

14 Nov 2024 17:35

Они 10 страниц дают соскрапить + применяй фильтры. Ну и если не боишься, то парси под логином 😃