Scrapy

27 Jul 2024 11:19

найди документацию Scrapy, добавь в конце .exe и запусти

Scrapy

27 Jul 2024 11:17

Как запустить скрапи если в архиве нихуя

Scrapy

24 Jul 2024 12:58

Добрый день. Есть ли какой-нибудь способ автоматически чистить scrapyd весии проекта? Заранее спасибо

Scrapy

18 Jul 2024 14:59

а, как всегда, не дочитал сообщение :))
таки да, конкретно для этого os.kill, насколько я помню, и ничего более.
перебирать все объекты и искать какой из них ждет ответа и не дает закрыться пауку.... та ну нах, проще кильнуть :)

Scrapy

18 Jul 2024 14:46

spider.crawler.engine.close_spider(self, reason='no_proxies')

Scrapy

18 Jul 2024 14:24

как сделать unclean shutdown из пайплайна\мидлвари? при вызове self.crawler.engine.close_spider(self.crawler.spider, 'cond') в некоторых случаях ничего не закроется пока я два раза ctrl+c не нажму

Scrapy

17 Jul 2024 15:02

тем более, что, так ли нужны последние обновления?

Scrapy

17 Jul 2024 14:36

сразу при запуске паука

Scrapy

17 Jul 2024 14:32

Погоняйте дольше и локально тоже будет

Scrapy

17 Jul 2024 14:29

Это с прокси? Хотя если разница докер/не докер как будто бы не должно сказываться

Scrapy

16 Jul 2024 18:53

Ну мне и так сойдет)

Scrapy

16 Jul 2024 18:34

Это немного помягче, чем костыль

Scrapy

16 Jul 2024 17:35

Как по-английски сказать костыль 🤔?

Scrapy

16 Jul 2024 13:53

Блин, даже за чувака обидно. Старался, хотел фидбек... ну получил... а чё-то не очень он позитивный фидбек... Эх господин Синегубов, что ж вы так жестоко

Scrapy

16 Jul 2024 10:49

Что прям все 370)) ладно стопаем эту всю телегу. Кому не нравится не пользуйтесь. Дальше отвечать по этой теме не буду. Обсуждайте лучше Scrapy. Всем хорошего дня!

Scrapy

27 Jul 2024 11:18

не печалься :D прочитай в закрепе хелп и удивись

Scrapy

24 Jul 2024 12:59

По принципу оставлять 10 последних например

Scrapy

24 Jul 2024 06:19

а есть у кого-то готовые скрипты для получения email с сайтов? Задача полностью так звучит - есть стайты криптопроектов. На них есть email для сотрудничества. шаблон и точная страница не известны, надо пройти по всем страницам и с каждой страницы сохранить адреса электорнных почт. Сохранить нужно в базу. Желательно в контейнере с логированием. Готов предложить финансовое вознагрождение для решения этой задачи

Scrapy

18 Jul 2024 14:47

это у меня я в def process_request(self, request, spider):
но, насколько я помню, это soft kill

Scrapy

18 Jul 2024 14:25

хорошо работает

os.kill(os.getpid(), signal.SIGINT)
os.kill(os.getpid(), signal.SIGINT)

Scrapy

17 Jul 2024 15:07

я думал для того докера и существует, чтобы работал на любом сервере с конкретными зависимостями.

Scrapy

17 Jul 2024 15:01

"с прокси, проблема только из докера" - иии? что разного? пральна, система и компоненты системы,
вариантов мног, целых 1,5
1. откатиться до старого curl-ffi
2. искать, чего надо обновить в системе докера

Scrapy

17 Jul 2024 14:33

Не в параллель в несколько потоков? Или это прямо сразу появляется?

Scrapy

17 Jul 2024 14:32

с прокси, проблема только из докера

Scrapy

17 Jul 2024 14:10

Ребят, обновился curl-cffi-0.7.1 и соответственно scrapy-impersonate-1.3.1, и перестал запускаться парсер на scrapy из докера, локально все ок, генерирует исключение, кто сталкивался?

Traceback (most recent call last):
File "/home/airflow/.local/lib/python3.11/site-packages/curl_cffi/requests/session.py", line 1263, in request
await task
curl_cffi.curl.CurlError: Failed to perform, curl: (56) CONNECT tunnel failed, response 407. See https://curl.se/libcurl/c/libcurl-errors.html first for more details.

The above exception was the direct cause of the following exception:

Scrapy

16 Jul 2024 18:39

Это легитимный костыль

Scrapy

16 Jul 2024 17:52

буквально так же, Crutch
ещё можно сказать
изобретать велосипед - invent a bicycle

Scrapy

16 Jul 2024 13:57

ну, плохой результат - это, то же, результат.
А чего он хотел, что все кинутся кричать "ой, какая крутячая тулзовина для регуляров"..... в чатике с инструментом, который изумительно работает с xpatch/css..... и сидят тут именно кодеры.... ну, такое себе.
в чатике по зенке будет намного больше положительных отзывов

Scrapy

16 Jul 2024 13:52

Ну перегрузить start_requests и всё

Scrapy

16 Jul 2024 10:38

есть ли возможность указать колбек для start_urls?