Scrapy

18 July 2024 14:46

spider.crawler.engine.close_spider(self, reason='no_proxies')

Scrapy

18 July 2024 14:24

как сделать unclean shutdown из пайплайна\мидлвари? при вызове self.crawler.engine.close_spider(self.crawler.spider, 'cond') в некоторых случаях ничего не закроется пока я два раза ctrl+c не нажму

Scrapy

17 July 2024 15:02

тем более, что, так ли нужны последние обновления?

Scrapy

17 July 2024 14:36

сразу при запуске паука

Scrapy

17 July 2024 14:32

Погоняйте дольше и локально тоже будет

Scrapy

17 July 2024 14:29

Это с прокси? Хотя если разница докер/не докер как будто бы не должно сказываться

Scrapy

16 July 2024 18:53

Ну мне и так сойдет)

Scrapy

16 July 2024 18:34

Это немного помягче, чем костыль

Scrapy

16 July 2024 17:35

Как по-английски сказать костыль 🤔?

Scrapy

16 July 2024 13:53

Блин, даже за чувака обидно. Старался, хотел фидбек... ну получил... а чё-то не очень он позитивный фидбек... Эх господин Синегубов, что ж вы так жестоко

Scrapy

16 July 2024 10:49

Что прям все 370)) ладно стопаем эту всю телегу. Кому не нравится не пользуйтесь. Дальше отвечать по этой теме не буду. Обсуждайте лучше Scrapy. Всем хорошего дня!

Scrapy

16 July 2024 10:30

Дядь, не бурчи, я второй день после отпуска, дай мозгу хоть тут отдохнуть. 😂

Scrapy

16 July 2024 10:27

Поверьте не только мне он удобен но и многим профи, например из сообщества Zennoposter. По сути это клон их стандартного конструктора регулярных выражений. Но он доступен только в Zennoposter. Я просто сделал его в виде веб-версии и плагина для Хрома)

Scrapy

16 July 2024 08:27

Лично для моих рабочих задач мой конструктор закрывает 90% регулярок. Шпаргалка чисто для справки, на всякий случай. На мой взгляд regexp-helper достаточно общее и информативное название по которому пользователь поймет что инструмент ему поможет в составлении регулярок. Конкурировать с сервисами 101 и подобными никогда в планах не было)

Scrapy

16 July 2024 08:18

короче, я понял в чем затык у присутствующих - все думают со старта это функционал аля регексп101 и подобных сайтов, но это не конструктор регулярных выражений а штука, хорошо выполняющая только одну функцию, аля "составитель выделения подстрок по маркеру начала и конца", и поэтому "этот ваш шпаргалка нам и нахер не нужон", если в такой парадигме повернуть то да, тут согласен.
Я бы разве что переименовал его в regexp substring searcher

Scrapy

18 July 2024 14:25

хорошо работает

os.kill(os.getpid(), signal.SIGINT)
os.kill(os.getpid(), signal.SIGINT)

Scrapy

17 July 2024 15:07

я думал для того докера и существует, чтобы работал на любом сервере с конкретными зависимостями.

Scrapy

17 July 2024 15:01

"с прокси, проблема только из докера" - иии? что разного? пральна, система и компоненты системы,
вариантов мног, целых 1,5
1. откатиться до старого curl-ffi
2. искать, чего надо обновить в системе докера

Scrapy

17 July 2024 14:33

Не в параллель в несколько потоков? Или это прямо сразу появляется?

Scrapy

17 July 2024 14:32

с прокси, проблема только из докера

Scrapy

17 July 2024 14:10

Ребят, обновился curl-cffi-0.7.1 и соответственно scrapy-impersonate-1.3.1, и перестал запускаться парсер на scrapy из докера, локально все ок, генерирует исключение, кто сталкивался?

Traceback (most recent call last):
File "/home/airflow/.local/lib/python3.11/site-packages/curl_cffi/requests/session.py", line 1263, in request
await task
curl_cffi.curl.CurlError: Failed to perform, curl: (56) CONNECT tunnel failed, response 407. See https://curl.se/libcurl/c/libcurl-errors.html first for more details.

The above exception was the direct cause of the following exception:

Scrapy

16 July 2024 18:39

Это легитимный костыль

Scrapy

16 July 2024 17:52

буквально так же, Crutch
ещё можно сказать
изобретать велосипед - invent a bicycle

Scrapy

16 July 2024 13:57

ну, плохой результат - это, то же, результат.
А чего он хотел, что все кинутся кричать "ой, какая крутячая тулзовина для регуляров"..... в чатике с инструментом, который изумительно работает с xpatch/css..... и сидят тут именно кодеры.... ну, такое себе.
в чатике по зенке будет намного больше положительных отзывов

Scrapy

16 July 2024 13:52

Ну перегрузить start_requests и всё

Scrapy

16 July 2024 10:38

есть ли возможность указать колбек для start_urls?

Scrapy

16 July 2024 10:29

Проверьте мне, если из 370 онлана об удобстве говорите только Вы, то это что то до и значит 😁

Scrapy

16 July 2024 09:03

ну, выше, как раз, и говорилось, что инструмент совсем не помогает. То, что он удобен лично Вам - не вопрос, вполне возможно. То, что, он удобен широкой аудитории - сильно сомневаюсь. Начинающий скажет "ой, сколько не понятных окошек, а чего туда писать", продвинутый скажет "фу, мля, нафуя мне это все надо".
У меня был случай общения с инструментом, заточенным под конкретного человека. Я когда увидел интерфейс софтины так и сказал "хоспади, да как же во всем этом разобраться, да как же оно работат". А человек, который пользовался, чудеса творил с пасрингом сайтом, причем, все это было очень быстро, не смотря на кучу полей ввода.

В общем, озвучу сугубо свое мнение. Что до конструктора для новичка, что до проф. инструмента - оно не дотягивает.

Scrapy

16 July 2024 08:21

По разбегу глаз - это как с городами, которые красивые с птичьего полета, но при этом жить и них, находясь на земле, адски неудобно. Часто максимально мерзко выглядящие тулзы в долгой работе самые удобные. Одна из самых удобных метрик -
1. количество лишних кликов
2. количество нажатий клавишек
3. сколько километров пропутешествовала мышка. Вот это туда-сюда, в долгую - заколебет (ну, не тут, тут это по-факту не особо надо, да, это уже если начать пиликать как корабли бороздят просторы космосы))

Scrapy

16 July 2024 08:18

Да шпаргалка была добавлена позже. В начале была одна страница с конструктором и все) Мне больше нравится когда все разложено по вкладкам. А на 101 глаза разбегаются что куда, со старта не понятно))