scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

тайпинг это прекрасно, и дока, и баги ловит

Читать полностью…

Scrapy

тайпинг конечно попаболь

Читать полностью…

Scrapy

блек хер клал на пеп8 в некоторых местах, а флейк на это ругался

Читать полностью…

Scrapy

в чем руфф мегахарош- он заменяет и флейк и блек

Читать полностью…

Scrapy

все новые тулзы они как будто 90% функционала старых делают
а когда надо прям эти оставшиеся 10%, приходится иметь и старое и новое

Читать полностью…

Scrapy

да а чем там говорить
флейк цветет и пахнет
и будет пока рафф плагины не завезут

Читать полностью…

Scrapy

с другой стороны, в js-коммьюнити еще все быстрее происходит вроде

Читать полностью…

Scrapy

I need a LinkedIn cookie account, which is an old account that uses cookies to log in, does not need email access, and has a LinkedIn password.

Читать полностью…

Scrapy

в чате присутствуют lxml големы?)
не знаете почему можно спокойно проитерироваться по дочерним тегам элемента, который был получен на start евенте используя lxml.etree.iterparse? судя по документации lxml, при start нам доступны только атрибуты элемента, но не его контент…
чуть подробнее, правда на английском, я рассписал тут: https://stackoverflow.com/questions/79754508/unexpected-availability-of-child-elements-during-start-events-in-lxml-etree-i

Читать полностью…

Scrapy

Ну так он про новые фичи вообще не в курсе

Читать полностью…

Scrapy

да я к этому и написал)

Читать полностью…

Scrapy

очередная чатгпт победа

Читать полностью…

Scrapy

ага, понял, ну, мне это в итоге и нужно было, новинки из мастера)

Читать полностью…

Scrapy

Получается, uv берет последнюю версию с сайта pypi, а там почему-то этих async штук нет. Вот он и обламывается. А когда егойная подмена pip'a через uv pip берет с гитхаба - там уже нормально все в итоге. Фуф.

Читать полностью…

Scrapy

и скачал эти штуки. и в них в crawler.py нет import asyncio и нет AsyncCrawlerProcess. Ну или я уже кукухой поехал...

Читать полностью…

Scrapy

от патча к патчу поведение отличается

Читать полностью…

Scrapy

с тайпчекингом впрочем есть тонкость
если проект в вскоде открывать (или проект, который юзает этот проект), то лучше бы чтобы pyright проходил :)
пайчарм-то уже lost cause имхо в этом плане

Читать полностью…

Scrapy

сколько плясок с бубном надо было чтоб их вдвоем дружить

Читать полностью…

Scrapy

да на проектах бывают свои линтеры со своими правилами
чисто из-за этого флейк надо держать

Читать полностью…

Scrapy

я всё выкинул, только ruff и mypy

Читать полностью…

Scrapy

пока очень сырой и с мупу несовместим

Читать полностью…

Scrapy

Руководитель группы разработки (Python), Tech Lead
Ссылка на вакансию

Читать полностью…

Scrapy

I need a LinkedIn cookie account, which is an old account that uses cookies to log in, does not need email access, and has a LinkedIn password.
I need a LinkedIn cookie account, which is an old account that uses cookies to log in, does not need email access, and has a LinkedIn password.

Читать полностью…

Scrapy

не, он же теперь что ему надо тупо ищет в инете, и конкретно здесь он именно самые последние фичи высмотрел, правда, причина изначальная все-равно не в этом была)

Читать полностью…

Scrapy

для контекста:
https://жспобеда.рф
https://питонпобеда.рф
https://растпобеда.рф

Читать полностью…

Scrapy

ну кстати нет, во всех трех случаях чатгпт меня в сторону уводил и галлюцинировал по-кругу, и только волшебные слова возвращали его в русло конструктива. То он await'ы предлагал расставить просто так, то за wsl зацепился, потом еще у него цельное ответвление про twisted было. Короче чо тока не придумывал, лишь бы не работать))

Читать полностью…

Scrapy

почему-то я думал, что они уже есть под тегом релиза 2.13.3

Читать полностью…

Scrapy

Потому что по урлу вы ставите мастер, а не релиз

Читать полностью…

Scrapy

Нет, это же дока от мастера

Читать полностью…

Scrapy

хммм, а вот открыл я https://pypi.org/project/Scrapy/#files

Читать полностью…
Subscribe to a channel