Scrapy

26 August 2025 14:38

Тоже думаю на это, других объяснений не вижу пока, но я же все в одной и той же консоли пишу, делаю вот uv remove scrapy - папка исчезает с ним из .venv, потом с первой командой папка появляется, но в crawler.py нет import asyncio, дальше в этом же терминале вторую команду делаю, и хоб - import asyncio появляется. pycache удалял. Версии пишет одинаковые. Бред. Я брежу. Нет, у меня там еще стоит wsl где-то с питоном, но он вообще в другом каталоге:

(pyuploader) PS C:\prjvk\pyuploader> uv add scrapy
Resolved 125 packages in 36ms
Installed 14 packages in 39ms
 + defusedxml==0.7.1
 + filelock==3.19.1
 + itemadapter==0.12.1
 + itemloaders==1.3.2
 + protego==0.5.0
 + pyasn1==0.6.1
 + pyasn1-modules==0.4.2
 + pydispatcher==2.0.7
 + pyopenssl==25.1.0
 + queuelib==1.8.0
 + requests-file==2.1.0
 + scrapy==2.13.3
 + service-identity==24.2.0
 + tldextract==5.3.0
(pyuploader) PS C:\prjvk\pyuploader> uv pip install --upgrade "https://github.com/scrapy/scrapy.git"                                                                                                                                
Resolved 37 packages in 1.29s
Prepared 2 packages in 97ms
Uninstalled 2 packages in 16ms
Installed 2 packages in 28ms
 - scrapy==2.13.3
 + scrapy==2.13.3 (from git+https://github.com/scrapy/scrapy.git@ed63fa94d698ba09875d45c20253b98e05cca5e5)
 - typing-extensions==4.14.1
 + typing-extensions==4.15.0
(pyuploader) PS C:\prjvk\pyuploader>

Scrapy

26 August 2025 14:10

И правда глюки, с пяток раз делал uv add scrapy - питон клялся божился что поставил scrapy==2.13.3, везде в версиях написано что 2.13.3, но в crawler.py не было даже import asyncio, по-итогу сработало uv pip install "https://github.com/scrapy/scrapy.git" `и `from scrapy.crawler import AsyncCrawlerProcess заработал.

Правда проблема не в нем оказалась, даже с ним Run проходил нормально, а на Debug вылезала эта TypeError: 'Task' object is not callable
Профессор чатгпт сказал, что "баг/побочный эффект асинхронной поддержки в отладчике PyCharm: в режиме Debug PyCharm включает экспериментальную «asyncio REPL / asyncio support», которая вмешивается в loop/таски и иногда ставит в очередь не вызываемые объекты Task как callback'и, из-за чего при выполнении loop'а получается TypeError: 'Task' object is not callable. В обычном Run этой фичи нет — поэтому у тебя всё работает при простом запуске, но падает при отладке. Это известная проблема, уже описанная пользователями." и в целом вот это решение помогло:

Отключить asyncio REPL в реестре PyCharm:
Нажми Shift дважды (или Ctrl+Shift+A) → введи Registry... → в поле поиска найди python.debug.asyncio.repl → сними галочку → перезапусти PyCharm

ЗЫ божечки, храни людей, которые все еще пишут на стековере!
https://stackoverflow.com/questions/79675253/task-object-is-not-callable-when-debugging-with-asyncio-windowsselectoreventloo
https://youtrack.jetbrains.com/issue/PY-57667/Asyncio-support-for-the-debugger-EXPERIMENTAL-FEATURE
Осталось теперь только uv допинать, что там не так)

Scrapy

26 August 2025 13:03

У меня в вскоде есть прила, но она на англ генерит, ищу на что бы на ру

Scrapy

26 August 2025 07:21

Чем докстринг генерируешь на русском?

Scrapy

25 August 2025 22:25

дебаг начинает работать хоть с async def start хоть с def start_requests если выставить в settings.py TWISTED_REACTOR = None
Т.е. из-за https://docs.scrapy.org/en/2.13/topics/settings.html#std-setting-TWISTED_REACTOR:~:text=If%20this%20setting%20is%20set%20None%2C%20Scrapy%20will%20use%20the%20existing%20reactor%20if%20one%20is%20already%20installed%2C%20or%20install%20the%20default%20reactor%20defined%20by%20Twisted%20for%20the%20current%20platform. - но не умудряется же пичарм сам где-то другой твистед поднять. Много раз перечитал что не так, надо видимо еще перечитывать...

Scrapy

25 August 2025 22:16

2025-08-25 23:10:56 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2025-08-25 23:10:56 [asyncio] ERROR: Exception in callback <Task pending name='Task-1' coro=<ExecutionEngine.open_spider() running at C:\prjvk\pyuploader\.venv\Lib\site-packages\scrapy\core\engine.py:430> cb=[Deferred.fromFuture.<locals>.adapt() at C:\prjvk\pyuploader\.venv\Lib\site-packages\twisted\internet\defer.py:1255]>()
handle: <Handle <Task pending name='Task-1' coro=<ExecutionEngine.open_spider() running at C:\prjvk\pyuploader\.venv\Lib\site-packages\scrapy\core\engine.py:430> cb=[Deferred.fromFuture.<locals>.adapt() at C:\prjvk\pyuploader\.venv\Lib\site-packages\twisted\internet\defer.py:1255]>()>
Traceback (most recent call last):
  File "C:\Users\user\AppData\Roaming\uv\python\cpython-3.13.4-windows-x86_64-none\Lib\asyncio\events.py", line 89, in _run
    self._context.run(self._callback, *self._args)
    ~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
TypeError: 'Task' object is not callable

Scrapy

25 August 2025 22:08

Такой вопрос, в scrapy 2.13.3, есть же https://docs.scrapy.org/en/master/topics/api.html#scrapy.crawler.AsyncCrawlerProcess ?
Я вроде его поставил через uv, версию показывает 2.13.3, в винде 10+pycharm, уже и pycache поудалял и инвалидировал, он мне пишет на импорте from scrapy.crawler import AsyncCrawlerProcess, что де Cannot find reference 'AsyncCrawlerProcess' in 'crawler.py'
Вообще я пытаюсь исполнить эту штуку: https://docs.scrapy.org/en/master/topics/practices.html#running-multiple-spiders-in-the-same-process

Scrapy

21 August 2025 19:13

Ладно, извините, я не знаю, что я начудил, но оно уже работает какой-то магией (наверно url кривой) 😅

Scrapy

21 August 2025 18:59

у меня был написан паучок для сайта, где как бы нужен логин. Раньше я брал просто запрос, который уже есть, из него извлекал кукис, вставлял вручную в паука и всё было окей. Сервак отвечал так, будто он понимает, кто я.
Пробовал в шелле вручную шаг за шагом и всё было окей.

Но когда я пытаюсь в скрипте проделать те же манипуляции, то почему-то меня редиректит на страничку логина.

Помогите кто-нибудь, прошу 🙏️️️️️️

Scrapy

19 August 2025 18:49

Всем привет! Я делаю пет проект по парсингу американских сайтов с объявлениями о продаже авто. Ищу разработчиков, знакомых со Scrapy. Задачи разные:
• простые парсеры;
• настройка proxy rotation;
• сложные парсеры с фронтенд-рендерингом (Playwright, Selenium, Puppeteer, Splash и др.).

Кому интересна подработка, пожалуйста напишите мне.

Scrapy

18 August 2025 12:30

Look for the provider of LinkedIn cookie+pass account, and the long-term cooperation introducer also has money to get it.

Scrapy

16 August 2025 16:46

В Китае много народу? В Индии парсинг тоже "очень популярен".

Scrapy

15 August 2025 12:51

есть podkop, на роутере стоит
утилита склеивающая разные формы обхода под разные нужды
если у ресурса рф в блоке или в рф ресурс блокнут
подробностей больше не знаю, установил скриптом и забыл)

Scrapy

15 August 2025 12:45

Оп оп, надо будет изучить
Спасибо)

Scrapy

15 August 2025 12:34

как будто vless и shadowsocks сделали китайцы, не уверен

Scrapy

26 August 2025 14:11

Я думаю вы запутались в венвах

Scrapy

26 August 2025 13:39

лучше не надо, лучше привыкать на английском писать, пригодится потом

Scrapy

26 August 2025 13:01

Это не я, это в данном случае чатгпт развлекается)

Scrapy

25 August 2025 22:26

Ну собсна основных вопроса 2 - как правильно делать. И есть ли этот AsyncCrawlerProcess и можно ли его заимпортить, или его нет в природе на самом деле, или это мои глюки какие-то с установленным scrapy, и поможет ли мне его включение, или оно так и будет писать все-равно `

TypeError: 'Task' object is not callable`

Scrapy

25 August 2025 22:21

в целом он и при start_requests также орет про

TypeError: 'Task' object is not callable

Scrapy

25 August 2025 22:16

а начал я эти async'и писать ибо мне чатгпт посоветовал, с того, что раньше я вот ставил breakpoint в пауке, и при запуске дебага из скрипта-стартера оно мне прекрасно стопалось где надо. А сейчас на новых версиях орало варнинги, мол мы переименовали функцию, и после того, как в спайдере я поменял на

    async def start(self):
        """Async start (Scrapy 2.13+).
        Сначала скачиваем главную, чтобы собрать карту меню/категорий
        """
        # yield an initial request as an async generator (what Scrapy expects)
        yield scrapy.Request("урла/", callback=self.parse_catalog)

    def parse_catalog(self, response):
        """
        Собираем маппинг ссылок каталога -> "хлебная-крошка" вида "Женщинам>Туники и Футболки"
        """
        self.catalog_map = {}

        for menu_block in response.css('.menu_opens_menus'):
            # используем 'p > a'
            top_a_text = menu_block.css('p > a::text').get()
            top_href = menu_block.css('p > a::attr(href)').get()

Scrapy

25 August 2025 13:16

Привет! Попробуй проксимаркет, у них и прокси отличные и цена.

Scrapy

21 August 2025 19:01

айпи тот же? юзерагент?

Scrapy

19 August 2025 19:34

Напишите в личку, такой сервис есть)

Все публикации канала / группы отдаются в виде файла JSON/CSV/excel/sqlite

Scrapy

18 August 2025 13:32

Привет, не слышал за такие, но я как-то парсил каналы и чаты с tgstat, там делов на 5 минут, лучше уж самому написать

Scrapy

18 August 2025 09:30

Всем привет! Подскажите пожалуйста платные сервисы парсинга телеги, публичных каналов и групп, есть ли вообще такие, самому создавать парсер нет времени

Scrapy

15 August 2025 17:25

I need LinkedIn cookie+pass account, and I don't need email access. Please contact me if you have any.

Scrapy

15 August 2025 12:45

А можете ещё чего накидать?

Scrapy

15 August 2025 12:36

https://github.com/XTLS/Xray-core/graphs/contributors

Scrapy

15 August 2025 12:24

Какое такое кунг-фу, например?