Scrapy

28 Apr 2024 16:57

ну условно так, и по кругу ходит

Scrapy

28 Apr 2024 16:56

а ты на скрапи пишешь? или свою реализацию с асинкио?

Scrapy

28 Apr 2024 16:55

на стековере же в приведенном ответе пишут, что мол надо use asyncio.Queue for the communication between producers and consumers
ну или может pool какой, хз

Scrapy

28 Apr 2024 16:54

есть вариант конечно запускать в два потока, чтобы в одном обновлялись и записывались в файл куки, а в другом паук их собирал и делал свое дело)

Scrapy

28 Apr 2024 16:52

а, ну в макоси все проще)

Scrapy

28 Apr 2024 16:52

привет) спасибо большое, что написал, буду знать впредь) а так, у меня есть MacOS, так что тут уже в другом проблема, спасибо)

Scrapy

28 Apr 2024 16:49

можно запускать под виндой из-под wsl2 или докера (с линуксовым образом об ту же wsl2), лучше, чтобы все файлы были "унутре" конта (т.е. при создании конта монтируешь всю папку внутрь), иначе скорость будет херовая, если будут связи с виндовой подмонтированной папкой. (возможно, в винде 11 на новой файловой системе они это сделали лучше, но это неточно).

Scrapy

28 Apr 2024 15:16

В гугле тонна информации по этому вопросу

Scrapy

28 Apr 2024 14:35

да я пробовал уже, тоже самое

Scrapy

28 Apr 2024 14:34

инсталляция lxml битая

Scrapy

28 Apr 2024 14:32

Драсть, подскажите что делать? Последние версии стоят👀

Scrapy

27 Apr 2024 15:55

не понятно ничего((((

Scrapy

27 Apr 2024 15:54

у вас нет asynccontextmanager

Scrapy

27 Apr 2024 15:54

https://bugs.python.org/issue45996

Scrapy

27 Apr 2024 15:53

уже весь инет перекопал, ничего нет по этому поводу... вроде как есть вопрос, но он открыт до сих пор на форумах..

Scrapy

28 Apr 2024 16:56

просто в мидлварях хочу для каждого запроса куки менять

Scrapy

28 Apr 2024 16:55

ну мне надо внимательнее почитать статью) может быть придумаю что-то, а так просто каждые 400 запросов заново инициализировать браузер и прочее ну сам понимаешь, такое себе. тем более, что еще и задержка в 5 сек стоит, а запросов может быть около 100к, вот и расходуется время просто так

Scrapy

28 Apr 2024 16:54

не, там писали что их так юзать нельзя)

Scrapy

28 Apr 2024 16:53

да тут в асинхронных генераторах проблема, выше писали что не фиксится это, так что пофиг)

Scrapy

28 Apr 2024 16:52

если надо без headless, то https://github.com/scrapy-plugins/scrapy-playwright/issues/78

Scrapy

28 Apr 2024 16:51

подробней читай тут: https://github.com/scrapy-plugins/scrapy-playwright/issues/7#issuecomment-817394494

Scrapy

28 Apr 2024 16:45

хм, хотел посоветовать wheels, обнаружил прискорбный факт, что сайт Gohlke wheels помер
https://www.reddit.com/r/Python/comments/vcaibq/christoph_gohlkes_windows_wheels_site_is_shutting/

Scrapy

28 Apr 2024 14:35

придётся тогда самому выяснять что с ней не так

Scrapy

28 Apr 2024 14:34

предлагаю переустановить

Scrapy

28 Apr 2024 14:33

не видя ошибки можем только сказать то же самое

Scrapy

27 Apr 2024 16:07

если не получается понять что там написано, то да, использовать асинхронный генератор не получится

Scrapy

27 Apr 2024 15:54

а говорите ничего нет

Scrapy

27 Apr 2024 15:54

и даже https://stackoverflow.com/questions/72204244/python-asynchronous-generator-is-already-running не нашли?

Scrapy

27 Apr 2024 15:53

вы на русском ищете что ли?

Scrapy

27 Apr 2024 15:52

вот что я получаю по кд