Scrapy

29 January 2025 10:39

ок, прокся спасет, скорее всего.
Если вопрос был именно в этом

Scrapy

29 January 2025 10:37

можешь попробовать puppeteer, там вроде есть возможность обходить клаудфлер

Scrapy

29 January 2025 10:33

Всем привет!
Как вы архитектурно видите парсинг 15 к сайтов, у которых как минимум 1 страница, а как максимум 1000?
Думаю использовать скрапи с ротацией прокси, но мне нужно проверить это все за 4 часа, на каждой странице мне нужен весь текст, никогда не работал с скрапи, насколько это будет эффективно?

Scrapy

26 January 2025 08:24

вот как... но с обычного браузера то все норм

Scrapy

26 January 2025 07:57

Попробуй другие прокси

Scrapy

26 January 2025 06:48

доброго утра, подскажите пожалуйста в чем может быть проблема с Playwright? Все работало, а тут резко бац и перестало - браузеры обновил, библиотеку тоже

Запускается только с headless=false аргументом, впн отключен

Scrapy

22 January 2025 22:38

Ну было и было... Ну было и было.. 🥴

Scrapy

18 January 2025 18:15

Не уверен 100%, но в доке они пишут channel chromium, а вы chrome используете:
https://playwright.dev/python/docs/chrome-extensions#headless-mode

Scrapy

18 January 2025 15:33

Не самое простое решение уже 🙂

Scrapy

18 January 2025 12:36

Всем привет
Кому-то доводилось поднимать в docker + playwright с использованием расширения для браузера chrome ?
У меня такой простой код для теста.
Id Extensions находит успешно, но при открытие chrome-extension:// ошибка тайм-аута (проблема явно не во времени)
Буду благодарен за любую помощь.

export DISPLAY=:0
Xvfb :0 -screen 0 1024x768x24 & poetry run python check.py

Scrapy

10 January 2025 12:43

ищу разработчика для написания веб скрапера

Scrapy

07 January 2025 15:58

возможно, эвристически вычислить промежутки пауз, если время не критично

но я бы возможно попробовал завести кучу аккаунтов и под разными инстансами просто проглядывать с них, возможно и без прокси получится

Scrapy

07 January 2025 15:41

гайсы, как обойти рейт лимитер авито??

Scrapy

02 January 2025 21:46

и тут, извините, не чат для рассказывания что в питоне импорт делает

Scrapy

02 January 2025 21:45

если не хотите - не нужно

Scrapy

29 January 2025 10:39

Имею ввиду, что у меня есть написанный парсер, он в глубину парсит 20 страниц, за 4 часа справляется с 15 к сайтами, но есть как бы минусы иногда улетаю в бан, без прокси
80 процентов сайтов парсятся норм

Scrapy

29 January 2025 10:35

"никогда не работал с скрапи" - совсем не эффективно.... Зачем браться за то, что в принципе не умеешь.

и, да, половина сайта отвалится по колудфдаре, скорее всего, либо еще по какой хне

Scrapy

26 January 2025 11:23

сменил айпишник - хрена-с-два

Scrapy

26 January 2025 08:04

оно без прокси вообще запущено :(

Scrapy

26 January 2025 06:48

да и со включенным тоже самое

Scrapy

23 January 2025 03:34

Hello everyone
I have code to signup at https://www.irctc.co.in/ automatically.
Of course, can pass the captcha.
Who interested?
Only DM

Scrapy

22 January 2025 12:45

Ребят, всем привет.
Кто-нибудь парсит Леруа через мобильное API после обновления?

Scrapy

18 January 2025 15:36

python scraper здесь

Scrapy

18 January 2025 15:33

Тоже самое, через докер не захотел запуститься, просто перешел на selenium

Scrapy

10 January 2025 12:43

@scrapy_jobs

Scrapy

08 January 2025 22:32

Hey guys please dm me if you have issues with cloudflare

Scrapy

07 January 2025 15:57

на чтение?
мб ротация проксей?

Scrapy

03 January 2025 02:35

Найдите какой нибудь ролик основы python или python за x часов или книгу, их очень много. Опыт с программированием у всех очень разный, кому то достаточно совсем база языка и потом уже будет способность задавать гуглу или gpt разумные вопросы как сделать это, как сделать то, что непонятно. Кому то для старта надо будет несколько месячный курс пройти с выполнением заданий и только тогда уже приступить к парсингу браузером. Кроме того браузером это не такой уж и простой путь, там много неочевидных нюансов...
Ну и да, этот чат про конкретную библиотеку scrapy, а не про python или про парсинг браузером.

Scrapy

02 January 2025 21:46

сначала нужно изучить основы

Scrapy

02 January 2025 21:45

если вы хотите писать что-то на питоне, вам нужно изучить питон