Scrapy

08 Jul 2025 16:08

Приветствую всех. Товарищи с опытом в парсинге, напишите в личку, нужно спарсить один сайт. Оплачу

Scrapy

30 Jun 2025 14:38

оффтоп, не scrapy

ребят, кому интересно и кто может, пожалуйста, пройдитесь по коду, оставьте комменты и замечания https://github.com/abebus/palitra/pull/4

я в подкаротке asyncio и в weakref не силен, чувствую я явно что-то где то насрал

делаю маленькую либу для приложений застрявших на wsgi но почему то нуждающихся асинхронного взаимодействия

Scrapy

24 Jun 2025 14:07

Мож кто уже мидельвару подобную реализовал?

Scrapy

24 Jun 2025 10:25

Можешь запрос на обновление токена попытаться нарыть

Scrapy

24 Jun 2025 06:22

Приветствую.
Есть проект сбора данных с сайта.
Сначала идёт аутентификация через форму, потом собственно сбор.
Последнее время минут через 15 начало выкидывать - типа не залогинено.
Как обычно действуют в таких случаях?

Scrapy

18 Jun 2025 16:47

Всем привет написал скрипт по поиску редких предметов для кс2 но сайт меня банит! после того пишу в тех меня розбанивают! они говорят что у них стоит скрипт который ловит ботов ! вопрос как-то можно это обойти ? типа добавить заголовки к запросу или как-то емулировать пользователя ? как вы думаете !

Scrapy

16 Jun 2025 13:18

реверс инжиниринг + get|post запросы

Scrapy

16 Jun 2025 12:18

web версия WA всё позволяет делать.

Scrapy

14 Jun 2025 09:20

Самый распространённый имхо выкинуть по максимуму все браузеры. И воспользоваться одним из решений с браузерными tls. Они есть для scrapy. А браузер - куки получить и все.

Scrapy

13 Jun 2025 21:03

рекомендуемым - playwright и scrapy-playwright

Scrapy

13 Jun 2025 21:02

Честно, глубоко не копал. На данный момент, какой стек является общепринятым и самым распространенным?

Scrapy

13 Jun 2025 21:00

было б странно если б они были, конечно

Scrapy

13 Jun 2025 21:00

Там же вроде апдейтов давно не было на скрапи-силениум?

Scrapy

13 Jun 2025 20:59

ну то есть есть scrapy-selenium, но большинство скорее всего и про него не знает

Scrapy

13 Jun 2025 20:58

конечно можно, он же на питоне

Scrapy

03 Jul 2025 11:32

Есть у кого-то парсеры этих сайтов? (купим исходники):
YouTube
RuTube
Kommersant
Izvestia
Vedomosti
Life.ru
MK
Российская газета (Rossiskaya Gazeta)
360tv
RT на русском (RT in Russian)
Regnum
HTB.ru
KP.ru
Sport-Express
Championat
Киберспорт.ru (Kibersport.ru)
Fontanka
EurAsia Daily
Znak
74.ru
161.ru
E1.ru
Tomsk.ru
Amurmedia
Primamedia
Yakutiamedia
Moe-Online
Башинформ (Bashinform)
KI-News
31tv.ru
Sibnet
Omskinfo
Chelny-biz
Kubnews
SeverPost
Krasnews
TitNews

Scrapy

24 Jun 2025 14:14

В middleware подсовывать новые куки непосредственно перед отправкой запроса. Те, что уже отправлены - ретраить естественно.

Scrapy

24 Jun 2025 14:03

Собственно заново авторизоваться не проблема.
А что делать с запросами, которые уже висят?
Т. е. я авторизовался и выдал список запросов на скачивание.
И один из них и последующие возвращают - не залогинено.
На каждый перелогиневатся?

Scrapy

24 Jun 2025 10:24

мб токен помирает. Если так то заново авторизовываться

Scrapy

18 Jun 2025 17:15

Можно обойти
Пробуй

Scrapy

16 Jun 2025 13:44

Есть кто с опытом? Можем в команду взять

Scrapy

16 Jun 2025 13:11

селениумом хочешь сказать?

Scrapy

16 Jun 2025 08:16

Мне нужно мониторить общую группу в ватсапе и при получении триггер сообщения писать в нее 1 слово, с интервалом ~1час.

Работать должно автономно 24/7 в докере на дедике.

Насколько я понял у ватсапа нет изичной халявной апишки, в этом проблема

Ктото уже сталкивался с таким кейсом, чем воспользовались?

Scrapy

13 Jun 2025 21:03

Ещё раз огромная благодарность)

Scrapy

13 Jun 2025 21:03

самым распространенным вполне возможно что и селениум

Scrapy

13 Jun 2025 21:02

Если нужно подделать тлс фингерпринт, можно взять scrapy-curl-cffi

Scrapy

13 Jun 2025 21:00

/channel/scrapy_python/61298

Scrapy

13 Jun 2025 20:59

Знаю. В чистом виде пользовал немного

Scrapy

13 Jun 2025 20:59

Не понравился сплеш. Browserless больше понравился, но он тяжёлый и много ненужной функций для меня, пришлось свою писать))

Scrapy

13 Jun 2025 20:58

Его в скрапи засунуть можно?)