Scrapy

04 March 2025 07:12

По ищи в интернете и чат гпт. Все из за очень частых запросов. Возможно потребуется прокси, а может есть другие способы. Я просто каждый час запросы отправляю так что у меня обычный селениум справился

Scrapy

04 March 2025 07:05

Если не ошибаюсь cloudscraper не дает полностью обойти защиту. Особенно если ты собираешься делать часто запросы. Все из за того что делаешь очень часто запросы, вот тебя и блочат.

Scrapy

02 March 2025 00:22

Всем привет 👋🏼

1️⃣Ищем опытного разработчика на позицию тимлида.
энтузиастов!

Стек: React, Next, Node.js API, UI kit (Mantline или подобные).

Нам подходят новички и профи:

2️⃣Ищем опытного
«Фронта»
энтузиастов!

Стэк:
- Опыт разработки на
React, Next.js, знание стиливых либ по типу Mantine, HTML/CSS
- Знание современных фреймворков и библиотек
- Способность к быстрому обучению и решению нестандартных задач

Нам подходят новички и профи:

Будем рады познакомиться с вами и обсудить детали сотрудничества!🤝

Scrapy

28 February 2025 19:35

Можете предложить свою цену

Scrapy

26 February 2025 02:39

остановиться по внешнему условию

Scrapy

25 February 2025 23:05

Как остановиться если прокрутка бесконечная?

Scrapy

25 February 2025 20:47

да мне честно говоря нужно просто знать когда остановиться

Scrapy

25 February 2025 20:44

естественно, всякие Count и пр. не будут работать потому что страница бесконечна и всегда подгружается

Scrapy

24 February 2025 10:24

Все привет, знает кто-нибудь запрос для получения реестра контрактов по ф44. Запрос на получение закупок есть в приложение и он такой "https://zakupki.gov.ru/api/mobile/proxy/917/epz/order/extendedsearch/results.html", а контратов нет

Scrapy

24 February 2025 07:12

Почему, данные
Кусок о котором просили содержит мало данных, они почти все тут

Scrapy

23 February 2025 21:17

посмотри тут
https://github.com/xKiian/cloudflare-jsd

Scrapy

23 February 2025 21:11

почитай вот это https://www.zenrows.com/blog/bypass-cloudflare#active-detection-techniques

с клаудфлярей не работал, но акамаи, например, обходился правильными хедерами

какая та другая хрень обходилась правильным tls фингерпринтом, если используешь селениум, вроде он такой же, какой вебдрайвер и используешь

если хочешь без селениума (лучше так и делать), то смотри в сторону curl-impersonate/scrapy-impersonate

ну и прокси еще перепробуй разные, попробуй найти максимально чистые

Scrapy

23 February 2025 18:11

bypass cloudflare - datadome - invisible hcaptcha (nodejs) /channel/+UkXUNTAdfv44YWRk

Scrapy

22 February 2025 16:18

мало
мне предлагали 4000$ за час
было бы так я бы внес вклад в ваш бизнес )
Скинул бы вам свои биткоины )

Scrapy

21 February 2025 15:23

I am professional scraper.
Feel free to ask

Scrapy

04 March 2025 07:11

Каждые четыре минуты, проверяю новых серий

Scrapy

03 March 2025 16:13

Народ использую сервер firstbyte
Есть бот который загружает с сайта анистар аниме

Cloudscraper использовал чтобы обойти клоудфларе но на днях клоудфларе стал блокировать, раньше с селениум также было работал месяц и потом блокировался

Сегодня просто запустил бота смотрю все работает

Это из-за чего?

Scrapy

01 March 2025 15:53

I do scrapping
If anyone wants contact me

Scrapy

28 February 2025 19:06

Всем ку, нужен человек который переделает 1 xpath для playwright(аналог selenium) чтобы скрипт работал(не работает именно из-за этого xpath. Раньше работал, но сайт немного обновили). Плачу 10$ в ton или stars

Scrapy

25 February 2025 23:05

Не слышал чтоб у Яндекса бесконечное что-то было...

Scrapy

25 February 2025 20:47

да и запросы у яндекса там могут хрен пойми какими быть

Scrapy

25 February 2025 20:46

может проще отловить запрос при прокрутке ?

Scrapy

25 February 2025 20:43

доброго вечера
подскажите пожалуйста по Playwright - если у меня динамическая страница с бесконечной лентой товаров, то как сделать итератор над локатором? ну типо я хочу что-то вроде while(myLocator.GetNext()) { ... }

Scrapy

24 February 2025 07:13

Мицубиси и вот эти буквы моделей или чего там

Scrapy

24 February 2025 04:37

Ну так то это не совсем то :).
Это js код с параметрами (d, l, u, au и т.п.), а не данные. Через js2py такие штуки решаю, чтобы не копаться какой параметр куда подставить. Хотя можно и взять в функции параметры, сопоставить со значениями в конце, сделать замены в тексте, преобразовать в формат json и т.п.

Хотя это и есть домашняя работа...

Scrapy

23 February 2025 21:17

вроде такие хедеры

DEFAULT_REQUEST_HEADERS = {
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8",
"accept-encoding": "gzip, deflate, br, zstd",
"dnt": "1",
"accept-language": "en-US,en;q=0.9",
"priority": "u=0, i",
"sec-ch-ua": '"Brave";v="125", "Chromium";v="125", "Not.A/Brand";v="24"',
"sec-ch-ua-mobile": "?0",
"sec-ch-ua-platform": '"macOS"',
"sec-fetch-dest": "empty",
"sec-fetch-mode": "cors",
"sec-fetch-site": "same-origin",
"sec-fetch-user": "?1",
"sec-gpc": "1",
"upgrade-insecure-requests": "1",
}

sec-fetch-* меняй на те, которые летят с реквестов от браузера
sec-ch-ua тож меняй в зависимости какой алгоритм фингерпринта используется (хромовский/фаерфоксовский/сафариевский)

Scrapy

23 February 2025 19:30

Народ что используете чтобы обойти cloudflare есть что почитать посмотреть или копировать и посмотреть что к чему

Хочу анимешки загрузить с сайта но cloudflare selenium чекать начал (изначально не чекал примерно месяц)

Scrapy

22 February 2025 16:18

😂

Scrapy

22 February 2025 16:11

Если перевести пишет лохи скиньте 30$, но кажется не там ищешь 😅

Scrapy

20 February 2025 16:33

маппинг айди поколений в названия остаётся на домашнюю работу