Scrapy

25 February 2025 23:05

Как остановиться если прокрутка бесконечная?

Scrapy

25 February 2025 20:47

да мне честно говоря нужно просто знать когда остановиться

Scrapy

25 February 2025 20:44

естественно, всякие Count и пр. не будут работать потому что страница бесконечна и всегда подгружается

Scrapy

24 February 2025 10:24

Все привет, знает кто-нибудь запрос для получения реестра контрактов по ф44. Запрос на получение закупок есть в приложение и он такой "https://zakupki.gov.ru/api/mobile/proxy/917/epz/order/extendedsearch/results.html", а контратов нет

Scrapy

24 February 2025 07:12

Почему, данные
Кусок о котором просили содержит мало данных, они почти все тут

Scrapy

23 February 2025 21:17

посмотри тут
https://github.com/xKiian/cloudflare-jsd

Scrapy

23 February 2025 21:11

почитай вот это https://www.zenrows.com/blog/bypass-cloudflare#active-detection-techniques

с клаудфлярей не работал, но акамаи, например, обходился правильными хедерами

какая та другая хрень обходилась правильным tls фингерпринтом, если используешь селениум, вроде он такой же, какой вебдрайвер и используешь

если хочешь без селениума (лучше так и делать), то смотри в сторону curl-impersonate/scrapy-impersonate

ну и прокси еще перепробуй разные, попробуй найти максимально чистые

Scrapy

23 February 2025 18:11

bypass cloudflare - datadome - invisible hcaptcha (nodejs) /channel/+UkXUNTAdfv44YWRk

Scrapy

22 February 2025 16:18

мало
мне предлагали 4000$ за час
было бы так я бы внес вклад в ваш бизнес )
Скинул бы вам свои биткоины )

Scrapy

21 February 2025 15:23

I am professional scraper.
Feel free to ask

Scrapy

20 February 2025 16:32

models:[{id:1512,name:ap,generations:[{id:1280,name:"2",family:["CW0W"],start:2005,end:2012,anyBody:d,bodies:[{id:4170,name:"CW1W",description:l,anyEngine:d,engines:[{id:aq,name:ar,volume:as,fuel:p}]},{id:4171,name:"CW4W",description:l,anyEngine:d,engines:[{id:2452,name:"4B11",volume:1998,fuel:u},{id:aq,name:ar,volume:as,fuel:p},{id:at,name:au,volume:av,fuel:u}]},{id:4172,name:"CW5W",description:l,anyEngine:d,engines:[{id:at,name:au,volume:av,fuel:u}]},{id:4173,name:"CW6W",description:l,anyEngine:d,engines:[{id:2554,name:"6B31",volume:2998,fuel:u}]},{id:4174,name:"CW7W",description:l,anyEngine:d,engines:[{id:2566,name:"4HK",volume:aw,fuel:p},{id:2568,name:"4HN",volume:aw,fuel:p}]},{id:4175,name:"CW8W",description:l,anyEngine:d,engines:[{id:2574,name:"BSY",volume:1968,fuel:p}]}]}],slug:"outlander"}],slug:"mitsubishi"}]

Scrapy

20 February 2025 16:30

ну хедлесс вроде не должен столько жрать

если прям по конкретике, то нужно знать ссылку/дернуть апи, в общем как-то провалиться туда, где ресивится ивент от кнопки

Scrapy

20 February 2025 16:29

Дольше и больше мощности нужно на сервере

Scrapy

20 February 2025 16:28

Здравствуйте, подскажите как с помощью Scrapy собрать "Применимость" с такого рода страниц: https://japanpartsmsk.ru/autopart-product/6325c989d06e88f19c7c49f9/
https://monosnap.com/file/9A1qrNq8ryBzqmO9Jc6ByXW56lcXW8

Это подгружается с помощью Javascript. Не хотелось бы использовать Selenium или что то подобное.

Scrapy

20 February 2025 15:33

да, там действительно есть открытые, один уже раскопал, запускаться - запускается, ищет инфу, но не собирает

Scrapy

25 February 2025 20:47

да и запросы у яндекса там могут хрен пойми какими быть

Scrapy

25 February 2025 20:46

может проще отловить запрос при прокрутке ?

Scrapy

25 February 2025 20:43

доброго вечера
подскажите пожалуйста по Playwright - если у меня динамическая страница с бесконечной лентой товаров, то как сделать итератор над локатором? ну типо я хочу что-то вроде while(myLocator.GetNext()) { ... }

Scrapy

24 February 2025 07:13

Мицубиси и вот эти буквы моделей или чего там

Scrapy

24 February 2025 04:37

Ну так то это не совсем то :).
Это js код с параметрами (d, l, u, au и т.п.), а не данные. Через js2py такие штуки решаю, чтобы не копаться какой параметр куда подставить. Хотя можно и взять в функции параметры, сопоставить со значениями в конце, сделать замены в тексте, преобразовать в формат json и т.п.

Хотя это и есть домашняя работа...

Scrapy

23 February 2025 21:17

вроде такие хедеры

DEFAULT_REQUEST_HEADERS = {
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8",
"accept-encoding": "gzip, deflate, br, zstd",
"dnt": "1",
"accept-language": "en-US,en;q=0.9",
"priority": "u=0, i",
"sec-ch-ua": '"Brave";v="125", "Chromium";v="125", "Not.A/Brand";v="24"',
"sec-ch-ua-mobile": "?0",
"sec-ch-ua-platform": '"macOS"',
"sec-fetch-dest": "empty",
"sec-fetch-mode": "cors",
"sec-fetch-site": "same-origin",
"sec-fetch-user": "?1",
"sec-gpc": "1",
"upgrade-insecure-requests": "1",
}

sec-fetch-* меняй на те, которые летят с реквестов от браузера
sec-ch-ua тож меняй в зависимости какой алгоритм фингерпринта используется (хромовский/фаерфоксовский/сафариевский)

Scrapy

23 February 2025 19:30

Народ что используете чтобы обойти cloudflare есть что почитать посмотреть или копировать и посмотреть что к чему

Хочу анимешки загрузить с сайта но cloudflare selenium чекать начал (изначально не чекал примерно месяц)

Scrapy

22 February 2025 16:18

😂

Scrapy

22 February 2025 16:11

Если перевести пишет лохи скиньте 30$, но кажется не там ищешь 😅

Scrapy

20 February 2025 16:33

маппинг айди поколений в названия остаётся на домашнюю работу

Scrapy

20 February 2025 16:30

Просто там всё Scrapy видит, кроме одного итема

Scrapy

20 February 2025 16:29

просто на них самое простое решение (а так же иже с ними crawlee.js)

Scrapy

20 February 2025 16:29

а почему не pw/selenium?

Scrapy

20 February 2025 15:51

Ребят привет, если есть кто умеет парсить маркетплейсы и есть время брать задачи по парсингу сайтов подобной сложности, отпишите пожалуйста

Scrapy

20 February 2025 15:01

Если только в китайских гитах.)