Scrapy

09 Apr 2024 19:34

Ну, у моего коллеги немного шиза по поводу этой версии, и он её не совсем в состоянии объяснить: думал, мб у кого-то ещё есть такое

Scrapy

09 Apr 2024 15:28

"3" - простое число, а "12" - не, ой вэй, не по фэншую...

Scrapy

09 Apr 2024 14:44

Пробовал, там ответ на гет запрос приходит хтмл ращметка, а при скроллинге - посылается такой же запрос на тот же адрес но аргументом с рэйнджом, типо cursor=10, где 10 это точка до куда рендерить. Но динамика не проблема, проблема в том что мне не как не попасть на сайт )
Постманом идёт...

Scrapy

09 Apr 2024 14:35

попробуй найти их апи
через ф12 браузере потыкай на сайте куданить, посмотри куда фронт кидает запросы

Scrapy

09 Apr 2024 12:59

А сразу писать в чем суть работы, нет ?

Scrapy

09 Apr 2024 08:50

бггг, ну да, ппц, как искать надо 😂

Scrapy

09 Apr 2024 08:48

Ладно, уже разобрался

Scrapy

09 Apr 2024 04:11

Обожаю zyte за то как они умело скрывают свои цены

Scrapy

08 Apr 2024 11:27

нехрен флудить, когда у модера хреновое настроение

Scrapy

08 Apr 2024 10:09

ну да, просто одна строчка в parse()
if not resp.body: return

Scrapy

08 Apr 2024 10:07

или картинки скачивать

Scrapy

08 Apr 2024 10:06

yield Request(url, meta={“from_spider”: True})

Scrapy

08 Apr 2024 10:05

Второе предложение не понял, честно говоря

Scrapy

08 Apr 2024 10:03

В принципе можно йилдить none

Scrapy

08 Apr 2024 10:03

У меня в коде в таких ситуациях обычно идёт
yield ...
return

Scrapy

09 Apr 2024 15:49

вот когда уберут гил и добавят джит тогда обосремся

Scrapy

09 Apr 2024 15:21

С цифрой что то не так наверное

Scrapy

09 Apr 2024 14:38

Мб немного не по теме чата: есть ли тут противники питона 3.12?

Scrapy

09 Apr 2024 14:05

Привет, пытаясь спарсить такой сайт: tap.az. Не в какую не поддается )), всё возврашает 204. Пробавал куки, хедеры - ноль результат... Менял агента, ставил scrapy_cloudflare_middleware не помогло

Scrapy

09 Apr 2024 09:03

Еще и саппорт через день отвечает

Scrapy

09 Apr 2024 08:49

Просто везде видел это "try free trial", а во сколько оно обойдётся только в менюшке искать :D

Scrapy

09 Apr 2024 08:30

хм, а в чем выражается "скрывание"?
там же в менюшке ссыль на цены.... или что то не то?

Scrapy

08 Apr 2024 11:35

Дак есть же http://t.me/scrapy_jobs

Scrapy

08 Apr 2024 11:26

@Keeapo
щас РО пропишу "за такие приколы"

Scrapy

08 Apr 2024 10:07

тогда проще может быть действительно без мидлвари

Scrapy

08 Apr 2024 10:07

от пайплайнов или мидлварей
например переводы

Scrapy

08 Apr 2024 10:06

а какие ещё бывают если не от паука?

Scrapy

08 Apr 2024 10:04

В мидлварях можно фильтровать то, что будет обрабатывать паучёк, да

Scrapy

08 Apr 2024 10:03

или у мидлвари можно отфильтровать ответы для запросов паука? если только в мету реквеста добавлять пометку типа что реквест от паука

Scrapy

08 Apr 2024 10:01

ну там я еще ответы приходят у которых пустое тело это норм