Scrapy

05 Sep 2024 14:10

картинки и прочие ресурсы не грузить

Scrapy

04 Sep 2024 17:49

На старте - авторизуюсь и получаю.

Scrapy

04 Sep 2024 17:46

Репонсы приходят, но не авторизованные.
На страницах нет части информации, которая есть, когда авторизован.

Scrapy

04 Sep 2024 17:45

Респонсы не приходят совсем? Или перестають приходить?

Scrapy

04 Sep 2024 17:44

Если ручками пихать в хедер я так понимаю

Scrapy

04 Sep 2024 10:35

Доброго времени суток!
Собираю сайт с авторизацией по JWT. Собирается долго и токен успевает устареть.
Есть ли какие-то стандартные решения для обновления JWT во время сбора?

Scrapy

03 Sep 2024 09:48

Haбиpaю нa oбучeниеe и в команду по крипте,заработок на разнице валют,тестнетах.
Зa oбyчeниe нe бepy, мoя выгoдa этo тoлькo %с вaшeй чиcтoй пpибыли💰
Еcть гoтoвыe cвязки
Paбoтaeте внyтpи извecтных биpж
Всему обучаю даже если совсем не понимаете в крипте.

Scrapy

03 Sep 2024 00:42

Когда накидали елдаков на работе, но в итоге никто не может помочь по-делу

Scrapy

02 Sep 2024 03:50

Собираешь без картинок, знаешь точное количество товаров. Запускаешь с картинками, смотришь реальную скорость, делишь количество скорость, получаешь 7 часов и идёшь спать...

Scrapy

01 Sep 2024 20:12

тоже верно
это тогда надо было вести статистику с самого первого парсинга и отдельно учитывать скачку картинок и время на их постпроцессинг

Scrapy

01 Sep 2024 20:10

но он был только один

Scrapy

01 Sep 2024 19:41

В целом, это может быть одной из метрик в той же SRE (я про эту хрень https://github.com/mxssl/sre-interview-prep-guide ), правда это тебе покажет только то, что например количество товаров резко снизилось или увеличилось, а в реале ты эту метрику после 10-100й выгрузки смотреть не будешь. Так что вопрос только куда ты это знание применишь) А уж тем более прогресс бар, в идеале система должна тебе сигнализировать только если что-то идет не так, а в остальных случаях вести себя в духе "запустил и забыл, а дальше уж оно само"

Scrapy

01 Sep 2024 18:13

А как сервер игры взломать ?

Scrapy

01 Sep 2024 14:10

архиваторы как то же предсказывают сколько времени займет распаковка
только у них уже есть размер архива, и растущий размер распакованного файла….. математика простая

Scrapy

01 Sep 2024 13:58

да думаю если тервер прошуршать что нибудь найдется)

Scrapy

05 Sep 2024 14:10

кто знает как на селениуме можно уменьшить трафик? запустил парсер который схавал почти 30 гиг трафика с прокси

Scrapy

04 Sep 2024 17:48

Ну так JWT нужно получить в сессии для уверенности

Scrapy

04 Sep 2024 17:46

"правильные респонсы"

Scrapy

04 Sep 2024 17:44

В смысле страницы долго скачиваются

Scrapy

04 Sep 2024 17:42

В смысле собираеться?

Scrapy

04 Sep 2024 09:59

Всем привет, кто-нибудь знает как на playwright записать видео чтобы адресная строка влезла?

Scrapy

03 Sep 2024 09:46

Haбиpaю нa oбучeниеe и в команду по крипте,заработок на разнице валют,тестнетах.
Зa oбyчeниe нe бepy, мoя выгoдa этo тoлькo %с вaшeй чиcтoй пpибыли💰
Еcть гoтoвыe cвязки
Paбoтaeте внyтpи извecтных биpж
Всему обучаю даже если совсем не понимаете в крипте.

Scrapy

02 Sep 2024 11:36

КТО-НИБУДЬ КАК ОБХОДИТЬ ЗАЩИТУ Google加固

Scrapy

01 Sep 2024 20:13

чатгпт прикрутить надо просто и пусть он предсказывает)

Scrapy

01 Sep 2024 20:11

вы бы не знали, потому что вы предлагаете использовать данные таких же предыдущих запусков

Scrapy

01 Sep 2024 20:10

один просто случай был, когда надо было перекачать все картинки и постпроцессить их

без картинок все парсилось за минуты 3, а с ними я засиделся до поздна, не зная когда это все закончится

если бы знал, что ну это примерно все займет часов 7, то пошел бы спать)

Scrapy

01 Sep 2024 18:19

@wrar42 как обойти pairip защиту гугл через термукс на Пайтон?

Scrapy

01 Sep 2024 14:23

Сегодня на сайте 100 товаров, потом 1000

Scrapy

01 Sep 2024 14:06

оверинжиниринг для узкой и не очень нужной задачи

Scrapy

01 Sep 2024 13:55

Есть ли смысл парсить телеграмм канал используя scrapy или применять что-то вроде telethon с api?
Может кто поделиться настроенным Crawl на канал?
Спасибо ♥️