Scrapy

04 September 2024 17:44

Если ручками пихать в хедер я так понимаю

Scrapy

04 September 2024 10:35

Доброго времени суток!
Собираю сайт с авторизацией по JWT. Собирается долго и токен успевает устареть.
Есть ли какие-то стандартные решения для обновления JWT во время сбора?

Scrapy

03 September 2024 09:48

Haбиpaю нa oбучeниеe и в команду по крипте,заработок на разнице валют,тестнетах.
Зa oбyчeниe нe бepy, мoя выгoдa этo тoлькo %с вaшeй чиcтoй пpибыли💰
Еcть гoтoвыe cвязки
Paбoтaeте внyтpи извecтных биpж
Всему обучаю даже если совсем не понимаете в крипте.

Scrapy

03 September 2024 00:42

Когда накидали елдаков на работе, но в итоге никто не может помочь по-делу

Scrapy

02 September 2024 03:50

Собираешь без картинок, знаешь точное количество товаров. Запускаешь с картинками, смотришь реальную скорость, делишь количество скорость, получаешь 7 часов и идёшь спать...

Scrapy

01 September 2024 20:12

тоже верно
это тогда надо было вести статистику с самого первого парсинга и отдельно учитывать скачку картинок и время на их постпроцессинг

Scrapy

01 September 2024 20:10

но он был только один

Scrapy

01 September 2024 19:41

В целом, это может быть одной из метрик в той же SRE (я про эту хрень https://github.com/mxssl/sre-interview-prep-guide ), правда это тебе покажет только то, что например количество товаров резко снизилось или увеличилось, а в реале ты эту метрику после 10-100й выгрузки смотреть не будешь. Так что вопрос только куда ты это знание применишь) А уж тем более прогресс бар, в идеале система должна тебе сигнализировать только если что-то идет не так, а в остальных случаях вести себя в духе "запустил и забыл, а дальше уж оно само"

Scrapy

01 September 2024 18:13

А как сервер игры взломать ?

Scrapy

01 September 2024 14:10

архиваторы как то же предсказывают сколько времени займет распаковка
только у них уже есть размер архива, и растущий размер распакованного файла….. математика простая

Scrapy

01 September 2024 13:58

да думаю если тервер прошуршать что нибудь найдется)

Scrapy

01 September 2024 13:50

ну в первый раз, наверное, никак

а после первого раза хранить в условном dbm время выполнения, среднее время ответа, и еще может что
а в следующие запуски уже можно будет высчитать, обновляя предположительное время в зависимости от времени ответа или еще чего нибудь

Scrapy

01 September 2024 13:37

да и то, они показывают прогрес бар по реквесту, а не в целом

Scrapy

31 August 2024 03:50

https://www.realself.com/photo/galleryFilter?bypass_cache=false&page=1&search_type=recommended&topic_id=212

Scrapy

31 August 2024 03:47

Добрый день.

Дело в том, что с веб-скрапингом я более-менее разобрался. Проблема в том, что, как ни старался, я получаю ответ 403. Я пробовал менять заголовки и использовать свои пользовательские куки после регистрации, но все равно получаю 403. Хотя иногда приходит ответ 200. Может ли проблема быть в том, что на сайте установлен лимит запросов для конкретного пользователя?

Scrapy

04 September 2024 17:42

В смысле собираеться?

Scrapy

04 September 2024 09:59

Всем привет, кто-нибудь знает как на playwright записать видео чтобы адресная строка влезла?

Scrapy

03 September 2024 09:46

Haбиpaю нa oбучeниеe и в команду по крипте,заработок на разнице валют,тестнетах.
Зa oбyчeниe нe бepy, мoя выгoдa этo тoлькo %с вaшeй чиcтoй пpибыли💰
Еcть гoтoвыe cвязки
Paбoтaeте внyтpи извecтных биpж
Всему обучаю даже если совсем не понимаете в крипте.

Scrapy

02 September 2024 11:36

КТО-НИБУДЬ КАК ОБХОДИТЬ ЗАЩИТУ Google加固

Scrapy

01 September 2024 20:13

чатгпт прикрутить надо просто и пусть он предсказывает)

Scrapy

01 September 2024 20:11

вы бы не знали, потому что вы предлагаете использовать данные таких же предыдущих запусков

Scrapy

01 September 2024 20:10

один просто случай был, когда надо было перекачать все картинки и постпроцессить их

без картинок все парсилось за минуты 3, а с ними я засиделся до поздна, не зная когда это все закончится

если бы знал, что ну это примерно все займет часов 7, то пошел бы спать)

Scrapy

01 September 2024 18:19

@wrar42 как обойти pairip защиту гугл через термукс на Пайтон?

Scrapy

01 September 2024 14:23

Сегодня на сайте 100 товаров, потом 1000

Scrapy

01 September 2024 14:06

оверинжиниринг для узкой и не очень нужной задачи

Scrapy

01 September 2024 13:55

Есть ли смысл парсить телеграмм канал используя scrapy или применять что-то вроде telethon с api?
Может кто поделиться настроенным Crawl на канал?
Спасибо ♥️

Scrapy

01 September 2024 13:38

откуда бы программе знать когда парсинг закончится?

Scrapy

01 September 2024 13:32

всех с праздником)
ребята, можете подсказать, пожалуйста, существует ли уже extension/addon для шкалы прогресса парсинга? который сможет приблизительно сказать через какое время парсинг закончится?
штука то, имхо, удобная, хоть я и сейчас я знаю когда парсинг закончится, но только исходя из времени предыдущих запусков

нашел только по одному пр и ишью, но они оба не очень живые

https://github.com/scrapy/scrapy/issues/3793

https://github.com/scrapy/scrapy/pull/5042

Scrapy

31 August 2024 03:50

К примеру, я пытаюсь парсить данную галерею. Пытаюсь парсить ее с помощью API-запроса, который я получил на этой странице. Если кому-нибудь не верит, можете проверить на своей локальной машине, работает ли это у вас. То есть является ли это неким локальным ограничением для моего юзера: https://www.realself.com/photos/breast-augmentation

Scrapy

30 August 2024 10:55

Как остановить закрытие контекста?