883
Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs
картинки не гружу, прочие ресурсы это что имеешь ввиду?
Читать полностью…
кто знает как на селениуме можно уменьшить трафик? запустил парсер который схавал почти 30 гиг трафика с прокси
Читать полностью…
Всем привет, кто-нибудь знает как на playwright записать видео чтобы адресная строка влезла?
Читать полностью…
Haбиpaю нa oбучeниеe и в команду по крипте,заработок на разнице валют,тестнетах.
Зa oбyчeниe нe бepy, мoя выгoдa этo тoлькo %с вaшeй чиcтoй пpибыли💰
Еcть гoтoвыe cвязки
Paбoтaeте внyтpи извecтных биpж
Всему обучаю даже если совсем не понимаете в крипте.
чатгпт прикрутить надо просто и пусть он предсказывает)
Читать полностью…
вы бы не знали, потому что вы предлагаете использовать данные таких же предыдущих запусков
Читать полностью…
один просто случай был, когда надо было перекачать все картинки и постпроцессить их
без картинок все парсилось за минуты 3, а с ними я засиделся до поздна, не зная когда это все закончится
если бы знал, что ну это примерно все займет часов 7, то пошел бы спать)
@wrar42 как обойти pairip защиту гугл через термукс на Пайтон?
Читать полностью…
prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs)
Читать полностью…
Репонсы приходят, но не авторизованные.
На страницах нет части информации, которая есть, когда авторизован.
Респонсы не приходят совсем? Или перестають приходить?
Читать полностью…
Доброго времени суток!
Собираю сайт с авторизацией по JWT. Собирается долго и токен успевает устареть.
Есть ли какие-то стандартные решения для обновления JWT во время сбора?
Haбиpaю нa oбучeниеe и в команду по крипте,заработок на разнице валют,тестнетах.
Зa oбyчeниe нe бepy, мoя выгoдa этo тoлькo %с вaшeй чиcтoй пpибыли💰
Еcть гoтoвыe cвязки
Paбoтaeте внyтpи извecтных биpж
Всему обучаю даже если совсем не понимаете в крипте.
Когда накидали елдаков на работе, но в итоге никто не может помочь по-делу
Читать полностью…
Собираешь без картинок, знаешь точное количество товаров. Запускаешь с картинками, смотришь реальную скорость, делишь количество скорость, получаешь 7 часов и идёшь спать...
Читать полностью…
тоже верно
это тогда надо было вести статистику с самого первого парсинга и отдельно учитывать скачку картинок и время на их постпроцессинг
В целом, это может быть одной из метрик в той же SRE (я про эту хрень https://github.com/mxssl/sre-interview-prep-guide ), правда это тебе покажет только то, что например количество товаров резко снизилось или увеличилось, а в реале ты эту метрику после 10-100й выгрузки смотреть не будешь. Так что вопрос только куда ты это знание применишь) А уж тем более прогресс бар, в идеале система должна тебе сигнализировать только если что-то идет не так, а в остальных случаях вести себя в духе "запустил и забыл, а дальше уж оно само"
Читать полностью…
архиваторы как то же предсказывают сколько времени займет распаковка
только у них уже есть размер архива, и растущий размер распакованного файла….. математика простая