Ребят как оплачиваете brightdata с России?
Читать полностью…
@ тут тебя заработок ждет...
Читать полностью…
Ну я тогда подумал, что я хз как через мидлвари это сварить, а потом, на следующий день, забыл про то, что надо глянуть как в мидлварях это возможно сделать; и начал отвечать на прошлые сообщения, на которые еще не отвечал, потому что общение с людьми приносит больше удовольствия чем айтишечка 😁
Читать полностью…
Я в 5 вечера написал, после этого не писал, сегодня еще отписал
Читать полностью…
И в тикете я помню что её предлагал
Читать полностью…
ну и, фули было размазывать гавно по проруби и мусолить тему весь вчерашний день?
первая ссыль на гугле по корректно заданному вопросу ведет на иссю + 5 минут на проверку, и находим изумительный метод в классе SPIDER_MIDDLEWARES под названием def process_spider_exception(self, response, exception, spider): который сейчас отлично отработал деление на ноль в пауке.... да, в лог трейсбеком насрало, но, дало увидеть респонс, что, как я понял, и надо было....
Читать полностью…
@ ты же там отвечал... колебек errback отловит деление на ноль в методе?
Читать полностью…
ну короче, нельзя и всё
Читать полностью…
нигде не было такого вопроса. И так понятно, что остановится
Читать полностью…
а, ну да, интересовало изначально, чтобы было видно конкретно, что это в parse
Читать полностью…
ну, изначальный вопрос был про совсем другое.... это потом уже пошла речь про отлов, а дискорд, вообще, очень позже всплыл
Читать полностью…
хех, так, оно, выясняется, что надо не просто спрятать ошибки, а обработать? собстн, как всегда - "корректно заданный вопрос = 50% ответа" :))).
так да, тогда - надо конкретные куски кода оборачивать и отправлять это дело в логи/или еще куда... Либо, не оборачивать, а пользоваться get'ами, как я и говорил... :)
Читать полностью…
зачем мне логи? Меня интересует содержание респонсов, потому что их не всегда можно воспроизвести
Читать полностью…
смотри, случаются при обработке ответов на запросы ошибки, потому что те данные, которые мне нужны, находятся не в А, а в Б (совсем разные пути). Иногда случается, что этих данных вовсе нету: я хочу все эти случаи обрабатывать. Для этого нужно менять код. Так как воспроизвести ошибку временами не представляется возможным, я хочу присылать файлы, где случилась ошибка, на дискорд сервер. Теоретически можно было бы их и сохранять себе - это не важно. Суть в том, чтобы перехватить ошибку
Читать полностью…
Привет, коллеги из Scrapy! 👋
Рады представить вам Mango Proxy — резидентские прокси, которые идеально подходят для сложных задач парсинга, автоматизации, фарминга и других data-driven проектов.
Почему именно Mango Proxy?
🔹 Собственная инфраструктура
40+ серверов по всему миру обеспечивают минимальный пинг, стабильность и возможность гибкой настройки.
🔹 Белые IP с низким Score
Предоставляем эксклюзивные пулы ISP с гарантией Score 0–20 для повышения доверия и эффективности ваших запросов.
🔹 Глобальный охват
Доступ к более чем 90 миллионам IP-адресов, покрывающим практически все страны мира.
🔹 Гибкость и управление
Индивидуальная настройка пулов, поддержка UDP протокола, неограниченные сессии и удобная статистика для контроля ваших прокси.
🔹 Трафик без срока хранения
Ваш баланс никогда не сгорит — используйте трафик в любое удобное время.
🔹 Доступная стоимость
Тарифы начинаются от 0.64$ за ГБ, и мы готовы предложить индивидуальные условия для крупных проектов.
🎁 Подарок для участников Scrapy!
Всем желающим участникам этого чата мы дарим 1 ГБ для тестирования!
📩 Пишите мне в ЛС за подробностями - @
Попробуйте Mango Proxy бесплатно и убедитесь, что это лучший выбор для ваших задач! 🚀
Читать полностью…
Всем привет, при запуске паука на ubuntu-server я получаю вот такую ошибку HTTPConnectionPool(host='localhost', port=54189): Read timed out. (read timeout=120). У меня вот такие зависимости:
[tool.poetry.dependencies]
python = "^3.12"
scrapy = "^2.11.2"
sqlalchemy = "^2.0.36"
alembic = "^1.14.0"
psycopg2-binary = "^2.9.10"
environs = "^11.0.0"
webdriver-manager = "^4.0.2"
scrapy-selenium4 = { git = "https://github.com/jirpok/scrapy-selenium4.git" }
pydantic = { version = "^2.9.2", extras = ["email"] }
selenium = "^4.26.1"
я так понял, это из-за scrapy-selenium4, но я ничего не могу сделать( Может кто-нибудь сможет мне помочь с запуском?
Читать полностью…
Ну ладно, затупил, сорян
Читать полностью…
ну, что умеешь вырывать отельные фразы из контекста и отвечать только на них, игнорируя оставшуюся часть - это я уже догадался :)).
главная мысль сообщения была в том, что все обсуждение велось на совершенно другие темы. При правильно постановке вопроса - ответ нашелся за 12 минут, вместе с написанием матерного коммента :)
Читать полностью…
посему, как я выше сказал "корректно заданный вопрос = 50% ответа"©
о, надо распечатать и прилепить на стену, а то опять в оффе мозг успели вынуть :)))
Читать полностью…
я уже выше перепроверил, мидлварь ловит, а ты про нее в начале то же говорил
Читать полностью…
моего знания буржяза не хватает прочесть все эти простынки :))))
Читать полностью…
и это я то же говорил :)
Читать полностью…
изначально вопрос звучал как "остановится ли паук", на этот вопрос и пытались ответить, потом все свернуло что "мне надо что бы страницы обрабатывались, наверное надо экранировать ошибки", теперь - ошибки надо отлавливать и анализировать.....
Читать полностью…
я считаю правильно вопрос задан 😁️️
Читать полностью…
ну изначально вопрос звучал "возможно ли как-то перехватить то, что это произошло в функции parse?" иными словами перехватить ошибку
Читать полностью…
логгинг у меня настроен и без этого...
Читать полностью…
мне не так интересна теория, как практика 😁
Читать полностью…
@, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch
Читать полностью…
почитай лучше про обсервабилитю эту, это будет более грамотный подход
Читать полностью…
1045