Может действительно, задача слишком узкая..
Читать полностью…
чтобы получить от меня "комментарий, насколько эта мысль абсурдна/бредова?"? не знаю стоит ли оно того
Читать полностью…
Как её осмыслить/обрисовать более конкретно?
Читать полностью…
Вот только, кодя на расте 3 недели, получил прирост производительности x6 с одной машины
Читать полностью…
Да вот orjson и юзаем, с ним и результаты)
Пока витает в голове, шальная мысль, написать на расте нечто подходящее на scrapy, но только для хайлоада.
@ можно комментарий, насколько эта мысль абсурдна/бредова?
Читать полностью…
Благо никакими браузерными решениями не пахнет, проблема в основном в гигантских jsonах от гугла, из-за чего питону плохеет, а сетка еле до 200мбит доходит (из 1 гбита)
Читать полностью…
Не знаю, у себя упираюсь в процессор на обработке ответов, поэтому и интересует, можно ли что-то скомпилить чтоб быстрее было.
Редис я по привычке сунул :)
Читать полностью…
scrapy-bench как вариант можно прогнать
а то что в сетку это да, а вот parsel и w3lib могут от этого уже получить бенефиты
Читать полностью…
Скрапи редис до и после компиляции
Читать полностью…
ну вот я скомпилил scrapy.core, но дальше стандартная проблема что у нас нет для скрапи нормальных бенчмарков (и что скрапи один фиг в сетку упирается)
Читать полностью…
всем привет! оффтоп
кто пользуется тайп хинтами, пробовали компиляцию через mypyc?
если кто-то из разработчиков scrapy пробовал какую часть скомпилировать, то как прошел эксперимент? что не понравилось? просто интересно
сам этим занимался когда надо было отдельно обрабатывать поля в пришедших данных, которые имеют тип data/datetime
самым удобным решением оказалось пробегать по всем полям и узнавать их класс, если он один из нужных, то чето с ним делать
из интереса закомпилировав эту функцию с mypyc, данные стали обрабатываться на 30% быстрее, а от меня требовалось просто добавить пару строчек в pyproject.toml. бесплатный буст считай
Читать полностью…
Scrapy
27 April 2025 09:55
Do you have a solution to bypass Cloudflare
Читать полностью…
Scrapy
25 April 2025 12:27
о, спасибо! значит осталось соответствие установить элемента с json-ом. это будет намного более стабильнее чем сейчас
Читать полностью…
Scrapy
25 April 2025 12:09
"такая байда" - это что ? Тип корпуса вилки в розетку ? )))
Читать полностью…
Scrapy
27 March 2025 11:38
#вакансия
Всем привет!
Ищу мастера парсинга в свой проект.
Мы парсим iherb, goat, amazon, asos, macys, stockx, finishline, newbalance, michaelkors, coachoutlet, zappos и еще около 30 источников.
Мне нужно закрыть 2 направления:
1) парсинг нового контента с этих сайтов (достаточно выгрузки в CSV)
2) поддержка профилей (на PHP или Python) парсинга цен и наличия остатков
Пишите в ЛС @ , обсудим подробнее.
Читать полностью…
1045