Scrapy
06 September 2024 07:59
хорошо, спасибо еще раз
Читать полностью…
Scrapy
06 September 2024 07:58
они настраиваться по-разному должны
Читать полностью…
Scrapy
06 September 2024 07:56
необычный прокси терминирует сам, но я таких лично не юзал и лет 5 назад думал что их не бывает
скрапи их поддерживает не очень
Читать полностью…
Scrapy
06 September 2024 07:55
пока не совсем разбираюсь в уровнях osi дальше 3, поэтому хочу спросить знатоков
если прокси не поддерживает https (только http), есть ли смысл пробовать обходить tls fingerprint защиту?
не совсем понимаю, конечный сервер с кем делает хендшейк, со мной или с прокси?
Читать полностью…
Scrapy
06 September 2024 05:57
Вот этот «деприкейтед»
Я новенький в Scrapy. Но мне нравится библиотека )
Читать полностью…
Scrapy
05 September 2024 20:19
33 мегабайта на запрос?? Не, ну в целом для современного веба это норм, но прям на первый запрос, без кэширования, я б туда копал еще
Читать полностью…
Scrapy
05 September 2024 17:34
еще удостовериться что gzip/bz включен и нормально проходит - поможет текст пожать. пошаманить с кэшем
Читать полностью…
Scrapy
05 September 2024 17:30
1. попробуйте https://github.com/scrapy-plugins/scrapy-playwright
2. а еще лучше https://docs.scrapy.org/en/latest/topics/dynamic-content.html
3. а что за сайт? (тем более, в json'е ответ возвращает, может там сплеш и не нужен?
Читать полностью…
Scrapy
05 September 2024 16:53
Знатоки, подскажите 🙏. Пытаюсь подгрузить в splash длинный - длинный сайт с автоскроллингом. Но получаю timeoute error. Как это обойти?
"type": "GlobalTimeoutError",
Время —max-timeout менял вот так
docker run -it -p 8050:8050 scrapinghub/splash --max-timeout 3600
Параметр wait Lua также менял до сотых….
function main(splash, args)
splash:on_request(function(request)
request:set_timeout(60)
request:set_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')
request:set_header('Content-Type', 'application/json')
end)
assert(splash:go(args.url))
splash.images_enabled = false
assert(splash:wait(3))
local scroll_script = [[
function() {
let initialScrollY = window.scrollY;
window.scrollBy(0, -window.innerHeight);
return initialScrollY;
}
]]
local get_scroll_position = splash:jsfunc(scroll_script)
local previous_scroll_position = 0
while true do
local current_scroll_position = get_scroll_position()
splash:wait(0.5)
if current_scroll_position == previous_scroll_position then
break
end
previous_scroll_position = current_scroll_position
end
return {
html = splash:html(),
png = splash:png()
}
end
Спасибо )
Читать полностью…
Scrapy
05 September 2024 14:14
видео тоже может быть, реклама, трекеры для рекламы
Читать полностью…
Scrapy
05 September 2024 14:12
prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs)
Читать полностью…
Scrapy
05 September 2024 14:10
картинки и прочие ресурсы не грузить
Читать полностью…
Scrapy
04 September 2024 17:49
На старте - авторизуюсь и получаю.
Читать полностью…
Scrapy
04 September 2024 17:46
Репонсы приходят, но не авторизованные.
На страницах нет части информации, которая есть, когда авторизован.
Читать полностью…
Scrapy
04 September 2024 17:45
Респонсы не приходят совсем? Или перестають приходить?
Читать полностью…
1045