А точно нужно обойти прям все-все мидлвари?
Читать полностью…
в app.py ничего особенного просто маршрутизация и рендер темплейт ко всем html файлам
Читать полностью…
Всем привет, такой вопрос: впервые собираюсь задеплоить свой сайт на хостинге ps.kz теперь возникает ошибка, сама структура файла на картинке, загрузил в файловый менеджер ps.kz эти файлы и запустил сайт
Читать полностью…
они настраиваться по-разному должны
Читать полностью…
необычный прокси терминирует сам, но я таких лично не юзал и лет 5 назад думал что их не бывает
скрапи их поддерживает не очень
Читать полностью…
пока не совсем разбираюсь в уровнях osi дальше 3, поэтому хочу спросить знатоков
если прокси не поддерживает https (только http), есть ли смысл пробовать обходить tls fingerprint защиту?
не совсем понимаю, конечный сервер с кем делает хендшейк, со мной или с прокси?
Читать полностью…
Вот этот «деприкейтед»
Я новенький в Scrapy. Но мне нравится библиотека )
Читать полностью…
33 мегабайта на запрос?? Не, ну в целом для современного веба это норм, но прям на первый запрос, без кэширования, я б туда копал еще
Читать полностью…
еще удостовериться что gzip/bz включен и нормально проходит - поможет текст пожать. пошаманить с кэшем
Читать полностью…
Знатоки, подскажите 🙏. Пытаюсь подгрузить в splash длинный - длинный сайт с автоскроллингом. Но получаю timeoute error. Как это обойти?
"type": "GlobalTimeoutError",
Время —max-timeout менял вот так
docker run -it -p 8050:8050 scrapinghub/splash --max-timeout 3600
Параметр wait Lua также менял до сотых….
function main(splash, args)
splash:on_request(function(request)
request:set_timeout(60)
request:set_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')
request:set_header('Content-Type', 'application/json')
end)
assert(splash:go(args.url))
splash.images_enabled = false
assert(splash:wait(3))
local scroll_script = [[
function() {
let initialScrollY = window.scrollY;
window.scrollBy(0, -window.innerHeight);
return initialScrollY;
}
]]
local get_scroll_position = splash:jsfunc(scroll_script)
local previous_scroll_position = 0
while true do
local current_scroll_position = get_scroll_position()
splash:wait(0.5)
if current_scroll_position == previous_scroll_position then
break
end
previous_scroll_position = current_scroll_position
end
return {
html = splash:html(),
png = splash:png()
}
end
Спасибо )
Читать полностью…
видео тоже может быть, реклама, трекеры для рекламы
Читать полностью…
prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs)
Читать полностью…
1045