scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

ничего не надо "учить конкретно"

Читать полностью…

Scrapy

и как оптимально изучить его моменты что бы парсить данные с ресурсов

Читать полностью…

Scrapy

в данном случае из библиотеки селениум переносит в среду разработки веб драйвер?

Читать полностью…

Scrapy

выше скрин на белом фоне - фром селениум импорт вебдрайвер

Читать полностью…

Scrapy

ну окей, это я понял. Иван написал, насколько я понял, что это не команда для автоматической загрузки бинарника(наверно имел ввиду не бинарника, хз) веб драйвера. я уже дальше хочу понять, что это за команда и в каком контексте она используется

Читать полностью…

Scrapy

типа сам код для пайтона универсальный но нижние три строки это дополнение к каждым различиям? - браузер и т.д.

Читать полностью…

Scrapy

http://letmegooglethat.com/?q=selenium+base

Читать полностью…

Scrapy

Просто возьмите webdriver manager или selenium base - думаю давно бы уже заработал код

Читать полностью…

Scrapy

Это только python оболочка, а сам драйвер ему надо обеспечить в системе. И хром совместимой версии

Читать полностью…

Scrapy

from selenium import webdriver - разве автоматом не загружает веб драйвер для браузера?

Читать полностью…

Scrapy

Он и не должен. А пакеты обёртки вокруг голого селена это делают без проблем

Читать полностью…

Scrapy

Ну и если все таки нужен, есть масса проектов где все это решено. Webdriver manager, selenium base. Все что нужно сами загружают и все работает с пары строчек когда с нуля

Читать полностью…

Scrapy

что тогда пригодится?
в чем может быть проблема?

Читать полностью…

Scrapy

Пока что на обычном спайдере ), спасибо за помощь

Читать полностью…

Scrapy

Я бы делал именно так

Читать полностью…

Scrapy

так а что учить конкретно

Читать полностью…

Scrapy

если вы не понимаете в питоне вообще буквально ничего, вам стоит сначала хотя бы начать изучать питон, а только потом вот этим всем заниматься

Читать полностью…

Scrapy

вы не понимаете что в питоне делает import?

Читать полностью…

Scrapy

о какой команде вы говорите?

Читать полностью…

Scrapy

вы о чём вообще?
вам написали "разве автоматом не загружает веб драйвер для браузера?", вы не смогли показать где такое написано

Читать полностью…

Scrapy

кароче вроде как не бинарник получилось установить

Читать полностью…

Scrapy

Так, можно тут пожалуйста поподробнее, что за селением бэйз, и как его взять вместе с вебрайвером менеджером

Читать полностью…

Scrapy

Здесь не написано, что вам на комп автоматически скачается нужный бинарник webdriver. Здесь просто одинаковые названия у модуля python и совсем другой сущности - исполняемого файла собственно драйвера. Он зависит от ос, от хрома и тп и не может быть универсальным. А код python универсальный

Читать полностью…

Scrapy

Нет, где это написано?

Читать полностью…

Scrapy

Ещё и функции всякие дополнительные имеют.

Читать полностью…

Scrapy

так я выше написал что селениум не хочет ничего загружать автоматом

Читать полностью…

Scrapy

playwright
понятия не имею в чём проблема, мой пойнт в том что это неважно

Читать полностью…

Scrapy

парни привет, с наступившим! библиотека селениум не хочет автоматом загрузить вебдрайвер для эдж без бинарника. гпт говорит интерпретатор проверить его нахождение с селениумом, они все в папке .venv. может проблема в винде, потому что для бинарного веб драйвера я устанавливал исключение(путь не указывал). кароче задача устанавливать через сам пай чарм вебдрайвер, без бинарника

Читать полностью…

Scrapy

От CrawlSpider в этой задаче плюсов никаких, но вам решать

Читать полностью…

Scrapy

Ну, кроулер вроде сам ходит по ссылкам. Я мог бы это сделать на основе обычного паука.

Читать полностью…
Subscribe to a channel