Scrapy

17 Sep 2024 11:42

придется или порт искать или на пайтоне писать...

Scrapy

17 Sep 2024 11:40

ну короче общий совет - читайте там линк выше по dynamic content

Scrapy

17 Sep 2024 11:37

щас скажу точно с чем работал

Scrapy

17 Sep 2024 11:37

;) мне нужна до 30с на запрос максимум по 4-5 сайтам

Scrapy

17 Sep 2024 11:36

вово. хотя, если ресурсов дохрена, а сроки горят. и при этом скорость сбора норм типа раз в неделю

Scrapy

17 Sep 2024 11:35

в условном playwright тоже есть аналоги, даже лучше и чуть более автоматизированно

Scrapy

17 Sep 2024 11:35

вряд ли, но с другой стороны я и не стал бы это на браузере делать

Scrapy

17 Sep 2024 11:34

условно дожидаешься, что кнопка стала нажимабельной

Scrapy

17 Sep 2024 11:34

тыкнуть на поиск, ввести, подождать загрузку страницы, выбрать препарат, открыть карточку, развернуть блоки с описанием

Scrapy

17 Sep 2024 11:33

зависит всё от антифрода сайта

Scrapy

17 Sep 2024 11:33

надо резать все, картинки, шрифты, 3rd-party, без которых эта хрень все еще пашет

Scrapy

17 Sep 2024 11:33

если на странице рисовать потртрет монализы то да минута

Scrapy

17 Sep 2024 11:32

в целом, которые основаны на эмуляции действий юзера с браузера

Scrapy

17 Sep 2024 11:31

спасибо большое. наверное, остался только вопрос со временем

Scrapy

17 Sep 2024 10:28

ну какая-нить либа у которой унутре неонка rust/c++/c - правда тут может дольше займет в неё IO сделать...

Scrapy

17 Sep 2024 11:42

вот она, самая первая версия, древняя и кое как работающая

Scrapy

17 Sep 2024 11:39

это немного не то, он там тупой и многое не отслеживает, в частности часто еще 2/3 страницы догружаются пока нужная кнопка уже готова к нажатию, а этот дуремар ждет (и ждет, и ждет)

Scrapy

17 Sep 2024 11:37

и в параллель с несколькими юзерами...

Scrapy

17 Sep 2024 11:36

бесило даже не время, а то, что оно было крайне нестабильным и в среднем 2 запуска из 7 сыпались

Scrapy

17 Sep 2024 11:36

не, я знаю, у меня WebDriverWait был на эти вещи

Scrapy

17 Sep 2024 11:35

https://www.selenium.dev/selenium/docs/api/java/org/openqa/selenium/support/ui/ExpectedConditions.html

Scrapy

17 Sep 2024 11:34

вы неправильно готовили селен значит))

Scrapy

17 Sep 2024 11:34

я образно. на селене так и было

Scrapy

17 Sep 2024 11:34

делеи не делают, делают expected conditions в селене или его аналоги в playwright

Scrapy

17 Sep 2024 11:33

всё равно непонятно, какой именно информации

Scrapy

17 Sep 2024 11:33

получение нужной информации. допустим, я когда работал с сайтом по поиску лекарств (у него бан на обычных клиентов), приходилось кучу делеев втыкать и прокси наворачивать, потому что детектили один и тот же ип, уходила как раз минута

Scrapy

17 Sep 2024 11:33

на одну страницу? вряд ли

Scrapy

17 Sep 2024 11:31

реально ли скрапперы так долго выполняются? (минута+)

Scrapy

17 Sep 2024 10:30

Ну там вроде особо париться не надо - по 2 листа, по 2 сета (на юзеров/id объяв), раз в 1000 объяв куда-нить печатаешь их и смотришь есть ли в итоге дубликаты и сколько их.

Scrapy

17 Sep 2024 10:26

та куда быстрее чистого жса, там парсинг этого jsona вообще фигню занимает