Scrapy

17 Sep 2024 10:10

id обьявы, id криейтора

Scrapy

17 Sep 2024 10:10

там же есть какое-то id объявы?

Scrapy

17 Sep 2024 10:10

в jsone точно нет их

Scrapy

17 Sep 2024 10:09

возможно) я хз если честно, надо проверять всё

Scrapy

17 Sep 2024 10:09

как я понял площадка сама их откидывает

Scrapy

17 Sep 2024 10:09

они не попадаются практически

Scrapy

17 Sep 2024 10:08

ну если обновить страницу то уже будут новые обьявления)

Scrapy

17 Sep 2024 10:08

ну там трафик большой, каждую секунду +- в одной и той же категории уже новых 50 обьяв

Scrapy

17 Sep 2024 10:07

ну ты же смотришь НОВЫЕ объявы только из того что я понял выше. С какой скоростью на сервисе генерятся новые объявы?

Scrapy

17 Sep 2024 10:07

тут надо понимать специфику работы площадки и как она продвигает обьявления

Scrapy

17 Sep 2024 10:05

смотри, мысленный эксперимент, если бы сервис был ОЧЕНЬ быстрым, и ты бы задал за минуту где-то 100500 запросов - то в ответах по 50 чанков были бы разные данные, или в целом дубликатов бы тебе навалило?

Scrapy

17 Sep 2024 10:04

да не, сервис ничего не задает

Scrapy

17 Sep 2024 10:04

ну вот, я так и предполагал

Scrapy

17 Sep 2024 10:03

по-моему ответ очевиден

Scrapy

17 Sep 2024 10:02

а "глубина" просмотра примерно какая, как ты отбриваешь дубликаты?

Scrapy

17 Sep 2024 10:10

оно всегда одинаковое?

Scrapy

17 Sep 2024 10:10

могу демку показать как оно работает

Scrapy

17 Sep 2024 10:09

дубликаты не то, что юзеры дубликатом подают, а то что в json'e отдается

Scrapy

17 Sep 2024 10:09

а твоя шарманка молотит

Scrapy

17 Sep 2024 10:09

я не удивлюсь, если там условный пул из 5000 объяв и оно его крутит отдавая по 50 пока новые поступают

Scrapy

17 Sep 2024 10:09

а дубликаты ты никак не проверяешь?

Scrapy

17 Sep 2024 10:08

и тогда ты хошь расшибешься выше RPS сервиса не прыгнешь.

Scrapy

17 Sep 2024 10:08

ну, так проверь это. может там в пределе допустим 500 объяв в минуту в среднем у сервиса.

Scrapy

17 Sep 2024 10:07

у меня фильтр стоит just in (только поступившие)

Scrapy

17 Sep 2024 10:06

а это надо тестить) я хз по идеи дубликаты могут быть ну или рано или поздно будут появляться

Scrapy

17 Sep 2024 10:05

проверка 1 ака где то 3-6 сек

Scrapy

17 Sep 2024 10:04

потому-что у тебя сервис задает скорость. или ты ее там по 5 минут обрабатываешь одну объяву?

Scrapy

17 Sep 2024 10:03

в текущей конфигурации из того что ты описал зная то, что мы знаем, никак не ускорит.

Scrapy

17 Sep 2024 10:02

я реально до сих пор не понимаю вопроса

Scrapy

17 Sep 2024 10:02

и тут вопрос ускорит ли процес поиска нужных аккаунтов если я сделаю что-то типо кеширования