Scrapy

17 Sep 2024 10:24

я посмотрел скорость появления обьв примерно 5-10 в секунду, учитывая что сейчас не прайм тайм для америки, их будет 50-100 в секунду, дубликатов я особо не наблюдаю

Scrapy

17 Sep 2024 10:16

вдруг их там дохера, тогда тебе имеет смысл перед тем как парсить весь json посылая на парсинг объяву, создать уже ids=set() и отправлять на "расширенный" парсинг только if current_id not in ids

Scrapy

17 Sep 2024 10:11

ну каждая обьява - отдельный айди

Scrapy

17 Sep 2024 10:11

у конкретной объявы имеется в виду

Scrapy

17 Sep 2024 10:10

id обьявы, id криейтора

Scrapy

17 Sep 2024 10:10

там же есть какое-то id объявы?

Scrapy

17 Sep 2024 10:10

в jsone точно нет их

Scrapy

17 Sep 2024 10:09

возможно) я хз если честно, надо проверять всё

Scrapy

17 Sep 2024 10:09

как я понял площадка сама их откидывает

Scrapy

17 Sep 2024 10:09

они не попадаются практически

Scrapy

17 Sep 2024 10:08

ну если обновить страницу то уже будут новые обьявления)

Scrapy

17 Sep 2024 10:08

ну там трафик большой, каждую секунду +- в одной и той же категории уже новых 50 обьяв

Scrapy

17 Sep 2024 10:07

ну ты же смотришь НОВЫЕ объявы только из того что я понял выше. С какой скоростью на сервисе генерятся новые объявы?

Scrapy

17 Sep 2024 10:07

тут надо понимать специфику работы площадки и как она продвигает обьявления

Scrapy

17 Sep 2024 10:05

смотри, мысленный эксперимент, если бы сервис был ОЧЕНЬ быстрым, и ты бы задал за минуту где-то 100500 запросов - то в ответах по 50 чанков были бы разные данные, или в целом дубликатов бы тебе навалило?

Scrapy

17 Sep 2024 10:24

PS в твоем случае вероятнее это надо делать не с id объяв, а именно с creator id. лично я бы посмотрел обе хрени чтоб поприкидывать
ЗЗЫ что ты используешь для парсинга json?

Scrapy

17 Sep 2024 10:14

ну вот смотри - сделай там себе для примера ids=[], и добавляй пока парсишь в него все id'шники. как соберешь тыщ 10 запросов, сделай len(set(ids)) - таким макаром ты сможешь хотя б примерно оценить встречаются ли у тебя дубликаты.

Scrapy

17 Sep 2024 10:11

не зависит там странно от даты (а то бывают акселераты и такие...)

Scrapy

17 Sep 2024 10:11

не, оно вроде меняется с каждым обьявлением

Scrapy

17 Sep 2024 10:10

оно всегда одинаковое?

Scrapy

17 Sep 2024 10:10

могу демку показать как оно работает

Scrapy

17 Sep 2024 10:09

дубликаты не то, что юзеры дубликатом подают, а то что в json'e отдается

Scrapy

17 Sep 2024 10:09

а твоя шарманка молотит

Scrapy

17 Sep 2024 10:09

я не удивлюсь, если там условный пул из 5000 объяв и оно его крутит отдавая по 50 пока новые поступают

Scrapy

17 Sep 2024 10:09

а дубликаты ты никак не проверяешь?

Scrapy

17 Sep 2024 10:08

и тогда ты хошь расшибешься выше RPS сервиса не прыгнешь.

Scrapy

17 Sep 2024 10:08

ну, так проверь это. может там в пределе допустим 500 объяв в минуту в среднем у сервиса.

Scrapy

17 Sep 2024 10:07

у меня фильтр стоит just in (только поступившие)

Scrapy

17 Sep 2024 10:06

а это надо тестить) я хз по идеи дубликаты могут быть ну или рано или поздно будут появляться

Scrapy

17 Sep 2024 10:05

проверка 1 ака где то 3-6 сек