Scrapy

17 Sep 2024 08:19

ну и? в чем проблема в оперативке хранить?
а как именно в оперативка - дерис или просто список, похрен

а, если что, редис из стока надо настраивать, отключать частые сохранения, а то тормозить будет

Scrapy

17 Sep 2024 08:01

посмотрите про алгоритмы кеширования, я думаю это поможет в решении вопроса (их там много - LRU, MRU и т.д)
на ютубе есть отличное видео объясняющее что к чему

Scrapy

17 Sep 2024 07:48

но я не привык ему доверять

Scrapy

17 Sep 2024 07:47

вопрос будет ли это быстрее того что у меня сейчас

Scrapy

17 Sep 2024 07:47

Как проверка чего-то в памяти может быть дольше запроса в сеть, и уж тем более через браузер

Scrapy

17 Sep 2024 07:45

я чет думал что проверка юзернейма в кеше будет дольше чем запрос через puppeter и парсинг количества подпищиков

Scrapy

17 Sep 2024 07:45

Ну конечно стоит хранить прямо в памяти это

Scrapy

17 Sep 2024 07:44

эти юзеры должны фильтроваться по количеству подписчиков, если у юзера больше 700 подпищиков то он невалидный

Scrapy

17 Sep 2024 07:41

Ничо не понял, каких юзеров

Scrapy

15 Sep 2024 07:05

остальная часть сервиса на нем проще реализуема мне

Scrapy

15 Sep 2024 01:31

Одноразово можно и руками качнуть 😂

Scrapy

15 Sep 2024 01:30

да, дотнет стек, придется искать проекты и как-то анализировать по факту

Scrapy

15 Sep 2024 01:29

А я уже тут расписался

Scrapy

15 Sep 2024 01:27

5-й вопрос довольно странный, но наверно фак разъяснит

Scrapy

15 Sep 2024 01:24

Хз о каком клиенте речь, но иногда можно запустить с другой проксей
P.S: curl? Серьёзно?

Scrapy

17 Sep 2024 08:03

у меня цифры по скормнее будут) трафик на маркетплейсе всего 15 лямов пользователей, и ежедневно активных хз сколько, думаю не больше 1 млн а то и меньше

Scrapy

17 Sep 2024 07:57

описанная задача напоминает теорему про сферического коня в вакууме. И да, по моему, идет подмена понятия, что такое кэш. Речь то идет про что то вроде "храним старых данных что бы проверять что то"
но, если абстрагироваться, то
если надо тупо чекать имя юзверя, обрабатывали или нет раньше - то и 10 000 есть смысл хранить в памяти. Да, сколько угодно можно хранить в памяти, пока она не кончится. Только надо понимать, что это будет хранится только пока скрипт работает. Стопнулся скрипт - очистилась память.
Если надо что то независимое, то, есть смысл посмотреть на что то вроде Redis. У меня есть реализация фильтра дублей, 1 млрд ID'шек на 40 символов каждая весит 68 Гб. Проверка на дубли идет со скоростью, что то около 5 тыс проверок в секунду....

Scrapy

17 Sep 2024 07:48

чат гпт говорит что если хранить кеш в оперативной памяти и проверять есть ли кто-то из 50 юзеров в кеше будет быстрее

Scrapy

17 Sep 2024 07:47

на самом деле пофиг как главное чтоб оно работало и давало перфоманс

Scrapy

17 Sep 2024 07:46

Я б не назвал хранение результата функции громким словом кеширование

Scrapy

17 Sep 2024 07:45

то есть кеширование будет иметь смысл?

Scrapy

17 Sep 2024 07:45

невалидных из 50 юзеров где то 95% то есть большая часть не подходит

Scrapy

17 Sep 2024 07:44

есть скрапер, каждый запрос на категорию я паршу json ответ с которого получаю масив в 50 юзеров

Scrapy

17 Sep 2024 06:38

подскажите как понять будет кеширование полезным? уже есть готовый парсер но скорость не очень, я думаю стоит ли делать кеш функцию которая будет неподходящие результаты сохранять, чтоб в дальнейшем не тратить время на проверку юзеров

Scrapy

15 Sep 2024 01:34

А зачем дотнет именно?

Scrapy

15 Sep 2024 01:30

если б оно одноразово было... а тут надо сервис замутить

Scrapy

15 Sep 2024 01:29

бегло просмотрел, где-то на 70% того что нужно там точно нашел

Scrapy

15 Sep 2024 01:29

А, ты вообще не собираешься питон юзать 😁

Scrapy

15 Sep 2024 01:26

точно, я чето не обратил внимание что он есть, извиняюсь

Scrapy

15 Sep 2024 01:24

Что работает, то и используй