Scrapy

17 September 2024 07:48

но я не привык ему доверять

Scrapy

17 September 2024 07:47

вопрос будет ли это быстрее того что у меня сейчас

Scrapy

17 September 2024 07:47

Как проверка чего-то в памяти может быть дольше запроса в сеть, и уж тем более через браузер

Scrapy

17 September 2024 07:45

я чет думал что проверка юзернейма в кеше будет дольше чем запрос через puppeter и парсинг количества подпищиков

Scrapy

17 September 2024 07:45

Ну конечно стоит хранить прямо в памяти это

Scrapy

17 September 2024 07:44

эти юзеры должны фильтроваться по количеству подписчиков, если у юзера больше 700 подпищиков то он невалидный

Scrapy

17 September 2024 07:41

Ничо не понял, каких юзеров

Scrapy

15 September 2024 07:05

остальная часть сервиса на нем проще реализуема мне

Scrapy

15 September 2024 01:31

Одноразово можно и руками качнуть 😂

Scrapy

15 September 2024 01:30

да, дотнет стек, придется искать проекты и как-то анализировать по факту

Scrapy

15 September 2024 01:29

А я уже тут расписался

Scrapy

15 September 2024 01:27

5-й вопрос довольно странный, но наверно фак разъяснит

Scrapy

15 September 2024 01:24

Хз о каком клиенте речь, но иногда можно запустить с другой проксей
P.S: curl? Серьёзно?

Scrapy

15 September 2024 01:22

Мне нравится этот чувак, раздает приветствия, пишет аккорды

Scrapy

14 September 2024 23:45

я на js pippeteer Юзал

Scrapy

17 September 2024 07:48

чат гпт говорит что если хранить кеш в оперативной памяти и проверять есть ли кто-то из 50 юзеров в кеше будет быстрее

Scrapy

17 September 2024 07:47

на самом деле пофиг как главное чтоб оно работало и давало перфоманс

Scrapy

17 September 2024 07:46

Я б не назвал хранение результата функции громким словом кеширование

Scrapy

17 September 2024 07:45

то есть кеширование будет иметь смысл?

Scrapy

17 September 2024 07:45

невалидных из 50 юзеров где то 95% то есть большая часть не подходит

Scrapy

17 September 2024 07:44

есть скрапер, каждый запрос на категорию я паршу json ответ с которого получаю масив в 50 юзеров

Scrapy

17 September 2024 06:38

подскажите как понять будет кеширование полезным? уже есть готовый парсер но скорость не очень, я думаю стоит ли делать кеш функцию которая будет неподходящие результаты сохранять, чтоб в дальнейшем не тратить время на проверку юзеров

Scrapy

15 September 2024 01:34

А зачем дотнет именно?

Scrapy

15 September 2024 01:30

если б оно одноразово было... а тут надо сервис замутить

Scrapy

15 September 2024 01:29

бегло просмотрел, где-то на 70% того что нужно там точно нашел

Scrapy

15 September 2024 01:29

А, ты вообще не собираешься питон юзать 😁

Scrapy

15 September 2024 01:26

точно, я чето не обратил внимание что он есть, извиняюсь

Scrapy

15 September 2024 01:24

Что работает, то и используй

Scrapy

14 September 2024 23:45

а что насчет вот базовых таких моментов, которые в соо? (или это коммерческая тайна?)

Scrapy

14 September 2024 23:45

погугли либы под дотнет и всё