Scrapy

30 August 2024 06:01

/usr/local/lib/python3.10/site-packages/scrapy_splash/dupefilter.py:20:
python-1 | ScrapyDeprecationWarning: Call to deprecated function
python-1 | scrapy.utils.request.request_fingerprint().
python-1 |
python-1 | If you are using this function in a Scrapy component, and you are OK with users
python-1 | of your component changing the fingerprinting algorithm through settings, use
python-1 | crawler.request_fingerprinter.fingerprint() instead in your Scrapy component
python-1 | (you can get the crawler object from the 'from_crawler' class method).
python-1 |
python-1 | Otherwise, consider using the scrapy.utils.request.fingerprint() function
python-1 | instead.

Scrapy

29 August 2024 16:50

странно, линк не прыгает автоматом на текст, короче надо искать слова How Does NGINX Determine Whether or Not to Cache Something?

Scrapy

29 August 2024 16:48

ой тут уже ругань пока до низу долистал, фуфуфу

Scrapy

29 August 2024 16:47

та иди нахуй уже хуесос

Scrapy

29 August 2024 16:36

Так вот и надо вопрос задавать.
"Это пробовал и это пробовал, что еще можно применить?"

Scrapy

29 August 2024 16:32

но как обычно вылез знаток который уверил что это невозможно и отправил учить мат часть)

Scrapy

29 August 2024 16:29

То есть это вопрос чисто постебаться был?

Scrapy

29 August 2024 16:28

можно попробовать с cache-control поиграть

Scrapy

29 August 2024 16:26

Не понял что такое мат часть

Scrapy

29 August 2024 16:23

Никаких, он на стороне сервера, а не клиента

Scrapy

28 August 2024 14:45

кто знает как в python selenium заполнять 2 поля в alerts?

Scrapy

23 August 2024 17:47

Чтобы по голосовой команде мелкие вопросы выполнял

Scrapy

21 August 2024 05:23

Спасибо, а как называется точно zite?

Scrapy

20 August 2024 18:51

с, соответственно, моделями, тренированными на эти типы

Scrapy

20 August 2024 18:50

У зайт есть такой сервис. Но он не дешевый емнип

Scrapy

30 August 2024 06:01

Привет! Столкнулся с такой проблемой на Splash:

Scrapy

29 August 2024 16:48

Прокаченная правая ручка устала у школьника ? Захотелось общения ?))))

Scrapy

29 August 2024 16:48

в целом, зависит от настройки его на серваке, если там чуток подзибили болт, то можно: https://blog.nginx.org/blog/nginx-caching-guide#:~:text=By%20default%2C%20NGINX%20respects%20other%20directives%20in%20the%20Cache%2DControl%20header%3A%20it%20does%20not%20cache%20responses%20when%20the%20header%20includes%20the%20Private%2C%20No%2DCache%2C%20or%20No%2DStore%20directive.

Scrapy

29 August 2024 16:47

Обосрался и начал оправдываться... Детсад

Scrapy

29 August 2024 16:35

то что сервер позволяет выполнить запрос мимо кэша, не значит, что он позволяет обойти этот кэш. Он именно позволяет выполнить запрос....
и да, дырки в защитах и(или) настройках не есть истинна последней инстанции, которую надо, вот прям, документировать

Scrapy

29 August 2024 16:31

нет, вопрос был нормальный, проблема в том что всегда помогало прокинуть url param рандомный например от времени или же post запрос если он разрешен серверов, редко но бывало что и хедер cache-conrol помогал, а вот щас ситуация такая что ничего не помогает, решил спросить у ребят

Scrapy

29 August 2024 16:29

да, я знаю это, а можно post запрос вместо get отправить, тоже обойдет кеш, но интересно что мишка ношков высрет послушать

Scrapy

29 August 2024 16:28

Можно попробовать добавить какие-нибудь параметры от фонаря, типа ?abc=def в url

Scrapy

29 August 2024 16:25

учи мат часть, сервер настроил кеширование раз в час, значит раз в час только данные обновляются. Хочешь - взломай - и пропиши свои значения. Вопрос изначало связан с непониманием мат части.

Scrapy

29 August 2024 11:14

добрый день, какие есть способы обойти cache nginx?

Scrapy

26 August 2024 01:18

Hi all who wan scrape a website with cloudflare?

Scrapy

23 August 2024 07:38

здарова, народ может кто посоветовать на гитхабе голосового помошника на руском? и может кто знает есть ли api у яндекс музыки?

Scrapy

20 August 2024 18:51

а тут хочется универсально

Scrapy

20 August 2024 18:50

генерик нету всё-таки, только конкретные типы

Scrapy

20 August 2024 17:12

-d setting=CATEGORIES_TO_SAVE=["gros-electromenager", "petit-electromenager"]
всем спасибо за внимание
монолог окончен))