Scrapy

31 Mar 2024 14:10

если интерфейс синхронный то или так или всё синхронно делать

Scrapy

31 Mar 2024 14:09

ну увы, цвета функций

Scrapy

31 Mar 2024 14:06

requests синхронный конечно

Scrapy

31 Mar 2024 08:43

Juan Villabona, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network

Scrapy

30 Mar 2024 18:35

штатный механизм "перехвата" это мидлвари

Scrapy

30 Mar 2024 18:35

что такое перехватить запрос

Scrapy

30 Mar 2024 18:03

если мне не изменяет моск, варн кидает считалка фингерпринта, пока - не страшно. И да, это не ошибка.
а по сабжу - оно же в редисе все хранит. Надо просто глянуть, там появился в дубфильтре новая запись или нет.
и да, проще всего, поставить dont_filter=True и будет счастье и оргазм, по крайней мере. не надо париться, тормознул дупфильтр твой реквест или нет

Scrapy

30 Mar 2024 17:43

но логи вы уже читали

Scrapy

30 Mar 2024 17:42

а как это понять если у меня только одна ?@wrar42

Scrapy

30 Mar 2024 17:40

да , он вызывается но мне нужен не FormRequest а JsonRequest из за этого первый раз я возвращаю JsonRequest а второй раз когда он должен вызвать process_request он просто не вызывается хотя я вернул Jsonrequest и он должен был еще раз вызваться

Scrapy

30 Mar 2024 17:38

что значит "не идет в process_response"

Scrapy

30 Mar 2024 17:36

что именно не получается?

Scrapy

29 Mar 2024 19:09

Паpсим любые группы со скрытыми участниками в телеграм рассылаем в лички ваш пост TG и What's app.
Инвайтим ваши группы в новые до 10К за раз.
Делаем чат ботов, скрипты продаём "неубиваемые" аккаунты тг.
Если интересно подробние пишите в лич.ку

Scrapy

29 Mar 2024 12:12

Можете посоветовать недорогой по вашему мнению хост? Мне нужен выделенный сервер на 4 ядра и 8 оперативы, или не выделенный, не знаю как правильно называется. Использовал hetzner до этого, но они подумали, что если на сервере работает selenium, то значит это дос атака на сайт

Scrapy

29 Mar 2024 10:18

мне даже исследований не понадобилось, сразу нафуй послали 🤣

Scrapy

31 Mar 2024 14:10

https://journal.stuffwithstuff.com/2015/02/01/what-color-is-your-function/

Scrapy

31 Mar 2024 14:09

Итого aiohttp? Или существует какая то альтернатива? просто в синхронной функции вызывать логгер... а в этом логгере наверно надо получать event loop, и в него передавать корутину. выглядит слишком мудрённо. Или только так и можно?

Scrapy

31 Mar 2024 14:06

Подскажите пожалуйста про подключение ELK:
Логи отправляю по http, вопрос: requests подойдет для отправки или может заблокировать основной поток?

Scrapy

30 Mar 2024 18:44

Угу, так то да, понять бы, какой смысл вкладывается в определение "перехватить"

Scrapy

30 Mar 2024 18:35

до его выполнения? нет, паук только про выполненные

Scrapy

30 Mar 2024 18:35

спасибо большо помогло! Еще такой вопрос когда редис тригерится я перехватываю запрос на мидлваре и меняю его а можно както в самом пауке его перехватить если да то как ?

Scrapy

30 Mar 2024 17:43

а это ошибка из за чего могла выйти ?

Scrapy

30 Mar 2024 17:42

ну и обычно что-то в логах видно

Scrapy

30 Mar 2024 17:41

ну ищите какая мидлварь его выкинула значит

Scrapy

30 Mar 2024 17:38

этот process_request выполняется вообще?

Scrapy

30 Mar 2024 17:37

я в process_request возвращаю JsonRequest. но он не идет в process_response и еще выходит такой варнинг

If you are using this function in a Scrapy component, and you are OK with users of your component changing the fingerprinting algorithm through settings, use crawler.request_fingerprinter.fingerprint() instead in your Scrapy component (you can get the crawler object from the 'from_crawler' class method).

Otherwise, consider using the scrapy.utils.request.fingerprint() function instead.

Either way, the resulting fingerprints will be returned as bytes, not as a string, and they will also be different from those generated by 'request_fingerprint()'. Before you switch, make sure that you understand the consequences of this (e.g. cache invalidation) and are OK with them; otherwise, consider implementing your own function which returns the same fingerprints as the deprecated 'request_fingerprint()' function.
  return request_fingerprint(request)

Scrapy

30 Mar 2024 15:35

Добрый день. Пытаюсь использовать scrapy-redis, когда приходит сигнал scrapy создает FormRequest , как мне его отловить в middleware и поменять на JsonRequest ?

Scrapy

29 Mar 2024 12:15

Попробуйте https://aeza.net или https://pq.hosting

Scrapy

29 Mar 2024 10:25

Тогда я пошёл дальше notcoin собирать 🤝😅

Scrapy

29 Mar 2024 10:17

Здравствуйте, подскажите пожалуйста как вы иследуете сайт перед парсингом, как понять какую защиту использует сайт?

Я в учебных целях пытаюсь распарсить сайт https://ee.bca-europe.com

но он очень странно себя ведёт))

Когда отправляю запрос в ответ получаю ответ типа '' нехрен здесь шарится 😊''

https://prnt.sc/ut4-jZAlpXnU