Scrapy

11 Apr 2024 14:13

где тут видно что разные

Scrapy

11 Apr 2024 14:13

но они разные всегда

Scrapy

11 Apr 2024 14:12

вот я тоже только что об этом подумал

Scrapy

11 Apr 2024 14:11

могу сюда лог скинуть?

Scrapy

11 Apr 2024 10:48

в методе connectionLost класса _ResponseReader нашёл

if not self._fail_on_dataloss:
                self._finish_response(flags=["dataloss"])
                return

Scrapy

11 Apr 2024 10:44

Мб в response.meta что-то будет?

Scrapy

11 Apr 2024 10:43

Не хочу говорить ерунды, но я бы попробовал посмотреть в ide код
from scrapy core.downloader.handlers import http11
и проверил нельзя ли как-то продуплицировать и под себя поменять

Scrapy

11 Apr 2024 10:43

или ты про то, что стоит в пайплайне чекать существуют/не поломаны ли файлы по путям?

Scrapy

11 Apr 2024 10:37

это надо в пайплайне ловить, возможно руками

Scrapy

11 Apr 2024 10:34

сформулируй нормально задачу и сразу получишь ответ

Scrapy

10 Apr 2024 18:53

logging.warn удобнее

Scrapy

10 Apr 2024 17:36

А принт нельзя делать жёлтым или красным

Scrapy

10 Apr 2024 17:17

как принтануть в монгу

Scrapy

10 Apr 2024 17:05

Мне лично в коде удобней читать и модифицировать ф-строки

Scrapy

10 Apr 2024 17:01

lazy evaluation пропадает

Scrapy

11 Apr 2024 14:13

если уверены в этом значит не дупфильтр

Scrapy

11 Apr 2024 14:13

я думал, что он фильтрует пост запросы по переданным данным

Scrapy

11 Apr 2024 14:11

голосую за дупфильтр

Scrapy

11 Apr 2024 14:09

всем привет, возник вопрос. из метода parse я делаю yield scrapy.http.JsonRequest, но, в метод parse у меня допустим проходит 34 страницы, а пост запрос отправляется только лишь для 13, в чем может быть проблема?

Scrapy

11 Apr 2024 10:45

ну наследоваться от хендлера вариант есть и его под себя настроить, чтоб тот ексепшн возвращал а не варнинг, но как то оверкил как будто

Scrapy

11 Apr 2024 10:43

с одним из вариантов настройки это будет в флагах респонса, с другим не помню, наверно будет эксепшн

Scrapy

11 Apr 2024 10:43

нет, про ловить ворнинг, но я не помню как это делается

Scrapy

11 Apr 2024 10:38

а как такой варнинг словить?

Scrapy

11 Apr 2024 10:37

а что не так? при скачивании некоторых картинок, бывает даталосс, такие итемы проходят дальше по пайплайнам с путём до несуществующей картинки, или которая весит 0 байт
сейчас решаю это проходят по бд с путями до картинок, проверяя их существование или размер и скачиваю заново
хочу чтоб при таком варнинге, который я привёл, итем дропался

Scrapy

11 Apr 2024 10:31

помогите, пожалуйста, как дропать итемы, у которых в реквестах (в основном с картинками) был дата лосс

2024-04-08 17:03:22 [scrapy.core.downloader.handlers.http11] WARNING: Got data loss in ~url~. If you want to process broken responses set the setting DOWNLOAD_FAIL_ON_DATALOSS = False -- This message won't be shown in further requests

Scrapy

10 Apr 2024 17:45

std_print=print
def print(*args, **kwargs):
    db[“collection”].insert_one({“print”:args})
    std_print(*args, **kwargs)

Scrapy

10 Apr 2024 17:21

думаю можно изловчиться, но мне без надобности

Scrapy

10 Apr 2024 17:15

тогда можно не заморачиваться с логером и использовать принты

Scrapy

10 Apr 2024 17:02

ф строки форматируются сразу
а если уровень логирования выставлен иной, чем в вызове, строки не форматируются

Scrapy

10 Apr 2024 16:41

если логируешь список с огромной кучей больших словарей то тут лучше через %, это будет смысл иметь