Scrapy

20 Jun 2024 14:23

пайплайном, как я понимаю

2024-06-20 15:20:30 [scrapy.pipelines.files] DEBUG: File (cached):

Scrapy

19 Jun 2024 17:29

Спасибо огромно, почитаю

Scrapy

19 Jun 2024 17:27

то оно даже чото похожее на правду выдавать начинает:

Scrapy

19 Jun 2024 15:47

и возможно были какие-нибудь примеры кода в трекере

Scrapy

19 Jun 2024 15:46

Привет. Можно ли динамически определить allow_domains? То есть, в пауке sitecrawl я получаю сайт из базы данных в методе start_requests и хотел бы обновлять allow_domains в этом методе.

Scrapy

19 Jun 2024 11:20

понял, хорошо
думал что кроме как в parse нигде больше нельзя yield item

Scrapy

19 Jun 2024 11:18

parse теперь станет start_request? не надо будет ещё писать логику чтоб parse ещё возвращал итемы?

Scrapy

19 Jun 2024 11:12

и главное оставить чтоб parse был генератором итемов?

Scrapy

19 Jun 2024 11:10

перед основными реквестами надо послать несколько вспомогательных

Scrapy

19 Jun 2024 11:09

Надо сделать нейронку легковесную, чтобы в нее текст со страницы грузишь, а она потом выдает в нужном формате данные.

Пока хз как это делать и куда копать))

Scrapy

19 Jun 2024 11:06

первый вариант это регексы/сравнение со списком цветов

Scrapy

19 Jun 2024 11:05

Иногда просто цвет пишут

Scrapy

19 Jun 2024 11:04

{'Descrizione': [], 'Details': ['▪ Made in: Spain', '▪ Composition: 100% Calfskin', '▪ Model Code: E619Z20X03 2544', '▪ Item ID: 8560691806541'], 'Taglia e vestibilità': [], 'Spedizioni e resi': []}

Scrapy

19 Jun 2024 11:04

Да, я тут думал про NLP

Scrapy

19 Jun 2024 07:39

гпт прикручиваем без вариантов🧢❌

Scrapy

20 Jun 2024 14:23

почему image pipeline использует кешированный ответ, даже при наличии в настройках

FILES_EXPIRES = -1
IMAGES_EXPIRES= -1

Scrapy

19 Jun 2024 17:27

ну понятно там еще надо бы желательно файнтюнить на своих именно данных, как-то над моделькой

Scrapy

19 Jun 2024 17:26

а сколько всего товаров и как часто их надо собирать? Если прям много и часто, то можно поискать модельки тут https://huggingface.co/models
и там же примерно как их скрещивать, ну для экспериментов можно отсюда начать:
https://github.com/oobabooga/text-generation-webui
ЗЫ и все это проще уже делать не в процессе, а постфактум, на собранных данных (чувствую себя капитаном очевидностью)

Если к примеру пойти на https://huggingface.co/chat , там можно поиграться с некоторыми модельками, если, к примеру задать такой текст:
{'Details': ['▪️ Made in: Spain', '▪️ Composition: 100% Calfskin', '▪️ Model Code: E619Z20X03 2544', '▪️ Item ID: 8560691806541'], 'Taglia e vestibilità': [], 'Spedizioni e resi': [], 'Descrizione': ['Deep brown']}
и такой промпт:

Scrapy

19 Jun 2024 15:46

нельзя, но можно заменить мидлварь своей, менее производительной

Scrapy

19 Jun 2024 11:20

вы даже туториал не читали что ли? как вы вообще пауков-то пишете

Scrapy

19 Jun 2024 11:18

вы можете использовать несколько колбэков

Scrapy

19 Jun 2024 11:13

или с любой функции можно yield item и scrapy сам поймёт?

Scrapy

19 Jun 2024 11:11

отправить запрос на data;, и перенести начальную логику в parse

Scrapy

19 Jun 2024 11:09

как сделать костыль чтоб start_requests был асинхронным?

Scrapy

19 Jun 2024 11:07

Ну, еще можно таблицу, с номерами и асинк функцию, которая будет каждое слово через библиотеку с цветами прогонять и потом по обновлять запись если это цвет. Но это все = долго

Scrapy

19 Jun 2024 11:05

два варианта, либо собрать глазами всё что есть и написать извлекалку которая работает с тем что есть (без гарантий что она будет и с будущим контентом работать), либо мл

Scrapy

19 Jun 2024 11:05

выглядит как написанное человеком, да

Scrapy

19 Jun 2024 11:04

так правда описания?

Scrapy

19 Jun 2024 07:42

ну кстати идея то не совсем бредовая
было бы классно иметь свой сервис с натренированной моделькой, которая классифицирует итемы из разных сайтов под один общий вид)

Scrapy

19 Jun 2024 07:33

Если это всё в описании, которое люди пишут, то тут упс