Scrapy

19 June 2024 15:46

Привет. Можно ли динамически определить allow_domains? То есть, в пауке sitecrawl я получаю сайт из базы данных в методе start_requests и хотел бы обновлять allow_domains в этом методе.

Scrapy

19 June 2024 11:20

понял, хорошо
думал что кроме как в parse нигде больше нельзя yield item

Scrapy

19 June 2024 11:18

parse теперь станет start_request? не надо будет ещё писать логику чтоб parse ещё возвращал итемы?

Scrapy

19 June 2024 11:12

и главное оставить чтоб parse был генератором итемов?

Scrapy

19 June 2024 11:10

перед основными реквестами надо послать несколько вспомогательных

Scrapy

19 June 2024 11:09

Надо сделать нейронку легковесную, чтобы в нее текст со страницы грузишь, а она потом выдает в нужном формате данные.

Пока хз как это делать и куда копать))

Scrapy

19 June 2024 11:06

первый вариант это регексы/сравнение со списком цветов

Scrapy

19 June 2024 11:05

Иногда просто цвет пишут

Scrapy

19 June 2024 11:04

{'Descrizione': [], 'Details': ['▪ Made in: Spain', '▪ Composition: 100% Calfskin', '▪ Model Code: E619Z20X03 2544', '▪ Item ID: 8560691806541'], 'Taglia e vestibilità': [], 'Spedizioni e resi': []}

Scrapy

19 June 2024 11:04

Да, я тут думал про NLP

Scrapy

19 June 2024 07:39

гпт прикручиваем без вариантов🧢❌

Scrapy

19 June 2024 05:28

Возможно данные подтягиваются через json в коде или XHR.

Scrapy

18 June 2024 18:58

да и тестировал свой xpath через scrapy shell
и там тоже всегда полностью отрисованная страница приходила

Scrapy

18 June 2024 18:56

значит и в браузере оно жсон показывает? или всё-таки можно ещё заголовков добавить чтобы было нормально?

Scrapy

18 June 2024 18:56

ну да
только я написал все сначала через xpath))

Scrapy

19 June 2024 11:20

вы даже туториал не читали что ли? как вы вообще пауков-то пишете

Scrapy

19 June 2024 11:18

вы можете использовать несколько колбэков

Scrapy

19 June 2024 11:13

или с любой функции можно yield item и scrapy сам поймёт?

Scrapy

19 June 2024 11:11

отправить запрос на data;, и перенести начальную логику в parse

Scrapy

19 June 2024 11:09

как сделать костыль чтоб start_requests был асинхронным?

Scrapy

19 June 2024 11:07

Ну, еще можно таблицу, с номерами и асинк функцию, которая будет каждое слово через библиотеку с цветами прогонять и потом по обновлять запись если это цвет. Но это все = долго

Scrapy

19 June 2024 11:05

два варианта, либо собрать глазами всё что есть и написать извлекалку которая работает с тем что есть (без гарантий что она будет и с будущим контентом работать), либо мл

Scrapy

19 June 2024 11:05

выглядит как написанное человеком, да

Scrapy

19 June 2024 11:04

так правда описания?

Scrapy

19 June 2024 07:42

ну кстати идея то не совсем бредовая
было бы классно иметь свой сервис с натренированной моделькой, которая классифицирует итемы из разных сайтов под один общий вид)

Scrapy

19 June 2024 07:33

Если это всё в описании, которое люди пишут, то тут упс

Scrapy

19 June 2024 00:49

Всем привет! На сайте названия цветов и другие парасметры разбросаны по разным местам, а еще они написаны в разном формате: могут быть “Color: Deep brown”, “Deep brown”

Как их парсить? Не особо хочется писать всевозможные комбинации всех параметров товара, а объединять все слова и проверять каждое это долго

Scrapy

18 June 2024 18:57

в браузере через запрос подтягивает
но я сначала не посмотрел
кинул запрос через requests
посмотрел ответ
увидел, что там есть то, что мне нужно
и стал по Xpath вытягивать

Scrapy

18 June 2024 18:56

сейчас переписываю вот )

Scrapy

18 June 2024 18:56

JSON наоборот хорошо же