scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

ладно я просто пиво, нужно было нажать куда-нибудь, и в network сразу появилась она

Читать полностью…

Scrapy

щас будет очень тупой вопрос, но как ты обратился к апишке? я не могу ее просто найти

Читать полностью…

Scrapy

как я понял, озон отсылает готовую html страничку, + им ничего не мешает рандомно менять классы элементов, чтобы поломать селекторы

Читать полностью…

Scrapy

специально ласт апд брал, работает отлично

Читать полностью…

Scrapy

я ща прост старое проверю, а то у меня с августа перестало работать

Читать полностью…

Scrapy

неа, вполне нормально - short_name, description и т.д

Читать полностью…

Scrapy

он pw достал карты, загреб с них урлы и дальше в коде по курлом для каждого достает инфу с апихи

Читать полностью…

Scrapy

там не артикул, а урл конкретной карточки передается
но да... вообще спокойно
правда... может быть я что-то проглядел, но вроде обычный curl инвокается у автора кода

Читать полностью…

Scrapy

https://docs.scrapy.org/en/latest/topics/dynamic-content.html

Читать полностью…

Scrapy

Сейчас именно так и делаю.
Просто get запросы, который выдают html страницы товара.
Думал может есть какой-нибудь скрытый api для получение информации о товаре ввиде json

Читать полностью…

Scrapy

Меня интересует эндпоинт api, который выдает информацию по товару имеющий определенный актикул

Читать полностью…

Scrapy

я в сообщении выше его привел

Читать полностью…

Scrapy

а дальше по гитхабу смотри как пользуются люди

Читать полностью…

Scrapy

Не подскажешь, есть api для просмотра цены товара на озоне?

Читать полностью…

Scrapy

а в чем отличие чистого скрапи и не чистого

Читать полностью…

Scrapy

как найти апишки ссылку я уже дал

Читать полностью…

Scrapy

тогда и вопрос, а как собственно грамотно разбирать нужную мне инфу? к чему привязываться?
на уме только одно - текст (по типу "с Ozon Картой")

Читать полностью…

Scrapy

ахахах, забавная ситуация получается. в этой апишке нет цены так-то. как-то проглядел этот момент
а автор берет инфу из seo данных

Читать полностью…

Scrapy

https://github.com/s0vunia/ozon-parser

Читать полностью…

Scrapy

ща я просто этот проект скину

Читать полностью…

Scrapy

а ответ мусорный? с кучей страх полей и стилей?

Читать полностью…

Scrapy

по крайней мере все четко отрабатывает

Читать полностью…

Scrapy

привет, а запрос с артикулом свободно проходит?В августе по-моему они начали чекать куки

Читать полностью…

Scrapy

попробуй поискать через фильтр, мб будет какой-то более специфичный эндпоинт

Читать полностью…

Scrapy

ну варианта два
либо такой эндпоинт есть, тогда ищешь его аналогично выше - через network фильтр

либо - сначала ищешь карточки по артикулу, а потом идешь на этот эндпоинт с уже известным урлом карточки

Читать полностью…

Scrapy

он достает всю инфу о карточке, по ней цепляй цену

Читать полностью…

Scrapy

Мне нужно узнать URL эндпоинта который выдает цену на товар

Читать полностью…

Scrapy

вот отсюда читай
/channel/scrapy_python/108410

Читать полностью…

Scrapy

плейрайт/селениум/сплеш аля браузер поднимают через него скачивают юрл и выполняют прилетаемый js чтоб заполнить инфой dom (если такая есть)

просто скрапи скачивает юрл как курл или реквест

Читать полностью…

Scrapy

(это при условии если тебе влом и на ресурсы пофиг и неохота на чистом прям скрапи все делать): https://github.com/scrapy-plugins/scrapy-playwright

Читать полностью…
Subscribe to a channel