Scrapy

02 May 2025 21:58

всем привет! оффтоп

кто пользуется тайп хинтами, пробовали компиляцию через mypyc?
если кто-то из разработчиков scrapy пробовал какую часть скомпилировать, то как прошел эксперимент? что не понравилось? просто интересно

сам этим занимался когда надо было отдельно обрабатывать поля в пришедших данных, которые имеют тип data/datetime
самым удобным решением оказалось пробегать по всем полям и узнавать их класс, если он один из нужных, то чето с ним делать
из интереса закомпилировав эту функцию с mypyc, данные стали обрабатываться на 30% быстрее, а от меня требовалось просто добавить пару строчек в pyproject.toml. бесплатный буст считай

Scrapy

27 April 2025 09:55

Do you have a solution to bypass Cloudflare

Scrapy

25 April 2025 12:27

о, спасибо! значит осталось соответствие установить элемента с json-ом. это будет намного более стабильнее чем сейчас

Scrapy

25 April 2025 12:09

"такая байда" - это что ? Тип корпуса вилки в розетку ? )))

Scrapy

27 March 2025 11:38

#вакансия
Всем привет!
Ищу мастера парсинга в свой проект.
Мы парсим iherb, goat, amazon, asos, macys, stockx, finishline, newbalance, michaelkors, coachoutlet, zappos и еще около 30 источников.
Мне нужно закрыть 2 направления:
1) парсинг нового контента с этих сайтов (достаточно выгрузки в CSV)
2) поддержка профилей (на PHP или Python) парсинга цен и наличия остатков
Пишите в ЛС @Abrokot , обсудим подробнее.

Scrapy

24 March 2025 08:09

теперь уже и "наличие пайтона"? вам бы в концепциях разобраться

Scrapy

23 March 2025 23:47

Тогда как проверить наличие пайтона, мб "правильно установить"?

Scrapy

22 March 2025 20:49

Создай virtual environment и там работай

Scrapy

22 March 2025 20:37

ребята привет. помогите с чем траблы могут быть? сори если не по теме

Scrapy

22 March 2025 16:46

Всем добрый вечер!
Посоветуйте платформу с готовым парсером яндекс вордстат, который можно связать со своим кодом по API

Основная задача:
- В боте ТГ нажимаю кнопку
- из google sheets берутся данные (категории + товары)
- происходит автоматический парсинг по категориям в яндекс вордстат
- выявляются лучшие категории с наибольшим спросом
- по ТОП 5 категориям происходит парсинг товаров
- из 100 товаров выявляются ТОП 10 товаров которые пользуются спросом
- все это заносится в google sheets

Scrapy

13 March 2025 19:14

Что-то у нас бот начал спам пропускать

Scrapy

04 March 2025 07:33

я писал про то, что, если нужно качество - надо платить. Чем выше качество требуется, тем больше приходится платить.

Scrapy

04 March 2025 07:26

Для меня дороговата оказывается

Я много бесплатных нашел но почему-то не подключается

А vpn поможет? Вроде они дешевле

Scrapy

04 March 2025 07:17

Мне пока не нужны прокси. Я новостные сайты парсю. Там не так уже нужны

Scrapy

04 March 2025 07:15

Просто расписание чуть не стабильно

Scrapy

27 April 2025 10:11

you can try zyte proxies

Scrapy

27 April 2025 09:51

one more off-topic message and you'll get banned

Scrapy

25 April 2025 12:23

В вёрстке есть json в котором лежит много инфы, в том числе и цены

Scrapy

24 April 2025 20:44

подскажите пожалуйста кто работал с озоном - как такую байду находить? внутри элемента искать по знаку рубля?

Scrapy

24 March 2025 08:09

всё как и в прошлый раз

Scrapy

24 March 2025 04:16

Амазон app сторе кто-то может взять на парсинг?

Scrapy

22 March 2025 20:50

Укажи правильный path

Scrapy

22 March 2025 20:48

Установи библиотеки и python
Так же extensions

Scrapy

22 March 2025 17:51

По-идее, https://yandex.ru/dev/direct/doc/dg-v4/ru/reference/CreateNewWordstatReport.html

Там ограничение 1000 фраз в сутки. Если какому-нибудь ЧАТГПТ распишете задачу, разбивая на подзадачки, он вам требуемый функционал напишет, за исключением парсинга товаров, не очень понятно где, ну допустим вы какой-то магаз что полегче парсить возмете, но как из них топ10 выделить со спросом - это уже магия для меня, есть платформы, которые а-ля движение свободного остатка пишут и позволяют его получать? Вот тут я хз, есть ли такие сервисы. Наверное, какой-нить wildberries или ozon сам такое должен отдавать, чтоб конкурентная ниша заполнялась. И требования там довольно большие: https://seller-edu.ozon.ru/analytics-and-metrics/analytics-for-premium/competitive-position
Но как я понял, вы примерно такой сервис и пишете, тока немного в обход...

И ещё там какие-то баллы запроса у Яндекса и по переходу 404 ошибка, мде.

Scrapy

18 March 2025 03:28

Is there a LinkedIn account that can be obtained from logs? Please contact me.

Scrapy

11 March 2025 01:33

Всем привет 👋🏼

1️⃣Ищем опытного разработчика на позицию тимлида.
энтузиастов!

Стек: React, Next, Node.js API, UI kit (Mantline или подобные).

Нам подходят новички и профи:

2️⃣Ищем опытного
«Фронта»
энтузиастов!

Стэк:
- Опыт разработки на
React, Next.js, знание стиливых либ по типу Mantine, HTML/CSS
- Знание современных фреймворков и библиотек
- Способность к быстрому обучению и решению нестандартных задач

Нам подходят новички и профи:

Будем рады познакомиться с вами и обсудить детали сотрудничества!🤝

Scrapy

04 March 2025 07:27

Бесплатные и не должны работать

Scrapy

04 March 2025 07:22

ну, к примеру, fineproxy, proxy6 - второй с IPv6 работает, если сайт держит, вааще супер.
проксятники мониторить и пробовать надо. Большинство дают либо тестовый период, либо тестовые покси.

а насчет стоимости - так это, больше, вопрос производительности и "засратости" проксей. Если тебе нужна большая производительность, придется платить. И, если прокся дешовая, ее пользуют все кто не лень...

Scrapy

04 March 2025 07:15

А есть прокси подешевле?

Scrapy

04 March 2025 07:15

У них расписание есть, один раз получаю это и ближе к этому времени начну проверять, думаю так сильно сократиться
А так я просто весь день проверяю каждую 4минуты