Scrapy

03 May 2025 14:00

парсел не компилится

Scrapy

03 May 2025 13:42

рпм зависит от скорости сети в основном
а при чём тут редис?

Scrapy

03 May 2025 13:40

Можно на примере какого нибудь источника типа гугла перфоманс померить, или это не то?

Scrapy

02 May 2025 22:01

не видели особого смысла в этом?

Scrapy

27 Apr 2025 10:11

you can try zyte proxies

Scrapy

27 Apr 2025 09:51

one more off-topic message and you'll get banned

Scrapy

25 Apr 2025 12:23

В вёрстке есть json в котором лежит много инфы, в том числе и цены

Scrapy

24 Apr 2025 20:44

подскажите пожалуйста кто работал с озоном - как такую байду находить? внутри элемента искать по знаку рубля?

Scrapy

24 Mar 2025 08:09

всё как и в прошлый раз

Scrapy

24 Mar 2025 04:16

Амазон app сторе кто-то может взять на парсинг?

Scrapy

22 Mar 2025 20:50

Укажи правильный path

Scrapy

22 Mar 2025 20:48

Установи библиотеки и python
Так же extensions

Scrapy

22 Mar 2025 17:51

По-идее, https://yandex.ru/dev/direct/doc/dg-v4/ru/reference/CreateNewWordstatReport.html

Там ограничение 1000 фраз в сутки. Если какому-нибудь ЧАТГПТ распишете задачу, разбивая на подзадачки, он вам требуемый функционал напишет, за исключением парсинга товаров, не очень понятно где, ну допустим вы какой-то магаз что полегче парсить возмете, но как из них топ10 выделить со спросом - это уже магия для меня, есть платформы, которые а-ля движение свободного остатка пишут и позволяют его получать? Вот тут я хз, есть ли такие сервисы. Наверное, какой-нить wildberries или ozon сам такое должен отдавать, чтоб конкурентная ниша заполнялась. И требования там довольно большие: https://seller-edu.ozon.ru/analytics-and-metrics/analytics-for-premium/competitive-position
Но как я понял, вы примерно такой сервис и пишете, тока немного в обход...

И ещё там какие-то баллы запроса у Яндекса и по переходу 404 ошибка, мде.

Scrapy

18 Mar 2025 03:28

Is there a LinkedIn account that can be obtained from logs? Please contact me.

Scrapy

11 Mar 2025 01:33

Всем привет 👋🏼

1️⃣Ищем опытного разработчика на позицию тимлида.
энтузиастов!

Стек: React, Next, Node.js API, UI kit (Mantline или подобные).

Нам подходят новички и профи:

2️⃣Ищем опытного
«Фронта»
энтузиастов!

Стэк:
- Опыт разработки на
React, Next.js, знание стиливых либ по типу Mantine, HTML/CSS
- Знание современных фреймворков и библиотек
- Способность к быстрому обучению и решению нестандартных задач

Нам подходят новички и профи:

Будем рады познакомиться с вами и обсудить детали сотрудничества!🤝

Scrapy

03 May 2025 13:59

scrapy-bench как вариант можно прогнать

а то что в сетку это да, а вот parsel и w3lib могут от этого уже получить бенефиты

Scrapy

03 May 2025 13:41

Скрапи редис до и после компиляции

Scrapy

03 May 2025 13:10

ну вот я скомпилил scrapy.core, но дальше стандартная проблема что у нас нет для скрапи нормальных бенчмарков (и что скрапи один фиг в сетку упирается)

Scrapy

02 May 2025 21:58

всем привет! оффтоп

кто пользуется тайп хинтами, пробовали компиляцию через mypyc?
если кто-то из разработчиков scrapy пробовал какую часть скомпилировать, то как прошел эксперимент? что не понравилось? просто интересно

сам этим занимался когда надо было отдельно обрабатывать поля в пришедших данных, которые имеют тип data/datetime
самым удобным решением оказалось пробегать по всем полям и узнавать их класс, если он один из нужных, то чето с ним делать
из интереса закомпилировав эту функцию с mypyc, данные стали обрабатываться на 30% быстрее, а от меня требовалось просто добавить пару строчек в pyproject.toml. бесплатный буст считай

Scrapy

27 Apr 2025 09:55

Do you have a solution to bypass Cloudflare

Scrapy

25 Apr 2025 12:27

о, спасибо! значит осталось соответствие установить элемента с json-ом. это будет намного более стабильнее чем сейчас

Scrapy

25 Apr 2025 12:09

"такая байда" - это что ? Тип корпуса вилки в розетку ? )))

Scrapy

27 Mar 2025 11:38

#вакансия
Всем привет!
Ищу мастера парсинга в свой проект.
Мы парсим iherb, goat, amazon, asos, macys, stockx, finishline, newbalance, michaelkors, coachoutlet, zappos и еще около 30 источников.
Мне нужно закрыть 2 направления:
1) парсинг нового контента с этих сайтов (достаточно выгрузки в CSV)
2) поддержка профилей (на PHP или Python) парсинга цен и наличия остатков
Пишите в ЛС @Abrokot , обсудим подробнее.

Scrapy

24 Mar 2025 08:09

теперь уже и "наличие пайтона"? вам бы в концепциях разобраться

Scrapy

23 Mar 2025 23:47

Тогда как проверить наличие пайтона, мб "правильно установить"?

Scrapy

22 Mar 2025 20:49

Создай virtual environment и там работай

Scrapy

22 Mar 2025 20:37

ребята привет. помогите с чем траблы могут быть? сори если не по теме

Scrapy

22 Mar 2025 16:46

Всем добрый вечер!
Посоветуйте платформу с готовым парсером яндекс вордстат, который можно связать со своим кодом по API

Основная задача:
- В боте ТГ нажимаю кнопку
- из google sheets берутся данные (категории + товары)
- происходит автоматический парсинг по категориям в яндекс вордстат
- выявляются лучшие категории с наибольшим спросом
- по ТОП 5 категориям происходит парсинг товаров
- из 100 товаров выявляются ТОП 10 товаров которые пользуются спросом
- все это заносится в google sheets

Scrapy

13 Mar 2025 19:14

Что-то у нас бот начал спам пропускать

Scrapy

04 Mar 2025 07:33

я писал про то, что, если нужно качество - надо платить. Чем выше качество требуется, тем больше приходится платить.