Scrapy

20 February 2025 08:39

копаю репозетории через chatGPT o3-mini-high по 1688, франкенштейна боюсь собрать😬

Scrapy

19 February 2025 19:36

это вы основатели идеи "спарсить можно все"?

Scrapy

19 February 2025 19:33

3 месяца у меня ушло на разработку, основная проблема - динамический "бан" . Нет логина с "фингерпринта" (не путать с IP) - ты бот без вариантов и слайдер тебе не поможет.

Scrapy

19 February 2025 19:29

Просто "гора проксей" не поможет ))))))

Scrapy

19 February 2025 19:09

Да в принципе можно парсить. Нужна только гора проксей и слайдер антикапчу прикрутить к bs.)

Scrapy

19 February 2025 18:24

Всем добрый вечер
Подскажите, пожалуйста, как спарсить при помощи beautiful soup на сайте 1688 товары по категориям
- цены
- оценка
- рейтинг
- продажи и тд…

Scrapy

18 February 2025 14:38

видимо второй нужны ещё какие-то хедеры например

Scrapy

18 February 2025 14:17

да второй нет. и айпи одинаковый

Scrapy

18 February 2025 14:15

в оба запроса одинаково?

Scrapy

18 February 2025 14:11

Всем привет! Кто может дать подсказку?

Проблема такая: пытаюсь спарсить один сайт, где нужна авторизация. Передаю заголовок с текущей сессией, но когда начинаю парсить другую страницу, пишет, что нет авторизации. Это из-за того, что поменялась сессия?

Scrapy

16 February 2025 21:26

короче, наткнулся на статью, если кому надо, держите)

from selenium import webdriver

# create Chromeoptions instance
options = webdriver.ChromeOptions()

# adding argument to disable the AutomationControlled flag
options.add_argument("--disable-blink-features=AutomationControlled")

# exclude the collection of enable-automation switches
options.add_experimental_option("excludeSwitches", ["enable-automation"])

# turn-off userAutomationExtension
options.add_experimental_option("useAutomationExtension", False)

# setting the driver path and requesting a page
driver = webdriver.Chrome(options=options)

# changing the property of the navigator value for webdriver to undefined
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

driver.get("https://www.ozon.ru")

# close the driver
driver.close()

Scrapy

16 February 2025 20:49

мне кажется что это скорее всего глобальная проблема, т.к смена айпишников, впны и прочее никак на ситуацию не влияли. а еще осенью все работало

Scrapy

16 February 2025 20:44

все же что-то не то.
скажите пожалуйста, точно ни у кого playwright на озон не отвалился? он у меня вообще не фурычит что только не менял. даже куки подставные - застревает на Antibot Challenge

Scrapy

05 February 2025 14:37

Ребят, а кто-нибудь делал парсер вакансий Авито?

Scrapy

31 January 2025 12:44

вы это везде спрашиваете или вас там несколько? а то я не знаю отвечать ли везде одно и то же или нет :)

Scrapy

20 February 2025 08:38

подскажите, пожалуйста, есть ли подобные решения опен сорс ?

Scrapy

19 February 2025 19:35

У меня рекорд 6 месяцев разработки. Жесткий был ресурс.)

Scrapy

19 February 2025 19:29

Здесь проблема не в парсере. Проблема в объеме. А про это ничего в условиях задачи не сказано.
А так можно даже curl использовать. Только медленно будет очень.

Scrapy

19 February 2025 19:12

а есть открытый код подобного парсера?

Scrapy

19 February 2025 18:51

1688 сложно парсить, банит много и часто...

Scrapy

18 February 2025 15:42

разобрался я не так передавал сессию =). спасибо

Scrapy

18 February 2025 14:37

Добавил в Postman cURL первой и второй страницы. Первая работает, а вторая нет.

Scrapy

18 February 2025 14:16

и первый работает, а второй нет?

Scrapy

18 February 2025 14:14

передаю headers. и cookies с csrf_token , client_id и Device-Id

Scrapy

17 February 2025 10:19

Здравствуйте, если у вас проблема с Cloudflare и невидимой hcaptcha, свяжитесь со мной.(nodejs)

Scrapy

16 February 2025 21:12

и на другом пк проверил от другой сети та же история

может кто-нибудь у себя посмотреть работает ли хоть какой-нибудь парсер на озоне?

Scrapy

16 February 2025 20:48

с остальным аналогично

Scrapy

07 February 2025 12:17

Всем привет!
Есть кто-нибудь кто занимается Amazon?
Вопросы вызывают их текущие ограничения на отзывы.
Есть ли способы нагенерировать аккаунтов? или можно каким-то волшебным образом обойти ограничения/использовать иные эндпоинты (раньше работал на hz/reviews-render/ajax/reviews/get)?
Буду рад любым подсказкам и советам

Scrapy

31 January 2025 12:46

Тогда лучше на гите, там этот ответ больше людей найдёт. Там спрашивает мой знакомый, он спросил меня так как у меня чуть больше опыта со скрапи. Но я так же понятия не имею как это заранить )

Поэтому пришёл спросить сюда )

Scrapy

31 January 2025 12:44

А, не заметил, тогда хз)