Scrapy

20 February 2025 16:29

Дольше и больше мощности нужно на сервере

Scrapy

20 February 2025 16:28

Здравствуйте, подскажите как с помощью Scrapy собрать "Применимость" с такого рода страниц: https://japanpartsmsk.ru/autopart-product/6325c989d06e88f19c7c49f9/
https://monosnap.com/file/9A1qrNq8ryBzqmO9Jc6ByXW56lcXW8

Это подгружается с помощью Javascript. Не хотелось бы использовать Selenium или что то подобное.

Scrapy

20 February 2025 15:33

да, там действительно есть открытые, один уже раскопал, запускаться - запускается, ищет инфу, но не собирает

Scrapy

20 February 2025 08:39

копаю репозетории через chatGPT o3-mini-high по 1688, франкенштейна боюсь собрать😬

Scrapy

19 February 2025 19:36

это вы основатели идеи "спарсить можно все"?

Scrapy

19 February 2025 19:33

3 месяца у меня ушло на разработку, основная проблема - динамический "бан" . Нет логина с "фингерпринта" (не путать с IP) - ты бот без вариантов и слайдер тебе не поможет.

Scrapy

19 February 2025 19:29

Просто "гора проксей" не поможет ))))))

Scrapy

19 February 2025 19:09

Да в принципе можно парсить. Нужна только гора проксей и слайдер антикапчу прикрутить к bs.)

Scrapy

19 February 2025 18:24

Всем добрый вечер
Подскажите, пожалуйста, как спарсить при помощи beautiful soup на сайте 1688 товары по категориям
- цены
- оценка
- рейтинг
- продажи и тд…

Scrapy

18 February 2025 14:38

видимо второй нужны ещё какие-то хедеры например

Scrapy

18 February 2025 14:17

да второй нет. и айпи одинаковый

Scrapy

18 February 2025 14:15

в оба запроса одинаково?

Scrapy

18 February 2025 14:11

Всем привет! Кто может дать подсказку?

Проблема такая: пытаюсь спарсить один сайт, где нужна авторизация. Передаю заголовок с текущей сессией, но когда начинаю парсить другую страницу, пишет, что нет авторизации. Это из-за того, что поменялась сессия?

Scrapy

16 February 2025 21:26

короче, наткнулся на статью, если кому надо, держите)

from selenium import webdriver

# create Chromeoptions instance
options = webdriver.ChromeOptions()

# adding argument to disable the AutomationControlled flag
options.add_argument("--disable-blink-features=AutomationControlled")

# exclude the collection of enable-automation switches
options.add_experimental_option("excludeSwitches", ["enable-automation"])

# turn-off userAutomationExtension
options.add_experimental_option("useAutomationExtension", False)

# setting the driver path and requesting a page
driver = webdriver.Chrome(options=options)

# changing the property of the navigator value for webdriver to undefined
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

driver.get("https://www.ozon.ru")

# close the driver
driver.close()

Scrapy

16 February 2025 20:49

мне кажется что это скорее всего глобальная проблема, т.к смена айпишников, впны и прочее никак на ситуацию не влияли. а еще осенью все работало

Scrapy

20 February 2025 16:29

а почему не pw/selenium?

Scrapy

20 February 2025 15:51

Ребят привет, если есть кто умеет парсить маркетплейсы и есть время брать задачи по парсингу сайтов подобной сложности, отпишите пожалуйста

Scrapy

20 February 2025 15:01

Если только в китайских гитах.)

Scrapy

20 February 2025 08:38

подскажите, пожалуйста, есть ли подобные решения опен сорс ?

Scrapy

19 February 2025 19:35

У меня рекорд 6 месяцев разработки. Жесткий был ресурс.)

Scrapy

19 February 2025 19:29

Здесь проблема не в парсере. Проблема в объеме. А про это ничего в условиях задачи не сказано.
А так можно даже curl использовать. Только медленно будет очень.

Scrapy

19 February 2025 19:12

а есть открытый код подобного парсера?

Scrapy

19 February 2025 18:51

1688 сложно парсить, банит много и часто...

Scrapy

18 February 2025 15:42

разобрался я не так передавал сессию =). спасибо

Scrapy

18 February 2025 14:37

Добавил в Postman cURL первой и второй страницы. Первая работает, а вторая нет.

Scrapy

18 February 2025 14:16

и первый работает, а второй нет?

Scrapy

18 February 2025 14:14

передаю headers. и cookies с csrf_token , client_id и Device-Id

Scrapy

17 February 2025 10:19

Здравствуйте, если у вас проблема с Cloudflare и невидимой hcaptcha, свяжитесь со мной.(nodejs)

Scrapy

16 February 2025 21:12

и на другом пк проверил от другой сети та же история

может кто-нибудь у себя посмотреть работает ли хоть какой-нибудь парсер на озоне?

Scrapy

16 February 2025 20:48

с остальным аналогично