Scrapy

14 May 2024 15:31

взял курл взял куки и пошел

Scrapy

14 May 2024 15:31

ты думаешь, что вот этим сообщением мне помог?)

Scrapy

14 May 2024 15:30

ну покажи, как ты запросами будешь парсить сайт, который в основном из js состоит.... теги грузятся через js, и прочее

Scrapy

14 May 2024 15:29

да я хз что тебе нужно

Scrapy

14 May 2024 15:29

ну что обычно люди собирают

Scrapy

14 May 2024 15:28

получить куки, дальше получать товары

Scrapy

14 May 2024 15:23

https://www.letu.ru

Scrapy

14 May 2024 15:22

у него стоит js challenge

Scrapy

14 May 2024 15:15

ну прикольно обходить js без браузера просто) а то пока поднимешь все это дело, получишь куки, все же время это...

Scrapy

14 May 2024 14:56

мне, лет за 15 такое, пару раз понадобилось 😂🙈
не, ну, я, так то, понимаю, что не показатель :). Кому то, возможно, постоянно требуется.

да, я не говорю про "сжатый" JS, это, чуток другое

Scrapy

14 May 2024 11:26

думал летом научиться, а там 3 сайта минимум можно было бы без эмуляции уже делать((

Scrapy

14 May 2024 11:25

я про это максимум одну-две статьи видел

Scrapy

14 May 2024 11:24

да, естественно
даже CF это не одна защита, а много

Scrapy

14 May 2024 11:22

ну я просто не парился с доп опциями) Лиса из коробки работает

Scrapy

14 May 2024 11:21

че, у меня хром не палят

Scrapy

14 May 2024 15:31

собрать тысячу товаров ок

Scrapy

14 May 2024 15:30

Описание товара:import requests

url = "https://www.letu.ru/s/api/product/v2/product-detail/65900004/tabs?locale=ru-RU&pushSite=storeMobileRU"

payload = {}
headers = {
    'accept': 'application/json, text/plain',
    'accept-language': 'en-US,en;q=0.9,uk;q=0.8',
    'referer': 'https://www.letu.ru/product/clinique-tush-vlagostoikaya-lash-power/65900004',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
    'x-promo-msg': '8CDHp8P8LUWUlktA6uNgTw'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Scrapy

14 May 2024 15:29

у них весь сайт с помощью js рендерится

Scrapy

14 May 2024 15:29

иного варианта тут нет

Scrapy

14 May 2024 15:28

список товаров, товар, описание?

Scrapy

14 May 2024 15:24

увидишь запрос на валидацию - там поле solution генерится js. чтобы получить solution, нужно понять откуда он берется в js, а чтобы понять это, нужно привести js к нормальному виду, то есть деобфусцировать его

Scrapy

14 May 2024 15:23

если сможешь деобфусцировать его, то сможешь без эмуляции парсить его

Scrapy

14 May 2024 15:22

Можно пример, видимо, мы говорим о разных вещах

Scrapy

14 May 2024 15:14

Думаю это больше искусство исследователя

Scrapy

14 May 2024 14:30

за все время работы мне нужно было такое сделать ну максимум до 5 сайтов, изучать как отдельно не вижу смысла

Scrapy

14 May 2024 11:25

и те возможно были внутренние

Scrapy

14 May 2024 11:25

а вы случаем материалы годные по деобфускации js не знаете?) мб курсы какие то... на zennoposter вроде был материал, но я как то его стороной обошел

Scrapy

14 May 2024 11:22

наверное разная защитп есть

Scrapy

14 May 2024 11:22

андетектед без прокси и тп, тупо uc

Scrapy

14 May 2024 11:18

хром палят а с ff все норм