Scrapy

23 June 2024 12:00

Не понял, обьясните в смысле заменить? И что за парсель? 🤨

Scrapy

23 June 2024 10:16

а селениум на плейрайт

Scrapy

23 June 2024 08:41

Добрый день 💃
Подскажите, парсю tiktok через selenium и beautiful soup, хочу достать трендовые видео:

from selenium import webdriver
from bs4 import BeautifulSoup
import time

driver = webdriver.Chrome()
driver.get("https://www.tiktok.com/discover/location-trends?lang=en")
time.sleep(1)

soup = BeautifulSoup(driver.page_source, 'html.parser')
videos = soup.find_all('div', {'class': ' css-at0k0c-DivWrapper e1cg0wnj1'})

print(len(videos))
for video in videos:
    print(video.a['href'])

'class': ' css-at0k0c-DivWrapper e1cg0wnj1'

Scrapy

21 June 2024 19:02

С данными либами что андей написал при реквесте 403 status code, нужна полная имитация браузера и чтобы джс на фоне выполнялся для получения лицензии или вылезет капча

Scrapy

21 June 2024 09:38

выше Андрей написал. Ну и, в догонку - для начала надо убедиться на 100%, что реквестами нельзя победить...

Scrapy

21 June 2024 09:21

Берите puppeteer а лучше сразу playwright

Scrapy

21 June 2024 09:15

все не так
1.тормозной
2. глюкавый
3. память жрет как не в себя....

не, я, так то, понимаю, что, иногда - без него совсем никак, но, это совсем уж редкие случаи

Scrapy

21 June 2024 09:02

Подскажите как скрыть от сайта режим --headless , для хромдрайвера, подсовывает капчу, имитацию клика сделал через экшн но не проходит проверка

Scrapy

20 June 2024 15:55

кто selenium использует, подскажите что делать если в class есть пробелы

cke_wysiwyg_div cke_reset cke_enable_context_menu cke_editable cke_editable_themed cke_contents_ltr

Scrapy

20 June 2024 14:28

наследуюсь от scrapy.pipelines.images.ImagesPipeline

Scrapy

20 June 2024 14:25

FILES_EXPIRES это про (uptodate)

Scrapy

20 June 2024 14:23

пайплайном, как я понимаю

2024-06-20 15:20:30 [scrapy.pipelines.files] DEBUG: File (cached):

Scrapy

19 June 2024 17:29

Спасибо огромно, почитаю

Scrapy

19 June 2024 17:27

то оно даже чото похожее на правду выдавать начинает:

Scrapy

19 June 2024 15:47

и возможно были какие-нибудь примеры кода в трекере

Scrapy

23 June 2024 10:16

но там поди тупо бан

Scrapy

23 June 2024 10:15

Замените суп на парсель и возможно вам помогут)

Scrapy

21 June 2024 19:04

будто в них этого нет

Scrapy

21 June 2024 16:31

Ищу партнеров в команду для получения доп.дoxoда
Удаленно, с телефона, или компьютера
За деталями пишите в ЛС

Scrapy

21 June 2024 09:37

А что порекомендуете на замену? Чтоб также можно было куки для логина использовать

Scrapy

21 June 2024 09:21

Каждый раз когда вы про селениуем пишете я ощущаю тоже самое, как про BS вопросики тут.

Scrapy

21 June 2024 09:11

Содержательно😂 а что не так?

Scrapy

20 June 2024 15:56

это разные классы...

Scrapy

20 June 2024 14:37

да, было в настройках HTTPCACHE_ENABLED = True,
выключил, начал скачивать

Scrapy

20 June 2024 14:26

а, нашёл, оно специально пишет cached когда HttpCacheMiddleware его закешировал, т.е. как я сразу и подумал

Scrapy

20 June 2024 14:25

это у вас какой-то свой пайплайн?

Scrapy

20 June 2024 14:23

почему image pipeline использует кешированный ответ, даже при наличии в настройках

FILES_EXPIRES = -1
IMAGES_EXPIRES= -1

Scrapy

19 June 2024 17:27

ну понятно там еще надо бы желательно файнтюнить на своих именно данных, как-то над моделькой

Scrapy

19 June 2024 17:26

а сколько всего товаров и как часто их надо собирать? Если прям много и часто, то можно поискать модельки тут https://huggingface.co/models
и там же примерно как их скрещивать, ну для экспериментов можно отсюда начать:
https://github.com/oobabooga/text-generation-webui
ЗЫ и все это проще уже делать не в процессе, а постфактум, на собранных данных (чувствую себя капитаном очевидностью)

Если к примеру пойти на https://huggingface.co/chat , там можно поиграться с некоторыми модельками, если, к примеру задать такой текст:
{'Details': ['▪️ Made in: Spain', '▪️ Composition: 100% Calfskin', '▪️ Model Code: E619Z20X03 2544', '▪️ Item ID: 8560691806541'], 'Taglia e vestibilità': [], 'Spedizioni e resi': [], 'Descrizione': ['Deep brown']}
и такой промпт:

Scrapy

19 June 2024 15:46

нельзя, но можно заменить мидлварь своей, менее производительной