Scrapy

14 May 2024 11:18

юзаю firefox без доп оций все окей)

Scrapy

13 May 2024 09:28

https://www.cnbc.com/2024/05/10/elon-musks-x-loses-lawsuit-against-bright-data-over-data-scraping.html

Scrapy

12 May 2024 12:01

не забанят- не поймешь?)

Scrapy

12 May 2024 11:51

ну то есть никакого так сказать cheatsheet не существует? как пойдет так пойдет?

Scrapy

12 May 2024 11:49

по айпи за много запросов банитьь

Scrapy

12 May 2024 11:48

да вообще, что используют

Scrapy

10 May 2024 18:03

а вот можно ли в селениуме его переопределить я не знаю

Scrapy

10 May 2024 17:50

И это автоматический хедер по моему

Scrapy

10 May 2024 17:16

Привет, кто знает, какие хедеры нужно указывать (я использую селениум), чтобы сделавить вид, что я захожу на сайт со страницы яндекса?

Привет
1 Если перейти по ссылке https://kinoxor.pro/650-mir-druzhba-zhvachka-2024-05-06-19-54.html -- Получаю ошибку Internal Server Error
2 Если вбить ссылку в поисковик яндекса и зайти на сайт -- сайт открывается нормально


Я пробовал в селениуме указывать header

"Referer": "https://yandex.ru/search/?text=https%3A%2F%2Fkinoxor.pro%2F650-mir-druzhba-zhvachka-2024-05-06-19-54.html&lr=213"
}

Scrapy

09 May 2024 19:49

а в чём разница, один сайт или несколько?

Scrapy

09 May 2024 19:48

я бы не назвал это кнопкой? ссылка как ссылка

Scrapy

09 May 2024 19:48

передавать айтем в колбек

Scrapy

09 May 2024 19:44

всем привет, подскажите, каким образом можно тянуть ссылку из ссылки?
Т.е есть вот такой сайт, где у каждой компании своя страница с данными
https://simaexpo.com/expositores/ и здесь есть кнопка которая содержит ссылку, в свою очередь с которой уже нужно парсить недостающие данные. Может у кого-то есть похожие проекты на гитхабе в открытом доступе? Если нет, то подскажите, где вообще можно почитать про это. Буду очень признателен

Scrapy

09 May 2024 15:41

ребят, мне постучался прокси провайдер. Они готовы дать тест проксей для 10 человек. Поставьте пожалуйста 👍/👎 если кому нужно или нет.

—————————————-
Так как это тест, доступны такие типы прокси как

IPv4, IPv6, ISP - 7 дней
Резиденты - 30 дней - 1GB трафика

По желанию кто что захочет, выдадим любую страну, насколько я вижу все используют динамические прокси (резиденты)

Scrapy

07 May 2024 11:07

Всем привет. Подскажите пожалуйста у каких хостеров приобретаете ротационные прокси?!

Scrapy

13 May 2024 22:55

Можно ли сейчас как-то преодолеть CloudFlare селениумом?
В прошлом году у меня это получаслось - достаточно было использовать undetected_chromedriver а сейчас никак не получается((

https://stackoverflow.com/questions/78474400/selenium-pass-cloudflare

Scrapy

12 May 2024 12:03

кстати, еще вопрос, у response сразу строится selector или только при первом вызове?

Scrapy

12 May 2024 11:52

про ханипоты еще вспомнил

Scrapy

12 May 2024 11:49

по кукам или каким то заголовкам смотрят?

Scrapy

12 May 2024 11:48

никак, всегжа будут обходы, но ниже вариант тчо жто захотят парсить

Scrapy

12 May 2024 11:48

какие существуют инструменты против парсинга? интересуюсь чтоб знать врага в лицо)
вот клаудфлейр и капчи это база, а еще как можно задетектить бота и забанить?

Scrapy

10 May 2024 18:03

так :) это опечатка в рфц

Scrapy

10 May 2024 17:50

По моему реферрер не так пишется

Scrapy

09 May 2024 19:50

там написано кем блокируются, а значит вы можете найти какую документацию читать

Scrapy

09 May 2024 19:49

не могу понять, что надо использовать, потому что всегда делал в пределах одного сайта

Scrapy

09 May 2024 19:48

окей, и в чём сложность?

Scrapy

09 May 2024 19:46

не понимаю о какой кнопке речь

Scrapy

09 May 2024 17:10

напишите тогда кому интересно в личку к @matthewproxyseller

Scrapy

08 May 2024 10:32

Ищу новых людей в команду для получения доп. дохода
Удаленно, с телефона, или компьютера
Подробности в ЛС

Scrapy

06 May 2024 21:18

https://github.com/scrapy/scrapy/issues/5289