Scrapy

14 Apr 2024 18:14

В чем конкретно вопрос?

Scrapy

14 Apr 2024 17:51

Парни,кто работал с BS4 в питоне?

Scrapy

13 Apr 2024 15:32

ну да, но как то оверкил целый гпт для своих задач подключать

Scrapy

13 Apr 2024 15:25

https://github.com/scrapinghub/article-extraction-benchmark

Scrapy

13 Apr 2024 15:24

можно просто совать страницы в чатгпт

Scrapy

13 Apr 2024 09:43

Как оказалось playwright + webkit вообще без каких либо проблем обходит cf примерно за 6 секунд.

Scrapy

12 Apr 2024 16:15

Чем cf обходите поделитесь? даже если платно

Scrapy

11 Apr 2024 16:49

все хедеры учитывать так себе идея

Scrapy

11 Apr 2024 16:49

а как учитывать?
удобно было бы, если парсишь апи с одним эндпойнтом, который хедеры смотрит

Scrapy

11 Apr 2024 16:48

да, не учитываются
метод урл боди

Scrapy

11 Apr 2024 16:40

https://github.com/scrapy/scrapy/blob/master/scrapy/dupefilters.py#L28

https://github.com/scrapy/scrapy/blob/master/scrapy/utils/request.py#L122

в дупфильтре хедеры не учитывются?

Scrapy

11 Apr 2024 14:18

обычно дупфильтр это хорошо, потому что обычно не надо делать дублирующиеся запросы

Scrapy

11 Apr 2024 14:17

в общем ладно, спасибо большое)

Scrapy

11 Apr 2024 14:14

хорошо, сейчас попробую

Scrapy

11 Apr 2024 14:14

очевидно он не всегда разный

Scrapy

14 Apr 2024 17:58

https://nometa.xyz/ru.html

Scrapy

13 Apr 2024 15:34

недавно видел видос как чатгпт, клод опус, гемини строят домики в майнкрафте)

Scrapy

13 Apr 2024 15:25

есть большая тема с сованием скриншота страницы в computer vision

Scrapy

13 Apr 2024 15:24

есть догптшные претрейнед модели всякие, например для статей есть сразу пачка

Scrapy

13 Apr 2024 15:14

какие знаете приколы с использованием ml в парсинге? я знаю autopager, а ещё есть какие нибудь решения? от zyte вроде да, но они кажись платные и не опенсорс

Scrapy

12 Apr 2024 21:35

Brightdata, data unblockers proxies

Scrapy

12 Apr 2024 16:13

всем привет, у кого нибудь есть опыт подключения asocks в playwrite ?
пытаюсь подключиться к ним разными путями, ничего не выходит

Scrapy

11 Apr 2024 16:49

написать свой фингерпринтер, который передаёт в fingerprint() имена нужных хедеров

Scrapy

11 Apr 2024 16:48

вы не видите что сайт отправляет или не знаете откуда это взять? а то на картинке боди-то не видно

Scrapy

11 Apr 2024 16:44

Здравствуйте помогите распарсить сайт, проблема в том что я не пойму что отправлять в post request. Я пересмотрел все javascript теги не нашёл там ничего, искал csrf тоже ничего.

Вопрос что нужно передать в post запрос?

https://realtylink.org/en/properties~for-rent?view=Thumbnail&uc=2

Scrapy

11 Apr 2024 14:19

это вообще одна из лучших вещей, я так считаю

Scrapy

11 Apr 2024 14:17

теперь все полностью собирается)

Scrapy

11 Apr 2024 14:15

ну да, так и есть... но как..

Scrapy

11 Apr 2024 14:14

включите DUPEFILTER_DEBUG

Scrapy

11 Apr 2024 14:13

типа там артикул товара, который берется с каждой страницы