Scrapy

30 August 2024 10:55

https://dpaste.com/9ZXXU6MCJ

Scrapy

30 August 2024 09:16

прямой путь в ад к выгоранию

Scrapy

30 August 2024 08:51

Спасибо, не могу порой отвлечься пока не решу, и уже голова не варит вообще

Scrapy

30 August 2024 08:48

например он рендерится только когда до него долистать

Scrapy

30 August 2024 08:46

TimeoutError: Page.wait_for_selector: Timeout 5000ms exceeded.
Call log:
waiting for locator("button.pagination_nextPageButton__QpxSP") to be visible

Scrapy

30 August 2024 07:32

как с network работать (как на скриншоте) в dynamic content описано, оттуда видно чего этот запрос show more делает, ну вобщем, разберетесь)

Scrapy

30 August 2024 07:26

и тд. и даже жсон отдает

Scrapy

30 August 2024 07:26

простенький аяксовый апи

Scrapy

30 August 2024 07:24

А тогда вообще пофигу

Scrapy

30 August 2024 07:23

Прочту, спасибо.

Пока пойду по пью чай, а то ноут горячий как и моя голова

Scrapy

30 August 2024 07:22

На питоне 3 года, скрапинг впервые

Scrapy

30 August 2024 07:22

Ну или dynamic content , да, playwright это если на производительность не особо важно

Scrapy

30 August 2024 07:20

А вы только начали писать? Если да, рекомендую бросить эти связку и взять https://github.com/scrapy-plugins/scrapy-playwright

Scrapy

30 August 2024 07:20

У меня есть задача спарсить страницу, на которой есть кнопка “Show More”, при нажатии на которую динамически подгружаются новые данные. Это не классическая пагинация, которая ведет на другую URL-страницу, поэтому я не могу использовать стандартные инструменты Scrapy для решения этой задачи. Я узнал, что для этого лучше использовать Splash или Selenium, но с обеими технологиями я пока не работал.

Я решил попробовать Splash и узнал, что его лучше всего запускать через Docker, так как у меня не установлен Linux. Однако возникла проблема: Scrapy и Splash не видят друг друга, хотя я многократно проверил порты и настройки.

Scrapy

30 August 2024 07:16

Извините не то отправил

Scrapy

30 August 2024 10:54

TargetClosedError: Request.header_value: Target page, context or browser has been closed

Scrapy

30 August 2024 09:15

QpxSP и еще может вот эта часть очень часто меняется. Как и FAXOE.

Scrapy

30 August 2024 08:50

Думал о том что он рендериться с задержкой, но до этого не дошел (но это увы не так)

Scrapy

30 August 2024 08:47

Как там не может быть того селектора

Scrapy

30 August 2024 08:46

def start_requests(self):
for url in self.start_urls:
headers = {
"User-Agent": random.choice(USER_AGENT_LIST)
}
yield scrapy.Request(
url,
meta=dict(
playwright=True,
playwright_include_page=True,
playwright_page_methods=[
PageMethod("wait_for_selector", "button.pagination_nextPageButton__QpxSP", timeout=5000),
PageMethod("click", "button.pagination_nextPageButton__QpxSP"),
PageMethod("wait_for_selector", "a.procedure-card_procedureCard__FAXOE", timeout=5000),
],
headers=headers
),
callback=self.parse,
)

Scrapy

30 August 2024 07:26

Грубо говоря, моя задача — распарсить фотографии “до” и “после” операций для обучения искусственного интеллекта. Первостепенной задачей является пройти по всем ссылкам различных типов операций. Однако на сайте они реализованы таким образом, что на странице отображаются только 100 ссылок, а остальные загружаются только после нажатия кнопки “Show More”. В дальнейшем парсинг будет стандартным, без необходимости работы с динамическим контентом.

Scrapy

30 August 2024 07:26

https://www.realself.com/procedureslist/filter?offset=100&limit=100&sortBy=mostpopular&sortDirection=asc&term=&locationId=130503

Scrapy

30 August 2024 07:24

https://www.realself.com/procedures

Scrapy

30 August 2024 07:23

Scrapy playwright если чо под виндой щас тоже работает

Scrapy

30 August 2024 07:22

Если хотите по красоте, то почитайте про dynamic content, это сложнее но быстрее парсит и меньше ресурсов жрать будет

Scrapy

30 August 2024 07:22

зависит от ваших навыков

Scrapy

30 August 2024 07:21

Так что лучше взять?

Scrapy

30 August 2024 07:20

для этого лучше использовать https://docs.scrapy.org/en/latest/topics/dynamic-content.html

Scrapy

30 August 2024 07:17

ConnectionRefusedError: Connection was refused by other side: 111: Connection

Scrapy

30 August 2024 06:01

возникает ошибка, связанная с файлом dupefilter.py. Я изменил этот файл вручную на локальной машине, чтобы исправить проблему, но теперь не знаю, как сделать то же самое в Docker. При каждом запуске Docker скачивает библиотеку заново, с поврежденным или неработающим файлом. Как правильно изменить файл в Docker-контейнере и сохранить изменения при перезапуске контейнера?

Спасибо!