Scrapy

19 Aug 2024 12:29

ну типа кидаешь урлу в софтину, а софтина тебе выдает апи к сайту по этой урле )

Scrapy

19 Aug 2024 12:25

А еще, никто не знает из готовых инструментов, "как превратить сайт без api, в сайт с api" или тут только хардкодинг с selenium? есть другие варианты удобнее и проще?

Scrapy

19 Aug 2024 11:58

в принципе сейчас повылезало сервисов чатгпт скрейпинга, может там и подходящие есть

Scrapy

19 Aug 2024 11:58

там вроде можно не уложиться в лимит размера запроса если кидать ему сырой html, чтобы вычленял

Scrapy

19 Aug 2024 11:55

Т.е. хочется отойти от ручной разметки страницы для извлечения нужных данных.

Scrapy

19 Aug 2024 11:54

Любые страницы, сервис анализирует, содержание страниц и потом вычленяет полезные данные и отдает их в json.

Scrapy

19 Aug 2024 11:51

Всем привет! Есть ли какой сервис, позволяющий парсить страницы сайта и возвращать данные страниц в json, без предварительной разметки страницы?

Scrapy

19 Aug 2024 09:40

Да может нет смысла посылать в ту группу, тут же тихо и ничего не обсуждаем?

Scrapy

19 Aug 2024 08:20

Привет!
Ищу python-разработчика для выполнения проектной работы.

Суть проекта: разработать парсер сайта с данными о ценах на продукцию, после чего скрипт должен загрузить данные в Excel файл и отправить файл по почте

Scrapy

15 Aug 2024 16:29

любой, кто знает скрапивы и spamming, что я мог бы сотрудничать с каждой прибылью я бы взял 40% и вы 60%

Scrapy

15 Aug 2024 08:11

ради теста подождать минут 10, потом посмотреть в стату, сколько отлупов по таймауту...
у меня, в 99% случаев, после этого, вопросы отпадали :).

Scrapy

14 Aug 2024 19:08

не обезательно, рандомно
concurrency 50, может в середине, может в конце очереди

Scrapy

12 Aug 2024 17:27

net::ERR_TUNNEL_CONNECTION_FAILED

Scrapy

12 Aug 2024 17:27

а вторую не пропускает, я хз с чем связано, скорее всего с прокси

Scrapy

10 Aug 2024 10:49

Всем привет. Ищу людей на постоянную основу который может парсить на selenium и requests (Python). Кто заинтересован пишите в ЛС, дам лёгкое тестовое задание на регистрацию, если выполните то приступим к настоящим заданиям

Scrapy

19 Aug 2024 12:29

есть сайт без api, к нему надо сделать "обертку" api, чтобы внешние сервисы через эту api-обертку, обращались к сайту без api (искали информацию и выдавали ее), и получали результат в виде структурированного json

Scrapy

19 Aug 2024 12:04

бойлерпплейт выпиливаешь и просишь чатгпт найти данные и сгенерировать селекторы, вполне неплохо работает

Scrapy

19 Aug 2024 11:58

ну это уже детали, не так ли?

Scrapy

19 Aug 2024 11:56

можете чатгпт попросить

Scrapy

19 Aug 2024 11:54

слишком многого хотите, но успехов

Scrapy

19 Aug 2024 11:53

любые страницы и любые данные? или как вы это себе представляете?

Scrapy

19 Aug 2024 09:51

а я че, я ниче. Могу посылать, могу не посылать :)

Scrapy

19 Aug 2024 09:22

@kirill9366 по работе в /channel/scrapy_jobs

Scrapy

18 Aug 2024 22:22

всем привет! я тут неделю назад примерно спрашивал как получать статы с паука напрямую. так вот, я написал (но не тестировал никак) расширение, которое позволяет брать всякую инфу про запущенного паука, на подобие того, что было в Scrapy 0.26.
может, я плохо искал, но гугл ничего подобного и нового выдать не смог(
буду рад пул реквестам и другой активности!
https://github.com/abebus/spider-info-webservice

Scrapy

15 Aug 2024 16:27

Привет всем, я знаю, что для этого мне действительно нужен гид, если есть кто-то, кто может направлять меня бесплатно, могут ли они, пожалуйста, отправить мне сообщение?

Scrapy

14 Aug 2024 19:09

ждёт ответов сервера либо причина в юзерском коде

Scrapy

14 Aug 2024 19:04

всем привет
scrapy фризится по середине процесса
внутри asyncio/trheading не используется, выглядит будто проблема в самом scrapy

кто сталкивался, в чем может быть проблема?

Scrapy

12 Aug 2024 17:27

я авторизовался руками норм, скопировал свежие куки, менял прокси и не помогало

Scrapy

12 Aug 2024 17:27

ребят одна сессия работает идеально

Scrapy

10 Aug 2024 07:49

нет, просто есть задача скрапить новые обьявления