Scrapy

29 December 2024 08:21

Пока что на обычном спайдере ), спасибо за помощь

Scrapy

29 December 2024 07:48

Я бы делал именно так

Scrapy

29 December 2024 02:43

А просто собрать со страницы все ссылки и random.choice выбрать 5шт не проще?

Scrapy

28 December 2024 14:13

Привет, а если мне нужен кроулер который будет парсить рандомные 5 ссылок из каждой страницы, могу ли я сделать это в скрепи, на уровне какого нибудь бэйз класса ?

Scrapy

24 December 2024 16:10

благодарствую, буду пробовать

Scrapy

24 December 2024 16:09

ну да, я же зачем-то это вам написал, вы ещё что-то на это ответить пытались

Scrapy

24 December 2024 16:08

попробуйте теперь то что я писал

Scrapy

24 December 2024 16:02

Daphne is a HTTP, HTTP2 and WebSocket protocol server for ASGI and ASGI-HTTP, developed to power Django Channels.

Scrapy

24 December 2024 16:00

хочу по вебсокетам статус задачи отправлять и отображать в django приложении

Scrapy

24 December 2024 15:59

Всем привет, кто нибудь знает как работать с сокетами? пытаюсь отправить сообщение, никак не получается
сигналы отрабатывают, но при отправке сообщений, то ошибки появляются, с синхронизацией, то бот виснет

    def __init__(self, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.channel_layer = get_channel_layer()
    
    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_opened, signal=signals.spider_opened)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        return spider

    def spider_opened(self, spider): 
        self.log(f'Spider {spider.name} opened') 
        self.send_status('Crawling started') 
    
    def spider_closed(self, spider): 
        self.log(f'Spider {spider.name} closed') 
        self.send_status('Crawling finished') 
    
    def send_status(self, status): 
        self.channel_layer.group_send( 
            'scrapy_status', { 
                'type': 'send_status', 
                'status': f'{status} for {self.name}' 
            }
        )

Scrapy

18 December 2024 14:05

@Princess_idk11, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Scrapy

16 December 2024 15:13

Хрен его знает, я не шарю, если они норм, то ок

Scrapy

16 December 2024 07:44

мб есть альтернатива телетону, что бы не было выбросов

Scrapy

16 December 2024 07:36

для выполнения таких задач

Scrapy

16 December 2024 06:50

К теме чата вообще не относится.
Перечисленные библиотеки подойдут не для обучения а для работы. Каких то специальных "обучающих" библиотек для тг наверное и нет, какой смысл?
Телетон только чудит вроде, может выкидывать из всех сеансов при авторизации через него. Хотя может пофиксили уже...

Scrapy

29 December 2024 07:49

От CrawlSpider в этой задаче плюсов никаких, но вам решать

Scrapy

29 December 2024 06:26

Ну, кроулер вроде сам ходит по ссылкам. Я мог бы это сделать на основе обычного паука.

Scrapy

28 December 2024 14:13

мидлварь можно сделать которая остальные ссылки выкинет

Scrapy

24 December 2024 21:53

Webscraping, Google maps scraping available. Dm if you want scrape any data from web.

Scrapy

24 December 2024 16:10

websockets например

Scrapy

24 December 2024 16:09

асинхронную библиотеку взять? есть варианты?

Scrapy

24 December 2024 16:07

asgi.py

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'starky.settings')

application = ProtocolTypeRouter({
    'http': get_asgi_application(),
    'websocket': AuthMiddlewareStack(
        URLRouter(
            spider_manager.routing.websocket_urlpatterns
        )
    ),
})

ASGI_APPLICATION = 'starky.asgi.application'

CHANNEL_LAYERS = {
    'default': {
        'BACKEND': 'channels.layers.InMemoryChannelLayer',
    },
}

websocket_urlpatterns = [
    path(r'status', StatusConsumer.as_asgi()),
]

const socket = new WebSocket('ws://' + window.location.host + '/status');

        socket.onmessage = function(e) {
            const data = JSON.parse(e.data);
            resultDiv.textContent = `Status: ${data.status}`;
        };

Scrapy

24 December 2024 16:01

я думаю вам надо выкинуть вашу синхронную библиотеку и взять асинхронную

Scrapy

24 December 2024 16:00

с какими сокетами и как работать?

Scrapy

22 December 2024 19:00

✅Cpoчнo uщy 2 - 3 чeлoвeкa uз любoй тoчкu мupa
✅Cтaбuльный дoxoд oт 70USD в дeнь.
Возраст от 18 лет.
✅Bыпoлнять пpocтыe зaдaнuя c тeлeфoнa.
Быть гoтoвым yчuтьcя нoвoмy.
✅Пoлyчaeтe пpoфuт c пepвoгo дня
✅Oтcyтcтвue oпытa нe пpoблeмa, вceмy oбyчy, oбъяcню.
Узнaть бoльшe uнфopмaцuu мoжнo тyт ➡️@RabotaDmitr

Scrapy

17 December 2024 13:54

Елена Васильева, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Scrapy

16 December 2024 09:29

Чём другие указанные в первом сообщении не нравятся? Кроме телетона там ещё две указаны.

Scrapy

16 December 2024 07:41

а чем другие перечисленные не нравятся?

Scrapy

16 December 2024 07:35

подскажите другие библиотеки для парса тг

Scrapy

16 December 2024 06:42

/channel/scrapy_python/108885