Scrapy

12 Nov 2024 11:29

по урлу, но с самым большим номером записи видимо, или как вы там будете различать записи разных версий одной страницы

Scrapy

12 Nov 2024 11:28

ну или доставать по урлу и сравнивать, ок

Scrapy

12 Nov 2024 11:27

изменилось какое-либо поле айтема

Scrapy

12 Nov 2024 11:26

Ну тёска походу не понимает как она работает

Scrapy

12 Nov 2024 11:25

бд в вопросе уже есть

Scrapy

12 Nov 2024 11:23

ошибаетесь, ну либо несите ссылку на этот механизм

Scrapy

11 Nov 2024 12:13

DM me if you need a webscraper

Scrapy

10 Nov 2024 19:48

хех, стоит "вежливо" попросить, так сразу, хоть что то получается написать.
ну, насчет выполнения тестовых - это сугубо личные проблемы индивидуумов.
я спать - надо будет кого побанить, пингую

в скрапиджоб не выпинываю. Булат как то писал, что согласен, что бы тут постили....

Scrapy

10 Nov 2024 19:43

так 100 тестовых заданий дашь, потом глядишь - половина система написана уже по ТЗ)))))

Scrapy

10 Nov 2024 19:41

А что рассказывать? ТЗ в лс кидаю

Scrapy

10 Nov 2024 19:40

либо рассказываем, кратко, о чем речь. Либо - медленно идем в бан.

Scrapy

10 Nov 2024 13:35

надо выбрать каждый элемент по очереди

Scrapy

10 Nov 2024 11:36

Ну или не знаю как делать чтобы защита не сработала

Scrapy

10 Nov 2024 11:35

вы правы) дело в них

а есть методики решения таких... проблем?

Scrapy

10 Nov 2024 11:08

возможно дело в том что на нерусских айпи защита очень чуткая

Scrapy

12 Nov 2024 11:28

Не русский он получается конкретно

Scrapy

12 Nov 2024 11:28

рекомендую считать хэш и делать по нему апсёрт, вы ж не хотите всю бд каждый раз сравнивать

Scrapy

12 Nov 2024 11:26

смотря что такое поменялась и equal

Scrapy

12 Nov 2024 11:25

А как это лучше реализовать? В piplines написать какую-нибудь функцию records_are_equal, например и если они отличаются записывать?

Scrapy

12 Nov 2024 11:24

ну вот в том то и дело, что я не могу его найти и решил спросить тут есть ли он?)

Scrapy

12 Nov 2024 11:23

Всем привет! Я пишу скрепер, который должен работать в бесконечном цикле и проверять одни и те же статьи. Мне нужно сделать так: если статья поменялась создается новая строка в бд, старая не меняется. Если статья не изменилась скрепер просто пропускает ее.

Я где-то слышал, что у scrapy есть встроенный механизм для такого сценария? или я ошибаюсь и придется придумывать что-то свое?

Hello everyone! I'm writing a scraper that needs to run in an infinite loop and check the same articles repeatedly. Here's what I want to achieve: if an article has changed, a new row should be created in the database, while the old one remains unchanged. If the article hasn't changed, the scraper should simply skip it.

I've heard that Scrapy has a built-in mechanism for this kind of scenario. Is that true, or will I need to implement something custom?

Any advice would be appreciated.

Scrapy

10 Nov 2024 19:49

ну щас рынок нанимателя, они могут по-идее чо угодно придумывать и нормально будет)

Scrapy

10 Nov 2024 19:44

Делать парсеры на python, парсить разные сайты от яндекса до мелких и записывать в csv файлы

Scrapy

10 Nov 2024 19:43

осталось 3 минуты...
потом, к овнеру за разбаном

Scrapy

10 Nov 2024 19:41

5 мин я раздумья. время пошло

Scrapy

10 Nov 2024 19:10

Здравствуйте! Предлагаю работу на постоянную основу. Если хотите быть в нашей команде вам нужно выполнить легкое тестовое задание на парсинг с python(undetected-chromedriver). Телеграм: /channel/assistant_yours

Scrapy

10 Nov 2024 13:35

Привет, кто знает как называется такая капча? Хочу попробовать её решать с помощью rucaptcha

Scrapy

10 Nov 2024 11:35

Использовать русские айпи

Scrapy

10 Nov 2024 11:10

окей, я щас попробую тогда изначально включить куки и попробовать пройти проверку, если при следующих запусках не будет, то в принципе вопрос сам собой решится (лишние куки проще вычистить)

осталось понять как сделать так что б капча не появлялась в моменте работы... ротация прокси?🤔

Scrapy

10 Nov 2024 11:07

да собственно в том, что мне капчу не показывает на личном браузере, но с пв детектит. вот и думаю в чем тут мб дело - то ли куки, то ли опции какие-нибудь