scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

Дядь, не бурчи, я второй день после отпуска, дай мозгу хоть тут отдохнуть. 😂

Читать полностью…

Scrapy

Поверьте не только мне он удобен но и многим профи, например из сообщества Zennoposter. По сути это клон их стандартного конструктора регулярных выражений. Но он доступен только в Zennoposter. Я просто сделал его в виде веб-версии и плагина для Хрома)

Читать полностью…

Scrapy

Лично для моих рабочих задач мой конструктор закрывает 90% регулярок. Шпаргалка чисто для справки, на всякий случай. На мой взгляд regexp-helper достаточно общее и информативное название по которому пользователь поймет что инструмент ему поможет в составлении регулярок. Конкурировать с сервисами 101 и подобными никогда в планах не было)

Читать полностью…

Scrapy

короче, я понял в чем затык у присутствующих - все думают со старта это функционал аля регексп101 и подобных сайтов, но это не конструктор регулярных выражений а штука, хорошо выполняющая только одну функцию, аля "составитель выделения подстрок по маркеру начала и конца", и поэтому "этот ваш шпаргалка нам и нахер не нужон", если в такой парадигме повернуть то да, тут согласен.
Я бы разве что переименовал его в regexp substring searcher

Читать полностью…

Scrapy

А почему не нравится? Чем не так? Хелп сразу там где применим. Ну и как-то это не сочетается с "конструктор без особых знаний регулярок", с основной функцией на условный поиск текста в скобках. Или хелп уже вкорячен был просто для галочки? (просто пытаюсь проследить мысль создания инструмента, какие задачи он решает)

Читать полностью…

Scrapy

сейчас это условно говоря выглядит как топор, который надо после каждого второго удара по дереву зачем-то положить на пенек в 5 метрах от срубаемого дерева, а потом обратно взять)

Читать полностью…

Scrapy

Потому что основной акцент идет на конструктор без особых знаний регулярок. Если нужны сложные регулярки которые не покрывает конструктор, тогда уже выбирайте инструмент который вам более удобен

Читать полностью…

Scrapy

3 хоть и натаскивали на куче кода, но она все-равно не так хороша как 4, к тому же 4o сейчас на десяток запросов в день бесплатная. Плюс, если как джуну расписывать задачи, с использованием разделения задачи на подзадачки и заворачивать её с решений, в которых она приходит в тупик, все равно для четвертой нужно меньше подобных итераций, она прям явно умнее, меньше "глючит" и даже не забывает про какие-то краевые случаи

Читать полностью…

Scrapy

Ну, мой опыт на основе 3-ки полагается, так что 3. Хотя я не думаю, что 4 прям сильно далеко ушёл от 3-ки

Читать полностью…

Scrapy

Вот так переучиваешься

Читать полностью…

Scrapy

И да, и нет, потому что постоянно за ним приходится проверять

Читать полностью…

Scrapy

оооой, а вот щас я "подушню" 😂
1. "шпаргалка", на регэкс101 есть тот же "quick reference", да еще и с поиском
2. есть подсветка синтаксиса
3. есть расшифровка самой регулярки
4. есть хренова куча примеров
5. есть генератор кода
6. есть есть дебагер
7. "конструктор" для таких вещей, чаще зло, чем добро, ибо, просто тыркаешь не сознавая, что "под капотом"

но, на самом деле, это я в режиме доипаться :)

Читать полностью…

Scrapy

раз в селениум ок, а на запросах нет - кривые запросы, тут множество факторов, начиная от хедеров, js-а и углубляясь в tls

Читать полностью…

Scrapy

нет
6 проксей
ip адресов там множество

Читать полностью…

Scrapy

просто не встречал такого
вообще я не встречал бана мобилок

Читать полностью…

Scrapy

Проверьте мне, если из 370 онлана об удобстве говорите только Вы, то это что то до и значит 😁

Читать полностью…

Scrapy

ну, выше, как раз, и говорилось, что инструмент совсем не помогает. То, что он удобен лично Вам - не вопрос, вполне возможно. То, что, он удобен широкой аудитории - сильно сомневаюсь. Начинающий скажет "ой, сколько не понятных окошек, а чего туда писать", продвинутый скажет "фу, мля, нафуя мне это все надо".
У меня был случай общения с инструментом, заточенным под конкретного человека. Я когда увидел интерфейс софтины так и сказал "хоспади, да как же во всем этом разобраться, да как же оно работат". А человек, который пользовался, чудеса творил с пасрингом сайтом, причем, все это было очень быстро, не смотря на кучу полей ввода.

В общем, озвучу сугубо свое мнение. Что до конструктора для новичка, что до проф. инструмента - оно не дотягивает.

Читать полностью…

Scrapy

По разбегу глаз - это как с городами, которые красивые с птичьего полета, но при этом жить и них, находясь на земле, адски неудобно. Часто максимально мерзко выглядящие тулзы в долгой работе самые удобные. Одна из самых удобных метрик -
1. количество лишних кликов
2. количество нажатий клавишек
3. сколько километров пропутешествовала мышка. Вот это туда-сюда, в долгую - заколебет (ну, не тут, тут это по-факту не особо надо, да, это уже если начать пиликать как корабли бороздят просторы космосы))

Читать полностью…

Scrapy

Да шпаргалка была добавлена позже. В начале была одна страница с конструктором и все) Мне больше нравится когда все разложено по вкладкам. А на 101 глаза разбегаются что куда, со старта не понятно))

Читать полностью…

Scrapy

Если вы часто переключаетесь со шпаргалки на конструктор значит вы не наш клиент)) Шпаргалка там на всякий случай чтоб, иногда, точечно поправить регулярку от конструктора. Мне лично не нравится когда все на одном экране как на 101.

Читать полностью…

Scrapy

нет, мой поинт даже не в этом, а в том, что хорошо было бы подумать как подсказку запихнуть в основной экран, чтобы не переключаться туда-сюда

Читать полностью…

Scrapy

посмотрел, столкнулся вот с таким неудобством - хочу я вот в напр. в "Before the text you are looking for there is:" засунуть "любое число с запятой или точкой, от 1 до 3 цифр", но я нифига не помню что число это \d там или \w, а количество символов задается в {} или [] а потом еще как задать старт- и мне надо перещелкиваться на cheat sheet, выглядывать там, потом переключаться обратно, тогда как на regexp101 и практически всех остальных подобных сайтах у меня обычно quick reference прям перед глазками

Читать полностью…

Scrapy

На мой взгляд 101 очень не удобен, несмотря на все плюшки что там есть) Но я и не стремлюсь на кого-то ровнятся, у нас свой путь)

Читать полностью…

Scrapy

А чатгпт может дать основу, но вообще часто дурит

Читать полностью…

Scrapy

Честно говоря, я каждый раз что начинаю писать регулярку открываю мануал, потому что никак ничё не запомню 😂

Читать полностью…

Scrapy

По мне так сейчас проще с чатгпт, чем пользоваться regex101

Читать полностью…

Scrapy

В моем есть конструктор который позволяет составить большую часть рабочих регулярок вообще без знаний самих регулярок. Плюс лично для меня удобная шпаргалка)

Читать полностью…

Scrapy

ротируются каждые 2 минуты или по запросу

Читать полностью…

Scrapy

6 это 6 шт. ip? В смысле, шесть адресов?

Читать полностью…

Scrapy

все 6 мобильных прокси ?
при этом через селениум работает все ?

Читать полностью…
Subscribe to a channel