scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

А почему не нравится? Чем не так? Хелп сразу там где применим. Ну и как-то это не сочетается с "конструктор без особых знаний регулярок", с основной функцией на условный поиск текста в скобках. Или хелп уже вкорячен был просто для галочки? (просто пытаюсь проследить мысль создания инструмента, какие задачи он решает)

Читать полностью…

Scrapy

сейчас это условно говоря выглядит как топор, который надо после каждого второго удара по дереву зачем-то положить на пенек в 5 метрах от срубаемого дерева, а потом обратно взять)

Читать полностью…

Scrapy

Потому что основной акцент идет на конструктор без особых знаний регулярок. Если нужны сложные регулярки которые не покрывает конструктор, тогда уже выбирайте инструмент который вам более удобен

Читать полностью…

Scrapy

3 хоть и натаскивали на куче кода, но она все-равно не так хороша как 4, к тому же 4o сейчас на десяток запросов в день бесплатная. Плюс, если как джуну расписывать задачи, с использованием разделения задачи на подзадачки и заворачивать её с решений, в которых она приходит в тупик, все равно для четвертой нужно меньше подобных итераций, она прям явно умнее, меньше "глючит" и даже не забывает про какие-то краевые случаи

Читать полностью…

Scrapy

Ну, мой опыт на основе 3-ки полагается, так что 3. Хотя я не думаю, что 4 прям сильно далеко ушёл от 3-ки

Читать полностью…

Scrapy

Вот так переучиваешься

Читать полностью…

Scrapy

И да, и нет, потому что постоянно за ним приходится проверять

Читать полностью…

Scrapy

оооой, а вот щас я "подушню" 😂
1. "шпаргалка", на регэкс101 есть тот же "quick reference", да еще и с поиском
2. есть подсветка синтаксиса
3. есть расшифровка самой регулярки
4. есть хренова куча примеров
5. есть генератор кода
6. есть есть дебагер
7. "конструктор" для таких вещей, чаще зло, чем добро, ибо, просто тыркаешь не сознавая, что "под капотом"

но, на самом деле, это я в режиме доипаться :)

Читать полностью…

Scrapy

раз в селениум ок, а на запросах нет - кривые запросы, тут множество факторов, начиная от хедеров, js-а и углубляясь в tls

Читать полностью…

Scrapy

нет
6 проксей
ip адресов там множество

Читать полностью…

Scrapy

просто не встречал такого
вообще я не встречал бана мобилок

Читать полностью…

Scrapy

Легко, они изначально в бане были...

Читать полностью…

Scrapy

попробовал не просто кидать запрос
а открыть с теми же прокси в селениуме - все ок

Читать полностью…

Scrapy

бгг. с одним IP работает, с другим - нет. Тут и изобретать ничего не надо. Прокся палится. Либо по признакам, либо сам пул адресов побанен уже

Читать полностью…

Scrapy

так а почему локально все ок ?

Читать полностью…

Scrapy

Если вы часто переключаетесь со шпаргалки на конструктор значит вы не наш клиент)) Шпаргалка там на всякий случай чтоб, иногда, точечно поправить регулярку от конструктора. Мне лично не нравится когда все на одном экране как на 101.

Читать полностью…

Scrapy

нет, мой поинт даже не в этом, а в том, что хорошо было бы подумать как подсказку запихнуть в основной экран, чтобы не переключаться туда-сюда

Читать полностью…

Scrapy

посмотрел, столкнулся вот с таким неудобством - хочу я вот в напр. в "Before the text you are looking for there is:" засунуть "любое число с запятой или точкой, от 1 до 3 цифр", но я нифига не помню что число это \d там или \w, а количество символов задается в {} или [] а потом еще как задать старт- и мне надо перещелкиваться на cheat sheet, выглядывать там, потом переключаться обратно, тогда как на regexp101 и практически всех остальных подобных сайтах у меня обычно quick reference прям перед глазками

Читать полностью…

Scrapy

На мой взгляд 101 очень не удобен, несмотря на все плюшки что там есть) Но я и не стремлюсь на кого-то ровнятся, у нас свой путь)

Читать полностью…

Scrapy

А чатгпт может дать основу, но вообще часто дурит

Читать полностью…

Scrapy

Честно говоря, я каждый раз что начинаю писать регулярку открываю мануал, потому что никак ничё не запомню 😂

Читать полностью…

Scrapy

По мне так сейчас проще с чатгпт, чем пользоваться regex101

Читать полностью…

Scrapy

В моем есть конструктор который позволяет составить большую часть рабочих регулярок вообще без знаний самих регулярок. Плюс лично для меня удобная шпаргалка)

Читать полностью…

Scrapy

ротируются каждые 2 минуты или по запросу

Читать полностью…

Scrapy

6 это 6 шт. ip? В смысле, шесть адресов?

Читать полностью…

Scrapy

все 6 мобильных прокси ?
при этом через селениум работает все ?

Читать полностью…

Scrapy

убедитесь что ничего другого кроме добавления прокси не менялось

Читать полностью…

Scrapy

пробовал 3 разных сервиса
не могут же сразу все прокси залететь в бан лист

Читать полностью…

Scrapy

то есть с моим айпишником родным проходит запрос

Читать полностью…

Scrapy

HTTP 403 Forbidden

ни на какие мысли не наводит?

Читать полностью…
Subscribe to a channel