Autolabel: авторазметка текстового датасета
Если задачи NLP вам набили оскомину:
— кластеризация документов (Сlassification);
— распознавание именованных сущностей (Named Entity Recognition);
— связывание именованных сущностей (Entity Matching);
— оценка эмоциональной окраски (Sentiment Analysis);
— поиск ответа в тексте и проч.
И тут помогут LLM. Библиотека Autolabel решает эти задачи быстро и условно бесплатно, причём какой именно моделью — остаётся вашим решением.
Репозиторий проекта на GitHub
#библиотека
Python снова в топе языков для старта в программировании
Согласно исследованию Бюро статистики труда США, Python на втором месте среди самых оптимальных для новичков ЯП. Догадались, кого на первое место поместили?
#факты
Задача об анаграмме
Напишите функцию, принимающую две строки s
и t
и возвращающую True
, если первый аргумент является анаграммой второго.
Анаграмма — это слово, образованное перестановкой букв другого слова с использованием всех исходных букв один раз.>>> s = 'bro'
>>> t = 'rob'
>>> check_anagram(s, t)
... True
#задача
@zen_of_python
Приходите в Гостиную к Алисе!
«Гостиная Алисы. Не один дома» — это митап от команды Яндекса для middle+ бэкендеров: доклады о том, как устроена Алиса, Умные устройства, Беспилотные технологии и нетворкинг в неформальной обстановке.
Вот какие доклады будут ждать вас:
— Павел Капля, руководитель продуктовой разработки Алисы. Расскажет, как запускали Новые возможности, и что пришлось изменить в помощнике, чтобы заставить её думать по-новому.
— Марат Мавлютов, руководитель службы разработки роботов-доставщиков. Объяснит, как роботы-доставщики видят мир вокруг себя, строят маршрут, ориентируются в толпе и проезжают светофоры.
18 апреля, 19:00
Москва
Зарегистрироваться можно здесь.
Реклама. ООО "Яндекс", ИНН 7736207543
Стоит ли начинать учить Python с Django?
Вопрос от подписчика @IPyth0n:
"Стоит ли начинать учить Python с Django? Я когда-то упустил эту возможность..."
Пожалуйста, будьте взаимовежливы. Всем нам порой нужно, чтобы выслушали и не троллили.
Вы всегда можете задать любой питнический вопрос по пятницам в отдельном вечернем посте, и самый интересный из них станет отдельным обсуждением.
#обсуждение
@zen_of_python
Первый этап внедрения ML: как провести разметку данных
Бизнес-аналитик Embedika Полина Богданова рассказала, как подготовиться к разметке данных и как работает активное обучение размечивающего алгоритма.
#факты
@zen_of_python
Что даёт VK Cloud разработчику, инженеру или админу
VK Cloud — безопасная и технологичная платформа с широким набором облачных сервисов для эффективной разработки и работы с данными.
— Всё, что нужно для разработки: виртуальные машины, базы данных, GPU, Kubernetes, S3-хранилище, бэкапы, решения для машинного обучения и работы с Big Data.
— Аудит, миграция, мониторинг и другие лучшие практики VK от команды опытных инженеров.
— Комплексная защита веб-сервисов от атак и взломов.
Зарегистрируйтесь в VK Cloud и получите 3 000 ₽ для тестирования облачных сервисов в течение 60 дней!
Реклама. ООО "ВК", ИНН 7743001840
Задача о счастливом числе
Алиса теперь проводит в Зазеркалье числа, но ей не хочется пускать в королевство грустных. Напишите функцию, определяющую «счастливость» положительного числа. Чтобы определить счастливое число:
1. Заменяем число суммой квадратов его цифр.
2. Повторяйте процесс до тех пор, пока число не станет равным единице (где оно и «останется»), или пока не наступит бесконечное повторение в цикле, который не включает 1.
Счастливыми являются те числа, для которых этот процесс заканчивается на 1.>>> detect_happy_number(19)
... True
Потому что:12^2 + 92^2 = 82
82^2 + 22^2 = 68
62^2 + 82^2 = 100
12^2 + 02^2 + 02^2 = 1
#задача
@zen_of_python
Разминка мозга: парсинг Google News
Возможно, вы уже знаете, что GN — это в том числе автоматизированный сбор новостей из разных источников. Так что парсинг этой платформы вполне в состоянии дать адекватный результат, скажем, для инвестора, который следит за ценой акций компании и её состоянием дел.
В статье описан актуальный на сегодня способ собрать новости c news.google.com на bs4 + requests.
#библиотека
@zen_of_python
Что не так с pip?
Грамотная и доступная англоязычная статья о текущей системе менеджмента зависимостей и её проблемах. Мэт Дагган рассказывает, как он фиксирует requirements не только номерами версий, но даже хэшами, и что хорошего можно унаследовать из опыта PyPa (группы поддержки встроенных объектов в Python).
#факты
Вопросы от новичков
Zen of Python поддерживает новоприбывших в особой рубрике. Как это работает:
— Спрашивайте что угодно (в комментариях под этим постом), связанное с Python. Здесь нет плохих вопросов!
— Сообщество вас поддержит. Самые интересные вопросы мы разберём в отдельном посте;
#вопросыновичков
@zen_of_python
ProtonVPN через Python
Краткий гайд по подключению и рандомизации локаций для Windows.
А кому такой самописный сетап пригождался? У админа просто GUI для удаленного рабочего стола. Поделитесь в комментариях.
#библиотека
@zen_of_python
Корректная грамматики: 4 Py-инструмента
В статье вы познакомитесь с библиотеками для исправления орфографических и не только ошибок, в том числе на русском языке.
Как считаете, есть ли шанс на выживание у таких инструментов после популяризации GPT? Поделитесь в комментариях.
#библиотека
@zen_of_python
Поздравляем победителей
Задачу о счастливом числе верно решили:
— @IPyth0n;
— /channel/Python3k;
— @patriarch_chesslovo.
Кратчайшие верные решения предложили @Python3k:def detect_happy_number(n):
seen_numbers = set()
while n != 1 and n not in seen_numbers:
seen_numbers.add(n)
n = sum(int(digit)**2 for digit in str(n))
return n == 1
и @patriarch_chesslovo:def detect_happy_number(num):
numbers = set()
while num not in numbers:
numbers.add(num)
num = sum(map(lambda x: int(x)**2, str(num)))
return num == 1
Теперь все решения проходят проверку в интерпретаторе Programiz. Как правило, в задаче просим создать функцию, и если в ней некорректные отступы или опечатка, то заниматься отладкой админ не будет и решение не засчитает. А то некогда пробовать очередную LLM.
#задача
@zen_of_python
Хотите попробовать себя в роли аналитика и попрактиковаться на реальных задачах?
Приходите на бесплатный курс-симулятор Нетологии и Yandex Cloud «Основы анализа данных в SQL, Python, Power BI, DataLens».
В этой профессии много разных направлений — аналитик данных, BI-аналитик, продуктовый аналитик, Data Scientist. Но везде пригодится навык работы с инструментами-помощниками, которые вы и освоите на курсе.
Эксперты-практики расскажут, как делать простые отчёты, исследовать данные и строить интерактивные дашборды. А чтобы понять, что анализ данных — это точно ваше, вместе решите практические задачи из реальных кейсов.
Воспользуйтесь шансом попробовать новые инструменты и запишитесь на бесплатный курс Нетологии.
Регистрация: https://netolo.gy/c3Xg
Реклама. ООО «Нетология», LatgBUaBP
Принцип Fail Fast или позвольте себе ошибаться
Современный рынок часто диктует условия, в которых скорость и гибкость системы становятся решающими факторами, позволяющими не только «запрыгнуть в последний вагон», но и стать тем самым «локомотивом», который тащит всю нишу или даже отрасль на себе. В таких условиях вы примете неизбежное: ошибки, тем лучше проявите свою адаптивность.
В статье доступно рассказывают, как применить такое правило к своему проекту и почему срывы сроков — это нормально.
#советы
Вопросы от новичков
Zen of Python поддерживает новоприбывших в особой рубрике. Как это работает:
— Спрашивайте что угодно (в комментариях под этим постом), связанное с Python. Здесь нет плохих вопросов!
— Сообщество вас поддержит. Самые интересные вопросы мы разберём в отдельном посте;
#вопросыновичков
@zen_of_python
Исследуем структуру базы данных MySQL с помощью функций SHOW
Для эффективной работы, и разработчику и тестировщику работающих с базой данных важно иметь возможность исследовать все необходимые компоненты. Вячеслав Рожнев рассмотрел, как это сделать в MySQL при помощи выражений SHOW.
Напоминаем, что если вы хотите чуть пропиариться в канале Zen of Python и поделиться своим опытом питонической (плюс окололежащей), скидывайте опубликованную на tproger.ru статью админу. Анонсируем по-королевски.
@zen_of_python
Едадил приглашает Python-разработчиков на борт!
Едадил – сервис Яндекса, где собраны скидки, спецпредложения и кэшбеки. С их помощью люди могут совершать выгодные покупки!
Сервис в поиске талантливых Python-разработчиков, специализирующихся на асинхронном программировании, и с опытом коммерческой разработки более 3 лет.
Если вы мастер своего дела и готовы к новым вызовам, присоединяйтесь к команде!
Ищут специалистов из разных уголков России!
Что вас ждёт?
— Работа в классном офисе в гибридном формате.
— Конкурентоспособная заработная плата, соцпакет и возможности для профессионального роста.
— Работа в команде единомышленников над проектами, влияющими на жизнь миллионов пользователей.
Выбирайте подходящую вакансию:
– Asyncio Python-разработчик
– Python-разработчик с опытом в PostgreSQL, noSQL, Docker и Git
– Python-разработчик с навыками в Python 3.10, aiohttp, YQL, YTsaurus, Docker
Реклама ООО "Яндекс" ИНН 7736207543
Botasaurus | скрейпинг 80-го уровня
Интересный фреймворк для вёрстки веб-пауков любой сложности. Может обойти Cloudflare и некоторые другие методы защиты веб-страниц. Поддерживает параллельный парсинг, предлагает упрощённое сохранение результата в .json.
#фреймворк
@zen_of_python
Создатели Python в поисках специалиста техпода
PSF (Python Software Foundation) ищет сотрудника для поддержки пользователей PyPi. В число обязанностей входит:
— Восстановление аккаунтов;
— Обработка запросов на нейминг новых инструментов;
— Управление лимитами проектов;
— Работа с уведомлениями о спаме / вредоносном ПО и проч.
Насколько хорошо приветствуется умение кодить в такой должности? Или вообще не стоит кодеру соваться? Поделитесь мнением в комментариях.
Markdown-powered emails in Django
Programmatically sending "nice-looking" HTML emails with minimal effort is hard. This is why projects like MJML exist. MJML is cool, but I think it comes with some bit of overhead, as you have to learn (and write) the markup and design the layouts (y...
Read: https://blog.victor.co.zm/markdown-powered-emails-in-django
@django_prog
Поздравляем победителей
Задачу о трейдере верно решили:
— @Posegrey;
— @Somename_By;
— @GeorKu;
— @rukapashko;
— @dopefile;
— @dalor_dandy;
— @Lexio_P.
Кратчайшее верное решение предложил @GeorKu:def find_max_profit(prices:list[int]) -> int:
if not prices:
return
min_p = min(prices)
min_inx = prices.index(min_p)
max_p = max(prices[min_inx:])
return max_p - min_p
Присоединяйтесь к общению в комментариях, там могут подсказать, как усовершенствовать ваш ответ.
#задача
@zen_of_python
Бенчмарк Wi-Fi сетей на wifi-heat-mapper
wifi-heat-mapper — питонская версия Wi-Fi Analyzer, позволяющая не только визуализировать силу сигнала, но и рассчитывать мощность в любой точке помещения
#библиотека
@zen_of_python
Российский AI-ассистент разработчика доступен на GitVerse
AI-ассистенты (AI, artificial intelligence — искусственный интеллект) — это программы, которые анализируют код и предлагают варианты завершения в режиме онлайн. Разработчик может быстрее выполнять привычные задачи, избавиться от рутины сосредоточиться на важных проектах.
К одному из таких помощников вы можете получить доступ уже сейчас!
GigaCode – это AI-ассистент, который знает 15 языков программирования — Java, Python, TypeScript, C/C++ и другие. GigaCode работает в любой привычной среде разработки. Его можно подключить к IDEA, PyCharm, VSCode, Jupyter и другим.
GigaCode развивается вместе c сервисом GigaChat. В AI-ассистенте есть нейросетевые модели, которые обучены на больших корпусах исходного кода и специализируются на определенных задачах разработки. А по опыту команд в Сбере, GigaCode может сокращать время для создания кода до 25%. Ранний доступ к AI-ассистенту можно получить на площадке GitVerse. Это российская платформа для работы с исходным кодом от СберТеха, где можно хранить открытые и закрытые репозитории и продвигать свои проекты.
Чтобы получить доступ к GitVerse и протестировать GigaCode в своем проекте, оставьте заявку на сайте.
Реклама
Dual personality of being JS n Python Dev
In the dynamic field of software engineering, continuous learning and skill enhancement are pivotal for career advancement, especially for those aspiring to secure a position as an experienced software engineer. With the ever-evolving technological l...
Read: https://shijoshaji.hashnode.dev/dual-personality-of-being-js-n-python-dev
@django_prog
Скрытые возможности help()
Порой быстрее и проще вспомнить нюанс встроенной функции не на StackOverflow, а с помощью встроенной в интерпретатор справки. Питонист и блогер pulsar17 напоминает, к чему применима help()
и как выжать из неё больше.
#лучшиепрактики
@zen_of_python
15 библиотек Python, которые стоит знать
Ютьюбер ArjanCodes собрал коллекцию либ, которые совершенствуют разны аспекты ваших проектов:
— хранение (polars вместо SQL);
— pendulum (для удобной работы с datetimes);
— icecream (чтобы не дебажить print'ом) и проч.
#библиотека
@zen_of_python