pythonportal | Unsorted

Telegram-канал pythonportal - Python Portal

50319

Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6

Subscribe to a channel

Python Portal

Чувак собрал целую AI-команду “дата-сайентистов” на Python и выложил в опенсорс (полностью бесплатно).

Библиотека автоматизирует типичный DS-пайплайн с помощью AI: загрузка данных, чистка/преобразования, EDA, визуализация, feature engineering. Плюс она логирует каждый шаг так, чтобы все собиралось в 100% воспроизводимый pipeline (можно повторить прогон один в один и понять, что именно делалось).

Таймкоды из демо:
00:00 обзор проекта
01:32 workflow + загрузка данных
02:10 wrangling и cleaning
03:33 инсайты из визуализаций и построение графиков
04:08 feature engineering
05:00 лайв воркшоп на 1 час
05:44 сама Python-библиотека “AI Data Science Team”

GitHub: здесь

👉 @PythonPortal

Читать полностью…

Python Portal

NVIDIA убрала самый жирный тормоз в Voice AI

Они выложили в опенсорс PersonaPlex-7B: full-duplex разговорную speech-to-speech модель, которая умеет слушать и говорить одновременно

Вместо того чтобы ждать, пока ты договоришь, она использует dual-stream архитектуру и обрабатывает входящий звук параллельно с генерацией ответа в реальном времени.

100% открытый исходный код и бесплатно. 🐸

👉 @PythonPortal

Читать полностью…

Python Portal

Qwen3-TTS официально в релизе. Выложили в опенсорс всю линейку: VoiceDesign, CustomVoice и Base, чтобы принести реально качественный TTS в open-комьюнити.

* 5 моделей (0.6B и 1.8B)
* Свободный voice design и клонирование голоса
* Поддержка 10 языков
* SOTA 12Hz токенизатор для сильной компрессии
* Полная поддержка fine-tuning
* SOTA качество

Возможно, самый “взрывной” релиз в опенсорсном TTS на данный момент. Давайте, ломайте, тестите, собирайте что-то крутое. Уже доступно всё: веса, код и статья. Enjoy.

Github: https://github.com/QwenLM/Qwen3-TTS
Hugging Face: https://huggingface.co/collections/Qwen/qwen3-tts
ModelScope: https://modelscope.cn/collections/Qwen/Qwen3-TTS
Blog: https://qwen.ai/blog?id=qwen3tts-0115
Paper: https://github.com/QwenLM/Qwen3-TTS/blob/main/assets/Qwen3_TTS.pdf
Hugging Face Demo: https://huggingface.co/spaces/Qwen/Qwen3-TTS
ModelScope Demo: https://modelscope.cn/studios/Qwen/Qwen3-TTS
API: https://alibabacloud.com/help/en/model-studio/qwen-tts-voice-design


👉 @PythonPortal

Читать полностью…

Python Portal

Топовый лайфхак с GitHub: добавь 0 к URL pull request, и ИИ поможет тебе ревьюнуть и понять изменения, которые хотят влить.

👉 @PythonPortal

Читать полностью…

Python Portal

Чувак создал игру по стрельбе из лука, в которой в качестве контроллера используется зарядный кабель.

👉 @PythonPortal

Читать полностью…

Python Portal

Как вам эти 30 незаменимых приемов при программировании на Python 🤭

👉 @PythonPortal

Читать полностью…

Python Portal

Этот чувак буквально за 6 минут объясняет, как с нуля собрать алгоритмический хедж-фонд для трейдинга. Я видел, как команды годами до этого доходят.

Жесть 🙌

👉 @PythonPortal

Читать полностью…

Python Portal

Когда оперативка бесконечная

👉 @PythonPortal

Читать полностью…

Python Portal

Клонируй любой голос по 5-секундному аудиоклипу.

VoxCPM это open-source проект, который делает TTS принципиально иначе.

большинство TTS-систем сначала переводят речь в дискретные токены. это становится бутылочным горлышком и ограничивает, насколько “живым” может быть звук.

VoxCPM вообще пропускает токенизацию. он моделирует аудио в непрерывном пространстве через end-to-end diffusion autoregressive архитектуру.

в итоге получается речь, которая реально звучит по-человечески.

вот что в нем особенного:

> контекстно-зависимая генерация: читает текст и сам подбирает нужную просодию, эмоцию и темп. ручной тюнинг не нужен.

> zero-shot клонирование голоса: даешь короткий аудиоклип, и он ловит не только тембр, но и акцент, ритм и эмоциональный окрас.

модель обучали на 1.8 млн часов билингвальных данных (английский и китайский)

* поддерживает streaming synthesis
* работает и с full fine-tuning, и с LoRA
* простой Python API: pip install voxcpm

VoxCPM1.5 гоняет на 44.1kHz sampling rate и имеет 800M параметров. поэтому звук заметно более четкий и натуральный.

лицензия Apache-2.0

👉 @PythonPortal

Читать полностью…

Python Portal

Теперь можно парсить почти любой документ одной моделью на 1.7B параметров.

Она называется dots-ocr. Одна система, которая умеет работать с текстом, таблицами, формулами, изображениями и PDF на 100+ языках.

Без отдельного OCR-пайплайна. Без моделей под конкретные задачи.

100% исходный код 👏

👉 @PythonPortal

Читать полностью…

Python Portal

Обесценивание профессии "инженер":

👉 @PythonPortal

Читать полностью…

Python Portal

Лучшие репозитории GitHub для изучения ИИ с нуля в 2026 году:

1. Андрей Карпаты
https://github.com/karpathy/nn-zero-to-hero

2. Hugging Face Transformers
https://github.com/huggingface/transformers

3. FastAI/fastb
https://github.com/fastai/fastbook

4. Made-With-ML
https://github.com/GokuMohandas/Made-With-ML

5. ML System Design
https://github.com/chiphuyen/machine-learning-systems-design

6. Awesome Generative AI guide(
https://github.com/aishwaryanr/awesome-generative-ai-guide

7. Dive into Deep Learning
https://github.com/d2l-ai/d2l-en

👉 @PythonPortal

Читать полностью…

Python Portal

Коллекция книг по машинному обучению и искусственному интеллекту в формате PDF: забираем

👉 @PythonPortal

Читать полностью…

Python Portal

Убийца Windows и Linux на подходе

Читать полностью…

Python Portal

AI → JSON → UI: представили json-render

UI, который генерит ИИ. Выход детерминированный.

1. Определяешь каталог компонентов

2. ИИ стримит JSON

3. Рендеришь интерактивный UI

Пользователь может по промпту собирать дашборды, виджеты и целые мини-приложения, но в пределах тех компонентов и экшенов, которые ты заранее разрешил.

И это вышло в опенсорс.

👉 @PythonPortal

Читать полностью…

Python Portal

Мем: на сайте Думы в пояснительной записке к закону о создании реестра молодёжных организаций нашли utm-метку ChatGPT. 😐

👉 @PythonPortal

Читать полностью…

Python Portal

Немного подкорректировал

👉 @PythonPortal

Читать полностью…

Python Portal

Сравнение async и ThreadPoolExecutor в Python

Асинхронная обработка async

В async переключение выполнения на уровне CPU происходит в момент выполнения await.
Но чтобы можно было вызвать await, сам код должен поддерживать async.

Например, если вы хотите делать запись в PostgreSQL через async, то придется использовать asyncpg.
То есть для тех операций, которые поддерживают async, можно реализовать асинхронную обработку с помощью async.

Параллельная обработка ThredPoolExcutor

ThredPoolExcutor имеет смысл использовать в тех случаях, когда:

* код не поддерживает async
* или вы хотите распараллелить выполнение, минимально переписывая существующий код.

Тестовый код

Асинхронная обработка async:

import asyncio
import time

from icecream import ic


async def io_task(name):
print(f"{name} start")
await asyncio.sleep(3) # ожидание неблокирующего I/O
print(f"{name} end")


async def main():
start = time.time()
await asyncio.gather(io_task("A"), io_task("B"), io_task("C"))
print(f"elapsed: {time.time() - start:.3f}")


ic()
asyncio.run(main())
ic()

# Результат выполнения
ic| main_async.py:19 in <module> at 22:06:11.408
A start
B start
C start
A end
B end
C end
elapsed: 3.001
ic| main_async.py:21 in <module> at 22:06:14.412


Параллельная обработка ThredPoolExcutor:

import time
from concurrent.futures import ThreadPoolExecutor

from icecream import ic


def io_task(name):
print(f"{name} start")
time.sleep(3) # блокирующий I/O
print(f"{name} end")


ic()
start = time.time()
with ThreadPoolExecutor(max_workers=3) as executor:
executor.submit(io_task, "A")
executor.submit(io_task, "B")
executor.submit(io_task, "C")

print(f"elapsed: {time.time() - start:.3f}")

# Результат выполнения
ic| main_ThreadPoolExcutor.py:13 in <module> at 22:07:03.543
A start
B start
C start
C end
B end
A end
elapsed: 3.003


Вывод: В случаях, когда требуется блокирующая обработка вроде time.sleep[1], имеет смысл использовать ThredPoolExcutor.

Когда же нужна неблокирующая обработка, как в случае с asyncio.sleep, лучше использовать async.

👉 @PythonPortal

Читать полностью…

Python Portal

xAI выложила в опенсорс новый рекомендательный алгоритм X

Весь код уже доступен на GitHub.
Обещают обновления каждые 4 недели.

👉 @PythonPortal

Читать полностью…

Python Portal

Писать планировщик задач на Python через стандартную библиотеку хоть и просто, но возможностей там немного. Как только появляются асинхронные задачи, работа с таймзонами, ретраи при фейлах и похожие кейсы, становится тяжко. 😢

На GitHub нашел FastScheduler, это опенсорсный легковесный таск-планировщик для Python. Поддерживает async, таймзоны, Cron-выражения и еще имеет визуальную панель.

За счет очень аккуратного синтаксиса на декораторах задачу можно описать одной строкой. Есть разные варианты расписаний: интервалы, конкретное время, Cron и т.д. Асинхронные функции работают из коробки.

Установка через pip в один шаг, а для персистентности доступны разные хранилища вроде SQLite и PostgreSQL. После рестарта сервиса состояние задач не теряется.

👉 @PythonPortal

Читать полностью…

Python Portal

инженеры смотрят, как все остальные вайб-кодят приложения

👉 @PythonPortal

Читать полностью…

Python Portal

Библиотека алгоритмов по робототехнике, которую должен знать каждый инженер📚

PythonRobotics это open-source коллекция Python-кода и учебник по алгоритмам робототехники, сделанные Atsushi Sakai.

На GitHub у проекта 27.2k звёзд и 7k форков, так что добавить в закладки вообще без вариантов

Там покрыто всё: от локализации (EKF, particle filters, histogram filters) до SLAM (FastSLAM, ICP matching), планирования пути (A*, RRT*, Dijkstra, D*, potential fields, state lattice), трекинга траектории (Stanley, LQR, MPC), навигации манипуляторов, воздушной навигации и даже планирования для двуногих роботов.

Что в нём особенного? Он сделан так, чтобы его было легко читать и понимать: минимум зависимостей и практичные, широко используемые алгоритмы.

Каждый алгоритм идёт с визуальными анимациями, математическими объяснениями и рабочим кодом.

Документация по сути это полноценный учебник по алгоритмам робототехники, бесплатно доступный онлайн.

Требования простые: Python 3.13+, NumPy, SciPy, Matplotlib и cvxpy.

И всё.

Это учебный ресурс с 2,201 коммитом, вкладом от 138 разработчиков и активной поддержкой. Одни только анимации (они лежат в отдельном репозитории) уже стоят того, чтобы их изучать.

Если ты учишь робототехнику, собираешь автономные системы или преподаёшь алгоритмы, это тот самый ресурс. Лицензия MIT, так что можно свободно использовать и в исследованиях, и в коммерческих проектах.

Ссылка:

https://github.com/AtsushiSakai/PythonRobotics


P.S. Вот как выглядит хороший open-source: образовательный, практичный, отлично задокументированный и комьюнити-драйвовый. Добавь в закладки. 🔖

👉 @PythonPortal

Читать полностью…

Python Portal

Задеплой любую ML-модель как MCP-сервер.

LitServe: самый простой способ выкатывать агентов, RAG и вообще любые ML-модели. Теперь есть поддержка MCP.

Полностью open-source.

👉 @PythonPortal

Читать полностью…

Python Portal

😆😆😆

Читать полностью…

Python Portal

Расширенный алгоритм Евклида.

1) Что такое расширенный алгоритм Евклида


Для двух целых чисел a и b и их НОД, то есть gcd(a, b), выполняется линейное уравнение с двумя переменными:

a·x + b·y = gcd(a, b) (1)

Расширенный алгоритм Евклида это способ найти одну пару целочисленных решений (x, y), которая удовлетворяет (1).

2) Алгоритм расширенного алгоритма Евклида

Перед тем как перейти к сути, вспомним обычный алгоритм Евклида.

Для двух целых a и b следующими шагами получаем:

gcd(a, b) = rₙ (2)

Сама цепочка делений с остатком:

a = b·q₀ + r₀
b = r₀·q₁ + r₁
r₀ = r₁·q₂ + r₂
...
rₙ₋₂ = rₙ₋₁·qₙ + rₙ
rₙ₋₁ = rₙ·qₙ₊₁

Теперь посмотрим на первую строку:

a = b·q₀ + r₀
r₀ = a − b·q₀

То есть r₀ можно выразить как линейную комбинацию a и b.

Подставим это во вторую строку:

b = r₀·q₁ + r₁
b = (a − b·q₀)·q₁ + r₁
b = a·q₁ − b·q₀·q₁ + r₁
r₁ = −a·q₁ + b·(q₀·q₁ + 1)

Получается, r₁ тоже выражается через a и b.

Если повторять эту операцию, то каждый rᵢ (0 ≤ i ≤ n) можно представить как сумму кратных a и b.
Значит, в конце:

rₙ = k·a + l·b

А из (2) получаем:

k·a + b·l = gcd(a, b) (3)

Это та же форма, что и (1). Сравнивая (1) и (3), получаем:

(x, y) = (k, l)

и эти k и l будут одной из пар целочисленных решений.

3) Реализация расширенного алгоритма Евклида

Опираясь на вышеописанное, реализуем расширенный алгоритм Евклида:

# extended_eucledean.py
def extended_eucledean(a, b):
if b == 0:
return (1, 0)
else:
xd, yd = extended_euclid(b, a % b)
return (yd, xd - a // b * yd)


Очень просто, правда?

Ну всё. Пока. 🛌

👉 @PythonPortal

Читать полностью…

Python Portal

Топ-5 алгоритмов rate limiting, которые стоит знать:

➡️Token Bucket
Ведро пополняется токенами с фиксированной скоростью. Каждый запрос съедает 1 токен.
Если токенов нет (ведро пустое) -> запрос троттлится.
Отлично, когда надо разрешить короткие всплески, но держать среднюю скорость запросов.

➡️Fixed Window Counter
Делит время на фиксированные окна (например, по минуте).
Считает запросы в текущем окне. Если счётчик превысил лимит -> блок.
Просто внедрить, но есть проблема со всплесками на границах окон.

➡️Leaky Bucket
Представь очередь, которая “протекает” с постоянной скоростью.
Если новые запросы переполняют очередь -> они дропаются.
На выходе получается ровный, предсказуемый поток запросов.

➡️Sliding Window Log
Хранит timestamp для каждого запроса.
На каждый новый запрос выкидывает старые timestamp’ы за пределами окна и считает оставшиеся.
Очень точно, но дороговато по памяти на больших объёмах.

➡️Sliding Window Counter
Гибрид Fixed Window и Log.
Делит окно на мелкие бакеты и считает скорость через взвешенную сумму.
Хороший баланс точности и расхода памяти.

Какой из них вы чаще всего используете в проде?

👉 @PythonPortal

Читать полностью…

Python Portal

Когда джун всё таки переписал проект на своём языке

👉 @PythonPortal

Читать полностью…

Python Portal

Что если бы ты мог увидеть всё дерево зависимостей одной командой?

Отлаживать конфликты версий можно только когда понимаешь, какие пакеты от чего зависят. Но вручную разбирать эти связи в куче вложенных зависимостей это уныло и долго.

uv tree делает это автоматически: выводит полный граф зависимостей, чтобы ты мог отследить любой пакет и понять, откуда он подтянулся.

Ключевые возможности:

✅Полная визуализация зависимостей
✅Помечает зависимости, для которых есть доступные обновления
✅Показывает, какие пакеты зависят от конкретной библиотеки
✅Фильтрует дерево, чтобы показать только зависимости выбранного пакета

Установка uv: pip install uv

👉 @PythonPortal

Читать полностью…

Python Portal

В CPython ускорили reference counting

В CPython основа управления памятью это reference counting: у каждого объекта есть счётчик ссылок, и при каждом “взял/отпустил” он инкрементится/декрементится. В цикле, который крутится очень много раз, это превращается в ощутимый оверхед и лишние записи в память (да, даже чтение переменной = запись из-за refcount).

С Python 3.14 добавили новую байткод-инструкцию: LOAD_FAST_BORROW.

Что меняется:

- раньше LOAD_FAST грузил локалку и поднимал refcount
- теперь LOAD_FAST_BORROW грузит локалку без инкремента
- есть ещё “склеенные” опкоды типа LOAD_FAST_BORROW_LOAD_FAST_BORROW (две загрузки за один opcode)

Зачем это нужно:

- меньше дергаем refcount в hot-path
- меньше мусора в CPU cache
- быстрее на циклах, где ты постоянно читаешь одни и те же локальные переменные

Но оптимизация включается не всегда. CPython применяет её только когда может доказать безопасность через статический анализ времени жизни (по CFG):

- значение используется “локально” и быстро потребляется
- не утекает в heap/генераторы/кадры
- источник не перезаписывается так, чтобы сломать “borrow”

Это похоже на упрощённые Rust lifetimes/borrowing, только на уровне байткода.

👉 @PythonPortal

Читать полностью…

Python Portal

Разработчик поделился приятной находкой: сделали утилиту на Python с открытым кодом для офлайн-транскрибации аудио.

Назвали Buzz. Поддерживает аудио, видео, YouTube-линки и даже микрофон. На выход можно получить текст в txt, srt или vtt. Всё работает локально, без отправки куда-то на сервера.

Исходники лежат тут 🤪

👉 @PythonPortal

Читать полностью…
Subscribe to a channel