50319
Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6
Разбор собеседований по проектированию систем, разделённый на 28 глав. Рассматриваются масштабирование, ограничение частоты запросов и распределённые системы.
https://github.com/liquidslr/system-design-notes
👉 @PythonPortal
Сейчас в сфере ИИ есть два карьерных пути:
Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.
Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.
Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.
Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:
— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.
— Аппаратное обеспечение: FLOPs, память, GPU и TPU.
— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.
— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.
— Запуск моделей: инференс и оценка качества.
— Дообучение: SFT, RLHF и RLVR.
Отдельно рассматривается мультимодальность.
Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.
Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.
По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.
Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Выбирайте свой путь.
👉 @PythonPortal
Один из главных моментов, когда я по-настоящему понял, как работают трансформеры:
«Перестаньте думать о трансформере как о конвейере, где каждый слой преобразует выход предыдущего».
«Начните думать о нём как об остаточном потоке».
У каждого блока трансформера есть остаточная связь, которая прибавляет вход блока к его выходу:
x′ = f(x) + x
Из-за этого сложения блок внимания или MLP внутри слоя — функция f в формуле выше — на самом деле НЕ преобразует вход. Вместо этого он вычисляет информацию, которую нужно ДОБАВИТЬ ко входу, прежде чем передать его следующему блоку!
Представьте основную часть трансформера как общую доску. Каждый блок читает с неё то, что ему нужно, и дописывает свои заметки. Все изменения — это добавления.
Более того, слои могут обмениваться информацией на расстоянии. Блок в первом слое может записать информацию, а блок в пятом — прочитать её, хотя прямого соединения между ними нет.
За эти идеи спасибо старой статье Anthropic об устройстве трансформеров: transformer-circuits.pub/2021/framework
👉 @PythonPortal
Тестируйте торговые стратегии на основе машинного обучения на исторических рыночных данных, прежде чем рисковать реальными деньгами.
- Проверяйте стратегии на множестве финансовых инструментов одновременно.
- Обучайте модели, имитирующие реальную торговлю.
- Получайте рыночные данные из Yahoo и Alpaca.
https://github.com/edtechre/pybroker
👉 @PythonPortal
Робототехника — это, по сути, постоянное согласование систем координат. Лидар видит мир в одной системе, камера — в другой, у робота есть собственная система координат, связанная с его корпусом, а карта существует в глобальной. Матрицы преобразований позволяют согласовать их между собой. Поворот меняет ориентацию, перенос — положение, а однородные преобразования объединяют оба действия в одну операцию. Так точку, измеренную датчиком, можно выразить в системе координат автомобиля, робота, камеры или мира.
Проекция — это переход от физического трёхмерного мира к двумерному изображению. Камера отображает точку в пространстве на пиксель с учётом своей геометрии, фокусного расстояния и оптического центра. Обратный переход сложнее. Пиксель не определяет единственную точку в трёхмерном пространстве — он задаёт луч, выходящий из камеры. Чтобы определить, где именно на этом луче находится физическая точка, нужен дополнительный источник информации: стереозрение, лидар, RGB-D, известная геометрия или глубина, предсказанная обученной моделью.
Именно поэтому в робототехнике линейная алгебра приобретает физический смысл. Эти матрицы — не абстрактные таблицы чисел, а механизм, связывающий восприятие с геометрией. Объединение данных датчиков, калибровка, визуальная одометрия, SLAM, автономное вождение, манипуляции роботов и трёхмерная реконструкция зависят от постоянного ответа на один и тот же вопрос: где находится этот объект, относительно чего и как представить его в той системе координат, в которой мне нужно действовать?
👉 @PythonPortal
«Разбираемся в трансформерах и механизмах внимания» — краткое математическое введение в механизм внимания, одну из ключевых идей современных языковых моделей.
Документ разбирает токенизацию и эмбеддинги, запросы, ключи и значения, оценки и веса внимания, многоголовое внимание, самовнимание, причинное внимание и маскирование, перекрёстное внимание и базовую структуру архитектуры Transformer.
Также в нём представлены важные методы, которые делают механизм внимания в современных LLM эффективнее: KV-кеширование, внимание с группировкой запросов (GQA), многозапросное внимание (MQA) и латентное внимание.
https://arxiv.org/pdf/2604.00965
👉 @PythonPortal
«Основы компьютерного зрения» — бесплатная онлайн-книга издательства MIT Press, которая даёт широкое введение в компьютерное зрение с точки зрения обработки изображений и машинного обучения.
В ней разбираются формирование изображений, обучение и обратное распространение ошибки, фильтрация изображений и анализ Фурье, CNN, RNN и трансформеры, генеративные модели, обучение представлений, трёхмерная геометрия, оценка движения, распознавание объектов, модели, работающие с изображениями и текстом, и многое другое.
Особенно мне нравится, что вся книга доступна прямо в HTML: с понятной и удобной вёрсткой, множеством схем и визуализаций, которые помогают разобраться в концепциях.
https://visionbook.mit.edu
👉 @PythonPortal
Modern Robotics: Mechanics, Planning, and Control.
Сохраните на потом.
Это полноценный учебник по робототехнике уровня магистратуры от Кевина Линча и Фрэнка Парка, изданный Cambridge University Press.
Внутри:
- конфигурационные пространства
- кинематика
- динамика
- генерация траекторий
- планирование движения
- управление роботами
По сути, это современная математическая база того, как роботы двигаются и взаимодействуют с окружающим миром.
https://hades.mech.northwestern.edu/images/7/7f/MR.pdf
👉 @PythonPortal
«Как обучить нейросеть» — краткий конспект лекций курса MIT по глубокому обучению за 2024 год. Он посвящён одному из фундаментальных вопросов нейросетей — как модель обучает свои веса.
В конспекте процесс обучения рассматривается с математической точки зрения. Разбираются прямой проход, функции потерь, градиенты, обратное распространение ошибки и градиентные методы оптимизации.
Думаю, это интересный материал для тех, кто хочет выйти за рамки общего интуитивного представления о нейросетях и начать разбираться в математике, на которой основано их обучение.
https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/mit6_7960_f24_lec2.pdf
👉 @PythonPortal
Один из лучших ресурсов по производительности SQL:
use-the-index-luke.com
👉 @PythonPortal
Исследователи MIT математически доказали, что ChatGPT устроен так, что может затягивать пользователей в ложные убеждения.
И, согласно работе, то, что сейчас делает OpenAI, эту проблему не решает.
В статье это называют «делюзионной спиралью». Вы спрашиваете ChatGPT о чём-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается ещё сильнее. Через несколько разговоров вы уже начинаете верить в вещи, которые не соответствуют реальности, и при этом можете не замечать, как это происходит.
Это не просто гипотетический сценарий.
Один мужчина провёл около 300 часов в разговорах с ChatGPT. Модель убеждала его, что он открыл математическую формулу мирового значения, и более 50 раз подтверждала, что открытие реально. Когда он спросил: «Ты ведь не просто подбадриваешь меня, правда?», ChatGPT ответил: «Я не подбадриваю тебя. Я отражаю реальный масштаб того, что ты создал».
Он едва не разрушил свою жизнь, прежде чем смог выйти из этого состояния.
Психиатр из UCSF сообщил, что за один год госпитализировал 12 пациентов с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. 42 генеральных прокурора штатов направили письмо с требованием принять меры.
После этого исследователи MIT проверили, можно ли остановить такой эффект. Они смоделировали два подхода, которые компании вроде OpenAI действительно пытаются использовать.
Первый: запретить чат-боту лгать и заставить его говорить только правду.
Результат: делюзионная спираль всё равно возникает.
Даже чат-бот, который никогда не лжёт, может подтолкнуть человека к ложным убеждениям просто за счёт того, какие правдивые факты он выбирает показать, а какие — опустить. Для этого достаточно тщательно подобранной правды.
Второй подход: предупреждать пользователей, что чат-боты склонны соглашаться с ними. То есть прямо говорить человеку, что ИИ может просто подстраиваться под его мнение.
Результат тот же.
Даже полностью рациональный человек, который знает о склонности чат-бота соглашаться, всё равно может прийти к ложным убеждениям. Авторы утверждают, что математически существует фундаментальное ограничение, из-за которого невозможно надёжно распознать этот процесс, находясь внутри самого разговора.
Оба подхода провалились не частично, а фундаментально.
Причина, по утверждению автора текста, заложена в самом продукте. ChatGPT обучается на обратной связи от людей. Пользователи поощряют ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. В результате ИИ учится соглашаться.
Это не ошибка. Это бизнес-модель.
https://arxiv.org/abs/2602.19141
👉 @PythonPortal
Вышел UniMate — открытая модель для генерации анимаций риггированных 3D-персонажей.
Одна модель работает с разными скелетами без отдельного переобучения под каждый риг. Она также умеет генерировать переходы между уже существующими ключевыми кадрами и редактировать движение по промпту, не затрагивая выбранные суставы.
Код опубликован под MIT, доступны и веса для тестирования.
https://github.com/Friedrich-M/UniMate
👉 @PythonPortal
ИИ-репетитор помог студентам Гарварда освоить физику быстрее, чем очные занятия
В эксперименте с участием 194 студентов исследователи Гарварда сравнили занятия с преподавателем и специально настроенного ИИ-репетитора. Прирост знаний у студентов, работавших с ИИ, оказался примерно вдвое выше, хотя на обучение они потратили меньше времени. Результаты исследования опубликованы в июне 2025 года.
Эксперимент проходил осенью 2023 года. Студенты изучали материал двумя способами в течение двух недель, после чего группы менялись местами. ИИ-репетитор не выдавал готовые ответы, а вёл студентов по уроку, подготовленному преподавателями курса.
Авторы видят в этом возможность иначе использовать время в аудитории. Базовый материал студент может разбирать с индивидуальным помощником, а очные занятия посвятить сложным задачам и совместной работе. Один эксперимент по физике не показывает, что ИИ способен заменить университетское образование целиком.
https://www.nature.com/articles/s41598-025-97652-6
👉 @PythonPortal
Вы уже видели конспекты лекций Стэнфорда по архитектуре GPU и программированию на CUDA?
Отличный курс!
https://gfxcourses.stanford.edu/cs149/fall25/lecture/gpuarch/
👉 @PythonPortal
«Маленькая книга по основам генеративного ИИ» — интуитивное введение в математику: arxiv.org/pdf/2605.29713
👉 @PythonPortal
Вышла долгожданная новая версия Python — 3.15 🐍
В неё вошли 5643 коммита от тысячи разработчиков.
Среди главных нововведений:
✓ UTF-8 по умолчанию.
✓ Более быстрый JIT-компилятор — прирост производительности в среднем на 7–8%.
✓ lazy import — модуль загружается только при первом использовании, ускоряя запуск программы.
✓ frozendict — встроенный словарь, элементы которого нельзя изменить после создания.
✓ sentinel — уникальное значение, позволяющее отличить «аргумент не передали» от переданного None.
✓ Распаковка внутри включений — объединять списки и словари теперь можно короче: [*group for group in groups].
✓ Tachyon — новый профилировщик, который помогает найти, где программа тратит больше всего времени, без изменения кода.
https://blog.python.org/2026/10/python-3150-final-is-here/
@IT_Portal
Скачайте 10 книг по Python БЕСПЛАТНО:
1. Think Python — O’Reilly
https://t.co/X7y3pX68IW
2. The Big Book of Small Python Projects
https://inventwithpython.com/bigbookpython/
3. Структуры данных
https://opendatastructures.org/ods-python.pdf
4. Справочник по науке о данных
https://t.co/9aOLdiAbim
5. Анализ данных
https://wesmckinney.com/book/
6. Наука о данных
https://t.co/TusyBWGfrx
7. Машинное обучение
https://t.co/7veOwESe8q
8. Статистика
https://t.co/waWDQylQpY
9. Think Bayes
https://allendowney.github.io/ThinkBayes2/
10. Чистый код на Python — Packt
https://t.co/OHhVgF1L65
👉 @PythonPortal
Google выпустила EmbeddingGemma 2.
Это первая открытая мультимодальная модель для эмбеддингов, изначально работающая с текстом, кодом, изображениями, видео и аудио.
740 млн параметров. Модульная архитектура. Модель создана для запуска прямо на устройстве, а не в дата-центре.
При этом она обходит некоторые специализированные модели, которые более чем вдвое крупнее.
В паре с Gemma 4 можно собрать полностью локальный RAG с упором на приватность.
https://huggingface.co/google/embeddinggemma-2
https://huggingface.co/unsloth/embeddinggemma-2-GGUF
👉 @PythonPortal
Смесь CS 1.6 и MW2, которая работает полностью локально в Google Chrome — https://cs.dphn.ai
Создана с помощью Astra и DeepSeek V4.1 Flash — на разработку ушло 4,43 млрд токенов.
Все файлы игры скачиваются на ваше устройство, и она работает прямо в браузере без подключения к интернету.
В тестах эта сборка показала FPS более чем на 32% выше, чем Xash3D, благодаря масштабной оптимизации, которую спроектировала Astra с высоким уровнем усилий на рассуждение, а реализовали субагенты Astra и DeepSeek.
👉 @PythonPortal
Понимание алгоритмов меняет то, как вы пишете код. Этот плейлист учит именно пониманию.
Павел Маврин. 61 лекция. Бесплатно.
Вот в чём разница.
До понимания алгоритмов:
- Используете хеш-таблицы для всего.
- Сначала пишете код, потом оптимизируете.
- Оцениваете временную сложность наугад.
После:
- Выбираете подходящую структуру данных под задачу.
- Думаете о сложности до написания кода.
- Узнаёте подход, который подходит для решения.
Что вы изучите:
→ Временную сложность и сортировки.
→ Динамическое программирование.
→ Продвинутые деревья: дерево отрезков, дерево Фенвика, splay-дерево, link-cut-дерево.
→ Алгоритмы на графах: обходы, кратчайшие пути, потоки.
→ Строковые алгоритмы: поиск подстрок, суффиксные структуры.
→ Быстрое преобразование Фурье, линейное программирование, криптографию.
https://www.youtube.com/playlist?list=PLrS21S1jm43igE57Ye_edwds_iL7ZOAG4
👉 @PythonPortal
Начни изучать программирование GPU с одной полностью анимированной лекции на YouTube. Это первое видео в серии о программировании GPU с Triton.
Каждая идея объясняется наглядно, с помощью анимации — как в GIF из этого поста, только на протяжении целого часа.
Ты каждый день пишешь c = a + b в PyTorch. Эта лекция показывает, что GPU на самом деле делает с этим выражением.
В лекции разбираются:
— Как GPU встроен в компьютер: PCIe, NVLink, серверы и кластеры.
— Что внутри NVIDIA H100: потоковые мультипроцессоры, вычислительные линии FP32, планировщик варпов, тензорные ядра и разделяемая память.
— Потоки, варпы, блоки и сетки — и как каждый поток находит свой элемент.
— Память: SRAM и DRAM, DDR, GDDR и HBM, кеши, задержка и пропускная способность.
— Как ускорить работу с памятью: скрытие задержек, объединение обращений к памяти и слияние ядер.
— Зачем нужен Triton и как он позволяет мыслить тайлами вместо потоков.
— Ограничения по пропускной способности памяти и вычислительной мощности, арифметическая интенсивность и модель Roofline.
— Механизм внимания, матрица N × N и то, как FlashAttention решает связанную с ней проблему.
Знание CUDA и устройства железа не требуется.
Что дальше:
— Лекция 2: построчно напишем наше первое ядро на Triton для сложения векторов. Опубликую через несколько дней.
— Новые лекции о программировании GPU и оптимизации инференса.
— Запланированная серия о глубоком обучении для аудио.
Полная лекция:
https://youtu.be/dEZP1qUNTOk
👉 @PythonPortal
DeepSeek выложила в открытый доступ библиотеку, которая ускоряет вычисления на GPU, лежащие в основе ИИ-моделей.
Она называется DeepGEMM.
Библиотека оптимизирует матричные операции, на которых работают большие языковые модели, и позволяет эффективнее использовать NVIDIA Hopper и Blackwell.
Поддерживаются FP8, FP4 и BF16. Есть оптимизации для моделей с архитектурой Mixture-of-Experts, совмещение обмена данными между GPU с вычислениями и компиляция ядер прямо во время выполнения, без отдельной сборки CUDA при установке.
По данным DeepSeek, DeepGEMM на ряде размеров матриц показывает производительность на уровне или выше специализированных библиотек, вручную оптимизированных экспертами.
https://github.com/deepseek-ai/DeepGEMM#interfaces
👉 @PythonPortal
«Изучение математики. Почему память, практика и техника важнее таланта»
Чтобы освоить математику, необходимо запомнить большой объём информации, правил, способов упрощения и приёмов решения задач. Другого пути нет. Теория полезна, но в меру.
Это как изучение языка. Если слишком сосредоточиться на грамматике, никогда не научишься свободно на нём говорить.
https://algebrica.org/learning-mathematics/
👉 @PythonPortal
Tencent выпустила новую модель для перевода, которая, по их словам, обходит Google Translate. И самое интересное — она работает прямо на телефоне без интернета.
Модель полностью открытая, весит всего 440 МБ и поддерживает 33 языка.
Весь перевод идёт локально на устройстве. Никакого облака, никакого подключения к интернету.
Фактически это полноценная офлайн-альтернатива Google Translate.
Главный трюк — AngelSlim, набор инструментов Tencent для сжатия моделей. Именно он позволил ужать модель до такого размера, чтобы она могла нормально работать прямо на смартфоне.
https://github.com/tencent/AngelSlim
👉 @PythonPortal
Многие постоянно путаются в этом:
В чём на самом деле разница между 100 МБ/с и 100 Мбит/с?
👉 @PythonPortal
Интервьюер:
Ты вводишь имя пользователя в Gmail, и через несколько секунд система пишет: «Это имя уже занято».
Но ведь аккаунтов миллионы.
Как система проверяет это так быстро?
👉 @PythonPortal
Направления развития аппаратного обеспечения для глубокого обучения — лекция Билла Далли в Georgia Tech, 2024 год.
youtu.be/gofI47kfD28
👉 @PythonPortal
Шокирующий результат: сильнейшие ИИ-модели уже умеют сами проектировать эксперименты, а точность может вырасти с 11% до 87%. Похоже, ИИ действительно начинает самостоятельно исследовать неизвестное.
Уметь отвечать на вопросы ≠ уметь исследовать.
Исследователи из Фуданьского университета, Цинхуа и Tencent взяли 10 передовых моделей и поместили их в два искусственных мира с непривычными правилами, где ответы можно точно проверить. Модели должны были сами придумывать проверки, по обратной связи восстанавливать правила, а затем применять новые знания к 70 задачам, которых раньше не видели.
Две песочницы:
AlienCode — язык программирования с 31 скрытым семантическим правилом.
AlienLogic — система с 24 изменёнными правилами логического вывода.
При этом инструкции специально содержали неверные сведения, поэтому опора на запомненные знания только мешала.
Ключевые результаты.
При четырёх раундах исследования с обратной связью лучший результат на AlienCode достиг 87,6%. При том же числе раундов, но без обратной связи, результаты всех моделей оставались в диапазоне 0,5–11%.
Самостоятельно выбранные проверки оказались заметно эффективнее фиксированных или случайных.
Но исследование оказалось крайне нестабильным. У одной и той же модели при одинаковом бюджете разница между отдельными траекториями достигала 72,8 процентного пункта, тогда как обычный разброс при ответах не превышал 4,7 пункта.
Ещё один важный вывод: знать правило ≠ уметь им пользоваться.
Два ключевых правила покрывали 51 из 70 задач. Когда один эксперимент позволял обнаружить оба сразу, точность подскакивала с 11% до 81%.
Но даже когда модель правильно называла все правила, итоговая точность составляла лишь 70,9%.
Если же правила давали модели напрямую, на AlienLogic точность достигала 93–97%, что выше результатов любого самостоятельного исследования.
То есть главное ограничение сейчас не в том, чтобы применить уже известное правило, а в том, чтобы самостоятельно его обнаружить и затем надёжно удержать.
Настоящее исследование — это не просто знать больше. Это понимать, какой эксперимент нужно провести, и уметь надёжно перенести его результат в следующую задачу.
Работа: https://arxiv.org/abs/2609.30199
👉 @PythonPortal
«The Little Book of Generative AI Foundations» — свежая бесплатная книга для тех, кто хочет разобраться в математике современных генеративных моделей, которые учатся на данных и создают новый контент: текст, изображения, аудио и видео.
Книга последовательно разбирает основы генеративного моделирования: от метода главных компонент и его вероятностной версии до вариационных автоэнкодеров, диффузионных моделей, нормализующих потоков, авторегрессионных моделей, GAN, Wasserstein GAN и энергетических моделей.
Особенно интересно то, что авторы делают упор на математические выводы, но при этом стараются сохранить интуитивное понимание того, как работают разные семейства генеративных моделей и как они связаны между собой.
Хороший ресурс, если хочется понять математику генеративного ИИ, а не просто научиться пользоваться готовыми моделями.
arxiv.org/pdf/2605.29713
👉 @PythonPortal
Если вы только начинаете изучать машинное обучение и хотите глубже разобраться в математике, необходимой для машинного и глубокого обучения, советую попробовать эту платформу. Это что-то вроде LeetCode для машинного обучения.
Это не реклама: я сам ей пользовался и решил поделиться с вами.
https://deep-ml.com