50319
Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6
Направления развития аппаратного обеспечения для глубокого обучения — лекция Билла Далли в Georgia Tech, 2024 год.
youtu.be/gofI47kfD28
👉 @PythonPortal
Шокирующий результат: сильнейшие ИИ-модели уже умеют сами проектировать эксперименты, а точность может вырасти с 11% до 87%. Похоже, ИИ действительно начинает самостоятельно исследовать неизвестное.
Уметь отвечать на вопросы ≠ уметь исследовать.
Исследователи из Фуданьского университета, Цинхуа и Tencent взяли 10 передовых моделей и поместили их в два искусственных мира с непривычными правилами, где ответы можно точно проверить. Модели должны были сами придумывать проверки, по обратной связи восстанавливать правила, а затем применять новые знания к 70 задачам, которых раньше не видели.
Две песочницы:
AlienCode — язык программирования с 31 скрытым семантическим правилом.
AlienLogic — система с 24 изменёнными правилами логического вывода.
При этом инструкции специально содержали неверные сведения, поэтому опора на запомненные знания только мешала.
Ключевые результаты.
При четырёх раундах исследования с обратной связью лучший результат на AlienCode достиг 87,6%. При том же числе раундов, но без обратной связи, результаты всех моделей оставались в диапазоне 0,5–11%.
Самостоятельно выбранные проверки оказались заметно эффективнее фиксированных или случайных.
Но исследование оказалось крайне нестабильным. У одной и той же модели при одинаковом бюджете разница между отдельными траекториями достигала 72,8 процентного пункта, тогда как обычный разброс при ответах не превышал 4,7 пункта.
Ещё один важный вывод: знать правило ≠ уметь им пользоваться.
Два ключевых правила покрывали 51 из 70 задач. Когда один эксперимент позволял обнаружить оба сразу, точность подскакивала с 11% до 81%.
Но даже когда модель правильно называла все правила, итоговая точность составляла лишь 70,9%.
Если же правила давали модели напрямую, на AlienLogic точность достигала 93–97%, что выше результатов любого самостоятельного исследования.
То есть главное ограничение сейчас не в том, чтобы применить уже известное правило, а в том, чтобы самостоятельно его обнаружить и затем надёжно удержать.
Настоящее исследование — это не просто знать больше. Это понимать, какой эксперимент нужно провести, и уметь надёжно перенести его результат в следующую задачу.
Работа: https://arxiv.org/abs/2609.30199
👉 @PythonPortal
«The Little Book of Generative AI Foundations» — свежая бесплатная книга для тех, кто хочет разобраться в математике современных генеративных моделей, которые учатся на данных и создают новый контент: текст, изображения, аудио и видео.
Книга последовательно разбирает основы генеративного моделирования: от метода главных компонент и его вероятностной версии до вариационных автоэнкодеров, диффузионных моделей, нормализующих потоков, авторегрессионных моделей, GAN, Wasserstein GAN и энергетических моделей.
Особенно интересно то, что авторы делают упор на математические выводы, но при этом стараются сохранить интуитивное понимание того, как работают разные семейства генеративных моделей и как они связаны между собой.
Хороший ресурс, если хочется понять математику генеративного ИИ, а не просто научиться пользоваться готовыми моделями.
arxiv.org/pdf/2605.29713
👉 @PythonPortal
Если вы только начинаете изучать машинное обучение и хотите глубже разобраться в математике, необходимой для машинного и глубокого обучения, советую попробовать эту платформу. Это что-то вроде LeetCode для машинного обучения.
Это не реклама: я сам ей пользовался и решил поделиться с вами.
https://deep-ml.com
Uniface
Автоматизируйте обнаружение лиц, распознавание и анализ ключевых точек лица с помощью единой Python-библиотеки Uniface.
https://github.com/yakhyo/uniface
👉 @PythonPortal
«Методы машинного обучения, которые стоит знать экономистам»
Сьюзан Эйти и Гвидо В. Имбенс
https://annualreviews.org/content/journals/10.1146/annurev-economics-080217-053433
👉 @PythonPortal
Исследователь OpenAI Алиса Лю прошла 57 собеседований перед тем, как попасть в компанию, а затем открыто опубликовала весь свой путь подготовки и поиска работы.
Если вы готовитесь к позициям Research Scientist или MTS, это один из самых насыщенных практических материалов, которые сейчас можно найти.
Можно использовать её конспекты напрямую или просто взять список тем и пройти их самостоятельно. Такое публикуют редко.
Конспекты по LLM:
https://alisawuffles.notion.site/alisa-s-book-of-llms
Математика:
https://alisawuffles.notion.site/math-notes
Разбор поиска работы и собеседований:
https://alisawuffles.github.io/blog/job-search/
👉 @PythonPortal
Очень рекомендую сохранить осенний курс Стэнфорда MS&E 319 — Efficient Generative Language Models.
Курс идёт от предобучения до инференса и постобучения. Материалы и записи лекций обещают выкладывать позже.
Мне особенно нравится его исходная идея: модели становятся всё больше, но бюджет всегда ограничен. Если есть конкретная задача и ограниченные вычислительные ресурсы, как выбрать цель обучения, архитектуру модели и способ инференса так, чтобы получить максимум за свои деньги и не запускать GPT-6 на каждой задаче.
«Просто купить ещё GPU» тоже вариант — и сейчас это фактически основной подход рынка.
В курсе будут MoE, attention, сжатие KV Cache, квантизация, speculative decoding, а также LoRA, RLHF, DPO и дистилляция. Все эти обычно разрозненные техники рассматриваются через один вопрос: какую именно часть вычислений, памяти или времени они экономят и чем за это приходится платить.
Например, если нужно снизить стоимость использования модели, один подход позволяет на каждом запросе задействовать только часть параметров, другой уменьшает объём данных, которые нужно хранить и перемещать, третий ускоряет генерацию ответа. Сначала нужно понять, какую именно проблему решает каждый метод, и только потом выбирать подходящий для своей задачи и смотреть, какие из них можно сочетать.
Мне самому при оценке ИИ-компаний особенно интересен именно этот уровень: можно ли на тот же бюджет обучить более сильную модель или обслужить больше пользователей. Когда понимаешь компромиссы этих методов, релизы моделей и изменения их стоимости становятся намного понятнее.
У курса есть определённый порог входа, но если тема интересна, точно стоит следить:
https://web.stanford.edu/class/msande319/
👉 @PythonPortal
Вот один из лучших материалов для начала, если хотите понять, что процессор на самом деле делает.
https://youtu.be/GU8MnZI0snA
👉 @PythonPortal
Для Jev появился практический проект Jev Explained с четырьмя примерами, которые показывают, как устроена модель, как работают её основные примитивы и как использовать их в реальных задачах.
Репозиторий можно открыть в Claude Code или Codex и попросить агента создать новый пример, используя существующий код как контекст.
Проект поддерживает TypeSafe API и Vercel AI Gateway.
Идея простая: вместо чтения очередного разбора можно сразу открыть сессию и начать собирать что-то на Jev.
Репозиторий:
https://github.com/davila7/jev-explained
Демо:
https://jev-explained-repo.vercel.app
👉 @PythonPortal
Один из создателей ChatGPT представил принципиально новый тип ИИ-моделей.
Два года, Диогу Алмейда, втайне разрабатывал Jev — модель, которая не пишет текст и не генерирует токены последовательно.
Она получает любые неструктурированные данные и параллельно принимает заданные разработчиком решения. Например, выбирает одну категорию из списка, выставляет оценку или определяет вероятность утверждения.
Jev также запрещено использовать скрытую цепочку рассуждений. Сложное поведение должно собираться разработчиком из множества простых решений при помощи обычного кода.
Именно поэтому модель работает в 20–200 раз быстрее и обходится в 40–400 раз дешевле. Миллион входных токенов стоит 4,2 цента, а выход остаётся бесплатным навсегда (его вычисление настолько дёшево, что компания не видит смысла его считать.)
Компания заявляет о нулевых галлюцинациях. Jev не может выдать ответ вне заданных вариантов или нарушить структуру. При этом модель может выбрать неправильный вариант.
Это не замена GPT-6 Astra и не новый чат-бот. Jev создан для автоматизации, где программам не нужны тексты. Им нужны быстрые решения в заданном формате.
👉 @PythonPortal
Одно из главных правил GROUP BY в SQL.
Если в SELECT есть столбец без агрегатной функции, он должен либо входить в GROUP BY, либо однозначно определяться сгруппированными столбцами.
Почему это важно: GROUP BY определяет, что означает одна строка результата. База должна понимать, какое единственное значение поставить в каждую ячейку.
Например, если одна строка результата соответствует должности внутри отдела, группировать нужно и по department, и по job_title.
Если оставить столбец, который внутри одной группы может иметь несколько значений, одни СУБД просто вернут ошибку, а другие в некоторых режимах могут выбрать неопределённое значение из группы.
Простое правило: если столбец может иметь несколько значений внутри группы, его нужно либо добавить в GROUP BY, либо агрегировать через COUNT, SUM, MAX, MIN и другие функции.
👉 @PythonPortal
Не нарушайте принцип единственной ответственности
Функция должна делать одну вещь, делать её хорошо и только её.
Эта функция делает слишком много:
def calculate_final_total(
price: float,
quantity: int,
discount_rate: float,
tax_rate: float
) -> float:
# Расчёт промежуточной суммы
subtotal = price * quantity
# Применение скидки
discounted_amount = subtotal * (1 - discount_rate)
# Расчёт налога
final_total = discounted_amount * (1 + tax_rate)
return final_total
def calculate_subtotal(price: float, quantity: int) -> float:
return price * quantity
def apply_discount(subtotal: float, discount: float) -> float:
return subtotal * (1 - discount)
def calculate_tax(amount: float, tax_rate: float) -> float:
return amount * (1 + tax_rate)
Пока все заставляли мушку работать, чуваки решили дать ей отдохнуть.
Вот что из этого получилось.
👉 @PythonPortal
Вот как сегодня выглядит «фабрика программного обеспечения» OpenAI, где значительная часть работы уже строится вокруг агентов.
👉 @PythonPortal
ИИ-репетитор помог студентам Гарварда освоить физику быстрее, чем очные занятия
В эксперименте с участием 194 студентов исследователи Гарварда сравнили занятия с преподавателем и специально настроенного ИИ-репетитора. Прирост знаний у студентов, работавших с ИИ, оказался примерно вдвое выше, хотя на обучение они потратили меньше времени. Результаты исследования опубликованы в июне 2025 года.
Эксперимент проходил осенью 2023 года. Студенты изучали материал двумя способами в течение двух недель, после чего группы менялись местами. ИИ-репетитор не выдавал готовые ответы, а вёл студентов по уроку, подготовленному преподавателями курса.
Авторы видят в этом возможность иначе использовать время в аудитории. Базовый материал студент может разбирать с индивидуальным помощником, а очные занятия посвятить сложным задачам и совместной работе. Один эксперимент по физике не показывает, что ИИ способен заменить университетское образование целиком.
https://www.nature.com/articles/s41598-025-97652-6
👉 @PythonPortal
Вы уже видели конспекты лекций Стэнфорда по архитектуре GPU и программированию на CUDA?
Отличный курс!
https://gfxcourses.stanford.edu/cs149/fall25/lecture/gpuarch/
👉 @PythonPortal
«Маленькая книга по основам генеративного ИИ» — интуитивное введение в математику: arxiv.org/pdf/2605.29713
👉 @PythonPortal
Как только начинаешь визуализировать свои SQL-схемы вот так, назад пути уже нет.
sqltoerdiagram.com
👉 @PythonPortal
Чувак провёл довольно безумный эксперимент: сделал сайт, который сам себя развивает с помощью ИИ.
На сервере установлен Claude Code. Пользователи присылают идеи, а каждые 4 часа ИИ сам выбирает лучшую и реализует её.
При этом весь код автоматически публикуется здесь:
https://github.com/midudev/tuweb.dev
Сам сайт — https://tuweb.dev, если хотите посмотреть.
Пока изменения ограничены: из соображений безопасности Claude Code не имеет доступа к базе данных и не может создавать API.
Но админ думает снять эти ограничения и дать ему полную свободу, чтобы посмотреть, что произойдёт.
👉 @PythonPortal
Вышла открытая альтернатива Jev — Kev. Модель доступна в трёх размерах.
Она работает локально, поэтому данные остаются на вашем компьютере. Kev может отвечать «да» или «нет», выбирать один из вариантов и добавлять примечание. Подходит для задач классификации.
👉 @PythonPortal
«Принципы механики» — бесплатный учебник с открытым доступом, который даёт всестороннее введение в классическую механику.
Книга начинается с математических основ, необходимых для изучения механики, а затем переходит к основным темам: кинематике, законам движения Ньютона, работе и энергии, линейному и угловому моменту, вращательному движению, гравитации, колебаниям и волнам.
Теория сочетается с разобранными примерами и задачами, поэтому книга подойдёт как для первого знакомства с механикой, так и для повторения фундаментальных основ.
Полная версия книги бесплатно доступна в PDF:
https://link.springer.com/content/pdf/10.1007/978-3-030-15195-9.pdf
👉 @PythonPortal
Отличный материал по современному программированию GPU для систем машинного обучения.
MLC Community разбирает архитектуру GPU практически с нуля: потоки и варпы, иерархию памяти, CUDA Cores и Tensor Cores, TMA, устройство Blackwell, GEMM и Flash Attention 4. Отдельный упор сделан на то, как писать действительно быстрые ядра и эффективно загружать вычислительные блоки GPU.
https://mlc.ai/modern-gpu-programming-for-mlsys/chapter_background/index.html
👉 @PythonPortal
В открытом доступе появился GuppyLM — проект, который позволяет обучить языковую модель на 9 млн параметров с нуля примерно за пять минут. 👀
Репозиторий включает весь процесс обучения и рассчитан на быстрые эксперименты с небольшими языковыми моделями без крупной инфраструктуры.
👉 @PythonPortal
В репозитории LLM Internals собрали цельную дорожную карту от токенизации и BPE до обучения, дообучения, RAG, агентов и оптимизации вывода.
Разбираются Q/K/V, RoPE, каузальные маски, GQA, Transformer, MoE, LoRA, нормализация, обратное распространение ошибки, кросс-энтропия, RLHF и рассуждающие модели.
Отдельный блок посвящён ускорению вывода: KV Cache, Flash Attention, Paged Attention и спекулятивное декодирование.
Для каждого раздела собраны статьи и видео, поэтому репозиторий особенно полезен, если хочется наконец связать разрозненные знания в одну систему.
https://github.com/amitshekhariitbhu/llm-internals
👉 @PythonPortal
Небольшой факт про Python.
Оператор := называют «моржом» из-за того, что символы напоминают глаза и бивни моржа.
Он появился в Python 3.8 и позволяет одновременно присвоить значение переменной и использовать его прямо внутри выражения.
Например:
while (line := input("Say something: ")) != "quit":
print(f"You said: {line}")input(), а затем уже проверять его.:= в своём коде?
Правильный способ обучения такой:
Нужно просто решать задачи и делать проекты.
Именно такой подход сделали для одной из лучших книг по основам статистики — кстати, одной из немногих, которые я действительно прочитал.
Всё очень просто:
Читаешь главу.
Решaешь все задачи по этой теме.
https://www.statlearning.com/
👉 @PythonPortal
Изучайте Linux-сети на практике
Новый практический челлендж — потренируйтесь разбираться в сетевой конфигурации Linux-хостов: находить имена интерфейсов, IP- и MAC-адреса, шлюз по умолчанию, а также определять, какие маршруты сервер использует для доступа к разным адресам.
https://labs.iximiuz.com/challenges/linux-inspect-network-interfaces-and-routes
👉 @PythonPortal
11 принципов разработки ПО, которые я хотел бы понять раньше
1. SOLID — качественное объектно-ориентированное проектирование
2. DRY — не повторяйся
3. KISS — делай проще
4. YAGNI — не создавай то, что пока не нужно
5. SRP — одна ответственность
6. Open/Closed — расширяй, не ломая существующее
7. Dependency Inversion — меньше жёстких связей
8. Composition — собирай систему из гибких компонентов
9. Separation of Concerns — разделяй зоны ответственности
10. Fail Fast — выявляй проблемы как можно раньше
11. Measure First — оптимизируй только то, что действительно имеет значение
👉 @PythonPortal