50319
Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6
Как только начинаешь визуализировать свои SQL-схемы вот так, назад пути уже нет.
sqltoerdiagram.com
👉 @PythonPortal
Чувак провёл довольно безумный эксперимент: сделал сайт, который сам себя развивает с помощью ИИ.
На сервере установлен Claude Code. Пользователи присылают идеи, а каждые 4 часа ИИ сам выбирает лучшую и реализует её.
При этом весь код автоматически публикуется здесь:
https://github.com/midudev/tuweb.dev
Сам сайт — https://tuweb.dev, если хотите посмотреть.
Пока изменения ограничены: из соображений безопасности Claude Code не имеет доступа к базе данных и не может создавать API.
Но админ думает снять эти ограничения и дать ему полную свободу, чтобы посмотреть, что произойдёт.
👉 @PythonPortal
Вышла открытая альтернатива Jev — Kev. Модель доступна в трёх размерах.
Она работает локально, поэтому данные остаются на вашем компьютере. Kev может отвечать «да» или «нет», выбирать один из вариантов и добавлять примечание. Подходит для задач классификации.
👉 @PythonPortal
«Принципы механики» — бесплатный учебник с открытым доступом, который даёт всестороннее введение в классическую механику.
Книга начинается с математических основ, необходимых для изучения механики, а затем переходит к основным темам: кинематике, законам движения Ньютона, работе и энергии, линейному и угловому моменту, вращательному движению, гравитации, колебаниям и волнам.
Теория сочетается с разобранными примерами и задачами, поэтому книга подойдёт как для первого знакомства с механикой, так и для повторения фундаментальных основ.
Полная версия книги бесплатно доступна в PDF:
https://link.springer.com/content/pdf/10.1007/978-3-030-15195-9.pdf
👉 @PythonPortal
Отличный материал по современному программированию GPU для систем машинного обучения.
MLC Community разбирает архитектуру GPU практически с нуля: потоки и варпы, иерархию памяти, CUDA Cores и Tensor Cores, TMA, устройство Blackwell, GEMM и Flash Attention 4. Отдельный упор сделан на то, как писать действительно быстрые ядра и эффективно загружать вычислительные блоки GPU.
https://mlc.ai/modern-gpu-programming-for-mlsys/chapter_background/index.html
👉 @PythonPortal
В открытом доступе появился GuppyLM — проект, который позволяет обучить языковую модель на 9 млн параметров с нуля примерно за пять минут. 👀
Репозиторий включает весь процесс обучения и рассчитан на быстрые эксперименты с небольшими языковыми моделями без крупной инфраструктуры.
👉 @PythonPortal
В репозитории LLM Internals собрали цельную дорожную карту от токенизации и BPE до обучения, дообучения, RAG, агентов и оптимизации вывода.
Разбираются Q/K/V, RoPE, каузальные маски, GQA, Transformer, MoE, LoRA, нормализация, обратное распространение ошибки, кросс-энтропия, RLHF и рассуждающие модели.
Отдельный блок посвящён ускорению вывода: KV Cache, Flash Attention, Paged Attention и спекулятивное декодирование.
Для каждого раздела собраны статьи и видео, поэтому репозиторий особенно полезен, если хочется наконец связать разрозненные знания в одну систему.
https://github.com/amitshekhariitbhu/llm-internals
👉 @PythonPortal
Небольшой факт про Python.
Оператор := называют «моржом» из-за того, что символы напоминают глаза и бивни моржа.
Он появился в Python 3.8 и позволяет одновременно присвоить значение переменной и использовать его прямо внутри выражения.
Например:
while (line := input("Say something: ")) != "quit":
print(f"You said: {line}")input(), а затем уже проверять его.:= в своём коде?
Правильный способ обучения такой:
Нужно просто решать задачи и делать проекты.
Именно такой подход сделали для одной из лучших книг по основам статистики — кстати, одной из немногих, которые я действительно прочитал.
Всё очень просто:
Читаешь главу.
Решaешь все задачи по этой теме.
https://www.statlearning.com/
👉 @PythonPortal
Изучайте Linux-сети на практике
Новый практический челлендж — потренируйтесь разбираться в сетевой конфигурации Linux-хостов: находить имена интерфейсов, IP- и MAC-адреса, шлюз по умолчанию, а также определять, какие маршруты сервер использует для доступа к разным адресам.
https://labs.iximiuz.com/challenges/linux-inspect-network-interfaces-and-routes
👉 @PythonPortal
11 принципов разработки ПО, которые я хотел бы понять раньше
1. SOLID — качественное объектно-ориентированное проектирование
2. DRY — не повторяйся
3. KISS — делай проще
4. YAGNI — не создавай то, что пока не нужно
5. SRP — одна ответственность
6. Open/Closed — расширяй, не ломая существующее
7. Dependency Inversion — меньше жёстких связей
8. Composition — собирай систему из гибких компонентов
9. Separation of Concerns — разделяй зоны ответственности
10. Fail Fast — выявляй проблемы как можно раньше
11. Measure First — оптимизируй только то, что действительно имеет значение
👉 @PythonPortal
Большинство слышит «дообучение» и сразу думает, что мы обновляем миллиарды весов большой языковой модели.
Но часто это не так.
Современные методы дообучения позволяют адаптировать модель, почти не трогая её исходные предобученные веса.
Если вы переходите из Data Science в AI Engineering, стоит знать эти 5 подходов.
1. LoRA — учим обновление, а не сами веса
Замораживаем W.
Обучаем две небольшие матрицы:
ΔW = BA
То есть:
W' = W + BA
Фактически мы учим небольшую поправку к модели.
2. LoRA-FA — замораживаем ещё больше
Замораживаем W и A.
Обучаем только B.
Идея та же, но обучаемых параметров ещё меньше.
3. VeRA — не обучаем даже сами матрицы
Фиксируем случайные A и B.
Обучаем только небольшие векторы масштабирования, которые управляют вкладом этих матриц.
Очень высокая параметрическая эффективность.
4. Delta-LoRA — позволяем базовой модели тоже меняться
В отличие от обычной LoRA, здесь W тоже может обновляться, но эти изменения направляются низкоранговой адаптацией.
5. LoRA+ — та же LoRA, но с другой оптимизацией
A и B обучаются с разными скоростями обучения.
Обычно:
ηB > ηA
Главная идея здесь в том, что дообучение не обязательно означает переобучение всей модели.
LoRA → 2 матрицы
LoRA-FA → 1 матрица
VeRA → векторы масштабирования
LoRA+ → 2 матрицы с разными скоростями обучения
Delta-LoRA → низкоранговые обновления + изменяющиеся базовые веса
Пять подходов к одному и тому же вопросу:
какой минимум нам на самом деле нужно обучать?
Именно это и есть параметрически эффективное дообучение — концепция, которую стоит понимать специалистам по Data Science при переходе в AI Engineering.
👉 @PythonPortal
Представьте, что роботы смогут делать ещё через 10 лет...
👉 @PythonPortal
Если полностью разберётесь в этой статье, то будете понимать инференс лучше 90% людей.
И это, кстати, всего лишь первый материал в репозитории AI Performance Engineering.
Страшно представить, сколько знаний в остальных.
https://github.com/wafer-ai/gpu-perf-engineering-resources
👉 @PythonPortal
Uniface
Автоматизируйте обнаружение лиц, распознавание и анализ ключевых точек лица с помощью единой Python-библиотеки Uniface.
https://github.com/yakhyo/uniface
👉 @PythonPortal
«Методы машинного обучения, которые стоит знать экономистам»
Сьюзан Эйти и Гвидо В. Имбенс
https://annualreviews.org/content/journals/10.1146/annurev-economics-080217-053433
👉 @PythonPortal
Исследователь OpenAI Алиса Лю прошла 57 собеседований перед тем, как попасть в компанию, а затем открыто опубликовала весь свой путь подготовки и поиска работы.
Если вы готовитесь к позициям Research Scientist или MTS, это один из самых насыщенных практических материалов, которые сейчас можно найти.
Можно использовать её конспекты напрямую или просто взять список тем и пройти их самостоятельно. Такое публикуют редко.
Конспекты по LLM:
https://alisawuffles.notion.site/alisa-s-book-of-llms
Математика:
https://alisawuffles.notion.site/math-notes
Разбор поиска работы и собеседований:
https://alisawuffles.github.io/blog/job-search/
👉 @PythonPortal
Очень рекомендую сохранить осенний курс Стэнфорда MS&E 319 — Efficient Generative Language Models.
Курс идёт от предобучения до инференса и постобучения. Материалы и записи лекций обещают выкладывать позже.
Мне особенно нравится его исходная идея: модели становятся всё больше, но бюджет всегда ограничен. Если есть конкретная задача и ограниченные вычислительные ресурсы, как выбрать цель обучения, архитектуру модели и способ инференса так, чтобы получить максимум за свои деньги и не запускать GPT-6 на каждой задаче.
«Просто купить ещё GPU» тоже вариант — и сейчас это фактически основной подход рынка.
В курсе будут MoE, attention, сжатие KV Cache, квантизация, speculative decoding, а также LoRA, RLHF, DPO и дистилляция. Все эти обычно разрозненные техники рассматриваются через один вопрос: какую именно часть вычислений, памяти или времени они экономят и чем за это приходится платить.
Например, если нужно снизить стоимость использования модели, один подход позволяет на каждом запросе задействовать только часть параметров, другой уменьшает объём данных, которые нужно хранить и перемещать, третий ускоряет генерацию ответа. Сначала нужно понять, какую именно проблему решает каждый метод, и только потом выбирать подходящий для своей задачи и смотреть, какие из них можно сочетать.
Мне самому при оценке ИИ-компаний особенно интересен именно этот уровень: можно ли на тот же бюджет обучить более сильную модель или обслужить больше пользователей. Когда понимаешь компромиссы этих методов, релизы моделей и изменения их стоимости становятся намного понятнее.
У курса есть определённый порог входа, но если тема интересна, точно стоит следить:
https://web.stanford.edu/class/msande319/
👉 @PythonPortal
Вот один из лучших материалов для начала, если хотите понять, что процессор на самом деле делает.
https://youtu.be/GU8MnZI0snA
👉 @PythonPortal
Для Jev появился практический проект Jev Explained с четырьмя примерами, которые показывают, как устроена модель, как работают её основные примитивы и как использовать их в реальных задачах.
Репозиторий можно открыть в Claude Code или Codex и попросить агента создать новый пример, используя существующий код как контекст.
Проект поддерживает TypeSafe API и Vercel AI Gateway.
Идея простая: вместо чтения очередного разбора можно сразу открыть сессию и начать собирать что-то на Jev.
Репозиторий:
https://github.com/davila7/jev-explained
Демо:
https://jev-explained-repo.vercel.app
👉 @PythonPortal
Один из создателей ChatGPT представил принципиально новый тип ИИ-моделей.
Два года, Диогу Алмейда, втайне разрабатывал Jev — модель, которая не пишет текст и не генерирует токены последовательно.
Она получает любые неструктурированные данные и параллельно принимает заданные разработчиком решения. Например, выбирает одну категорию из списка, выставляет оценку или определяет вероятность утверждения.
Jev также запрещено использовать скрытую цепочку рассуждений. Сложное поведение должно собираться разработчиком из множества простых решений при помощи обычного кода.
Именно поэтому модель работает в 20–200 раз быстрее и обходится в 40–400 раз дешевле. Миллион входных токенов стоит 4,2 цента, а выход остаётся бесплатным навсегда (его вычисление настолько дёшево, что компания не видит смысла его считать.)
Компания заявляет о нулевых галлюцинациях. Jev не может выдать ответ вне заданных вариантов или нарушить структуру. При этом модель может выбрать неправильный вариант.
Это не замена GPT-6 Astra и не новый чат-бот. Jev создан для автоматизации, где программам не нужны тексты. Им нужны быстрые решения в заданном формате.
👉 @PythonPortal
Одно из главных правил GROUP BY в SQL.
Если в SELECT есть столбец без агрегатной функции, он должен либо входить в GROUP BY, либо однозначно определяться сгруппированными столбцами.
Почему это важно: GROUP BY определяет, что означает одна строка результата. База должна понимать, какое единственное значение поставить в каждую ячейку.
Например, если одна строка результата соответствует должности внутри отдела, группировать нужно и по department, и по job_title.
Если оставить столбец, который внутри одной группы может иметь несколько значений, одни СУБД просто вернут ошибку, а другие в некоторых режимах могут выбрать неопределённое значение из группы.
Простое правило: если столбец может иметь несколько значений внутри группы, его нужно либо добавить в GROUP BY, либо агрегировать через COUNT, SUM, MAX, MIN и другие функции.
👉 @PythonPortal
Не нарушайте принцип единственной ответственности
Функция должна делать одну вещь, делать её хорошо и только её.
Эта функция делает слишком много:
def calculate_final_total(
price: float,
quantity: int,
discount_rate: float,
tax_rate: float
) -> float:
# Расчёт промежуточной суммы
subtotal = price * quantity
# Применение скидки
discounted_amount = subtotal * (1 - discount_rate)
# Расчёт налога
final_total = discounted_amount * (1 + tax_rate)
return final_total
def calculate_subtotal(price: float, quantity: int) -> float:
return price * quantity
def apply_discount(subtotal: float, discount: float) -> float:
return subtotal * (1 - discount)
def calculate_tax(amount: float, tax_rate: float) -> float:
return amount * (1 + tax_rate)
Пока все заставляли мушку работать, чуваки решили дать ей отдохнуть.
Вот что из этого получилось.
👉 @PythonPortal
Вот как сегодня выглядит «фабрика программного обеспечения» OpenAI, где значительная часть работы уже строится вокруг агентов.
👉 @PythonPortal
OpenResearch в пятницу занял первое место среди самых популярных репозиториев на GitHub.
С OpenResearch можно превратить любого агента для вайбкодинга в ресёрч агента, который изучает литературу, формулирует гипотезы, проводит эксперименты и создаёт исследовательские материалы.
Теперь OpenResearch доступен и на Windows.
https://github.com/alphaXiv/OpenResearch
👉 @PythonPortal
Как большая языковая модель работает на аппаратном уровне?
Если вы привыкли к программированию вокруг CPU, большая языковая модель может казаться чем-то почти магическим. Всё потому, что в ней сочетаются глубокая нейронная сеть, архитектура Transformer и GPU — процессор с огромным параллелизмом, на котором она работает. Кроме того, хотя большую языковую модель можно описать несколькими сотнями строк Python, под ними скрываются крупные и сложные слои программного обеспечения, которые одному человеку трудно понять целиком.
Автор проекта решил разобраться в этом вопросе и с нуля реализовал Qwen3-0.6B — от Transformer до симулятора набора инструкций — с помощью Claude Code в качестве проекта на выходные.
Он реализовал саму модель, набор инструкций GPU, компилятор и симулятор GPU, чтобы каждый слой системы был достаточно небольшим и его можно было понять целиком.
Сейчас он также работает над RTL-описанием GPU, чтобы запустить систему на FPGA, а в будущем, возможно, даже изготовить настоящий чип — просто ради интереса.
Что интересно, пользоваться проектом можно примерно как Claude или Codex, но он работает на CPU, поэтому его можно полностью отлаживать и трассировать.
Если вам было трудно связать между собой большие языковые модели и GPU, на которых они работают, репозиторий здесь:
https://github.com/penberg/titania
👉 @PythonPortal
Разработчик, который до этого ни разу не проектировал печатные платы, взял Claude Fable 5 и на пару часов оставил его самостоятельно работать в KiCad. 🔍
Затем он заказал пять плат за €130, даже не проверив проект самостоятельно. И они заработали.
В основе платы — микроконтроллер RP2350, небольшой дисплей на электронных чернилах, четыре кнопки и несколько дополнительных выводов. Он подключил первую плату к ноутбуку, и тот сразу её распознал.
Проблемы нашлись только с двумя компонентами: SPI-флеш-памятью и транзистором в схеме управления дисплеем. Причём обнаружилось это уже при отправке файлов производителю. После нескольких раундов правок всё исправили.
Раньше он уже пытался сделать тот же проект с помощью более старых моделей, но тогда компоненты оказывались неправильно ориентированы, а нормальной разводки платы практически не было.
Он пишет, что результатом доволен, хотя особого чувства, что он сам чего-то добился, у него нет. И при этом он всё равно хочет нормально научиться проектировать печатные платы самостоятельно.
👉 @PythonPortal
Hugging Face завершила серию Training Agents — шесть практических воркшопов про оценку и обучение ИИ-агентов.
За полгода команда разобрала весь путь: от бенчмарков и SFT на трассах агентов до дистилляции, GRPO и обучения внутри реальных сред.
В финальной части они собрали среду на OpenEnv, подключили её к TRL и обучили реального агента для программирования OpenCode через Harbor в песочницах Hugging Face.
Все шесть записей уже доступны бесплатно, весь код открыт. Серия набрала более 300 тысяч просмотров.
Плейлист:
https://youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5
👉 @PythonPortal