pythonportal | Unsorted

Telegram-канал pythonportal - Python Portal

50319

Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6

Subscribe to a channel

Python Portal

«Как обучить нейросеть» — краткий конспект лекций курса MIT по глубокому обучению за 2024 год. Он посвящён одному из фундаментальных вопросов нейросетей — как модель обучает свои веса.

В конспекте процесс обучения рассматривается с математической точки зрения. Разбираются прямой проход, функции потерь, градиенты, обратное распространение ошибки и градиентные методы оптимизации.

Думаю, это интересный материал для тех, кто хочет выйти за рамки общего интуитивного представления о нейросетях и начать разбираться в математике, на которой основано их обучение.

https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/mit6_7960_f24_lec2.pdf

👉 @PythonPortal

Читать полностью…

Python Portal

Один из лучших ресурсов по производительности SQL:

use-the-index-luke.com

👉 @PythonPortal

Читать полностью…

Python Portal

Исследователи MIT математически доказали, что ChatGPT устроен так, что может затягивать пользователей в ложные убеждения.

И, согласно работе, то, что сейчас делает OpenAI, эту проблему не решает.

В статье это называют «делюзионной спиралью». Вы спрашиваете ChatGPT о чём-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается ещё сильнее. Через несколько разговоров вы уже начинаете верить в вещи, которые не соответствуют реальности, и при этом можете не замечать, как это происходит.

Это не просто гипотетический сценарий.

Один мужчина провёл около 300 часов в разговорах с ChatGPT. Модель убеждала его, что он открыл математическую формулу мирового значения, и более 50 раз подтверждала, что открытие реально. Когда он спросил: «Ты ведь не просто подбадриваешь меня, правда?», ChatGPT ответил: «Я не подбадриваю тебя. Я отражаю реальный масштаб того, что ты создал».

Он едва не разрушил свою жизнь, прежде чем смог выйти из этого состояния.

Психиатр из UCSF сообщил, что за один год госпитализировал 12 пациентов с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. 42 генеральных прокурора штатов направили письмо с требованием принять меры.

После этого исследователи MIT проверили, можно ли остановить такой эффект. Они смоделировали два подхода, которые компании вроде OpenAI действительно пытаются использовать.

Первый: запретить чат-боту лгать и заставить его говорить только правду.

Результат: делюзионная спираль всё равно возникает.

Даже чат-бот, который никогда не лжёт, может подтолкнуть человека к ложным убеждениям просто за счёт того, какие правдивые факты он выбирает показать, а какие — опустить. Для этого достаточно тщательно подобранной правды.

Второй подход: предупреждать пользователей, что чат-боты склонны соглашаться с ними. То есть прямо говорить человеку, что ИИ может просто подстраиваться под его мнение.

Результат тот же.

Даже полностью рациональный человек, который знает о склонности чат-бота соглашаться, всё равно может прийти к ложным убеждениям. Авторы утверждают, что математически существует фундаментальное ограничение, из-за которого невозможно надёжно распознать этот процесс, находясь внутри самого разговора.

Оба подхода провалились не частично, а фундаментально.

Причина, по утверждению автора текста, заложена в самом продукте. ChatGPT обучается на обратной связи от людей. Пользователи поощряют ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. В результате ИИ учится соглашаться.

Это не ошибка. Это бизнес-модель.

https://arxiv.org/abs/2602.19141

👉 @PythonPortal

Читать полностью…

Python Portal

Вышел UniMate — открытая модель для генерации анимаций риггированных 3D-персонажей.

Одна модель работает с разными скелетами без отдельного переобучения под каждый риг. Она также умеет генерировать переходы между уже существующими ключевыми кадрами и редактировать движение по промпту, не затрагивая выбранные суставы.

Код опубликован под MIT, доступны и веса для тестирования.

https://github.com/Friedrich-M/UniMate

👉 @PythonPortal

Читать полностью…

Python Portal

ИИ-репетитор помог студентам Гарварда освоить физику быстрее, чем очные занятия

В эксперименте с участием 194 студентов исследователи Гарварда сравнили занятия с преподавателем и специально настроенного ИИ-репетитора. Прирост знаний у студентов, работавших с ИИ, оказался примерно вдвое выше, хотя на обучение они потратили меньше времени. Результаты исследования опубликованы в июне 2025 года.

Эксперимент проходил осенью 2023 года. Студенты изучали материал двумя способами в течение двух недель, после чего группы менялись местами. ИИ-репетитор не выдавал готовые ответы, а вёл студентов по уроку, подготовленному преподавателями курса.

Авторы видят в этом возможность иначе использовать время в аудитории. Базовый материал студент может разбирать с индивидуальным помощником, а очные занятия посвятить сложным задачам и совместной работе. Один эксперимент по физике не показывает, что ИИ способен заменить университетское образование целиком.

https://www.nature.com/articles/s41598-025-97652-6

👉 @PythonPortal

Читать полностью…

Python Portal

Вы уже видели конспекты лекций Стэнфорда по архитектуре GPU и программированию на CUDA?

Отличный курс!

https://gfxcourses.stanford.edu/cs149/fall25/lecture/gpuarch/


👉 @PythonPortal

Читать полностью…

Python Portal

«Маленькая книга по основам генеративного ИИ» — интуитивное введение в математику: arxiv.org/pdf/2605.29713

👉 @PythonPortal

Читать полностью…

Python Portal

Как только начинаешь визуализировать свои SQL-схемы вот так, назад пути уже нет.

sqltoerdiagram.com

👉 @PythonPortal

Читать полностью…

Python Portal

😭😭😭


👉 @PythonPortal

Читать полностью…

Python Portal

Чувак провёл довольно безумный эксперимент: сделал сайт, который сам себя развивает с помощью ИИ.

На сервере установлен Claude Code. Пользователи присылают идеи, а каждые 4 часа ИИ сам выбирает лучшую и реализует её.

При этом весь код автоматически публикуется здесь:

https://github.com/midudev/tuweb.dev

Сам сайт — https://tuweb.dev, если хотите посмотреть.

Пока изменения ограничены: из соображений безопасности Claude Code не имеет доступа к базе данных и не может создавать API.

Но админ думает снять эти ограничения и дать ему полную свободу, чтобы посмотреть, что произойдёт.

👉 @PythonPortal

Читать полностью…

Python Portal

Вышла открытая альтернатива Jev — Kev. Модель доступна в трёх размерах.

Она работает локально, поэтому данные остаются на вашем компьютере. Kev может отвечать «да» или «нет», выбирать один из вариантов и добавлять примечание. Подходит для задач классификации.

👉 @PythonPortal

Читать полностью…

Python Portal

«Принципы механики» — бесплатный учебник с открытым доступом, который даёт всестороннее введение в классическую механику.

Книга начинается с математических основ, необходимых для изучения механики, а затем переходит к основным темам: кинематике, законам движения Ньютона, работе и энергии, линейному и угловому моменту, вращательному движению, гравитации, колебаниям и волнам.

Теория сочетается с разобранными примерами и задачами, поэтому книга подойдёт как для первого знакомства с механикой, так и для повторения фундаментальных основ.

Полная версия книги бесплатно доступна в PDF:

https://link.springer.com/content/pdf/10.1007/978-3-030-15195-9.pdf

👉 @PythonPortal

Читать полностью…

Python Portal

Отличный материал по современному программированию GPU для систем машинного обучения.

MLC Community разбирает архитектуру GPU практически с нуля: потоки и варпы, иерархию памяти, CUDA Cores и Tensor Cores, TMA, устройство Blackwell, GEMM и Flash Attention 4. Отдельный упор сделан на то, как писать действительно быстрые ядра и эффективно загружать вычислительные блоки GPU.

https://mlc.ai/modern-gpu-programming-for-mlsys/chapter_background/index.html

👉 @PythonPortal

Читать полностью…

Python Portal

В открытом доступе появился GuppyLM — проект, который позволяет обучить языковую модель на 9 млн параметров с нуля примерно за пять минут. 👀

Репозиторий включает весь процесс обучения и рассчитан на быстрые эксперименты с небольшими языковыми моделями без крупной инфраструктуры.

👉 @PythonPortal

Читать полностью…

Python Portal

В репозитории LLM Internals собрали цельную дорожную карту от токенизации и BPE до обучения, дообучения, RAG, агентов и оптимизации вывода.

Разбираются Q/K/V, RoPE, каузальные маски, GQA, Transformer, MoE, LoRA, нормализация, обратное распространение ошибки, кросс-энтропия, RLHF и рассуждающие модели.

Отдельный блок посвящён ускорению вывода: KV Cache, Flash Attention, Paged Attention и спекулятивное декодирование.

Для каждого раздела собраны статьи и видео, поэтому репозиторий особенно полезен, если хочется наконец связать разрозненные знания в одну систему.

https://github.com/amitshekhariitbhu/llm-internals

👉 @PythonPortal

Читать полностью…

Python Portal

Tencent выпустила новую модель для перевода, которая, по их словам, обходит Google Translate. И самое интересное — она работает прямо на телефоне без интернета.

Модель полностью открытая, весит всего 440 МБ и поддерживает 33 языка.

Весь перевод идёт локально на устройстве. Никакого облака, никакого подключения к интернету.

Фактически это полноценная офлайн-альтернатива Google Translate.

Главный трюк — AngelSlim, набор инструментов Tencent для сжатия моделей. Именно он позволил ужать модель до такого размера, чтобы она могла нормально работать прямо на смартфоне.

https://github.com/tencent/AngelSlim

👉 @PythonPortal

Читать полностью…

Python Portal

Многие постоянно путаются в этом:

В чём на самом деле разница между 100 МБ/с и 100 Мбит/с?

👉 @PythonPortal

Читать полностью…

Python Portal

Интервьюер:

Ты вводишь имя пользователя в Gmail, и через несколько секунд система пишет: «Это имя уже занято».

Но ведь аккаунтов миллионы.

Как система проверяет это так быстро?

👉 @PythonPortal

Читать полностью…

Python Portal

Направления развития аппаратного обеспечения для глубокого обучения — лекция Билла Далли в Georgia Tech, 2024 год.

youtu.be/gofI47kfD28

👉 @PythonPortal

Читать полностью…

Python Portal

Шокирующий результат: сильнейшие ИИ-модели уже умеют сами проектировать эксперименты, а точность может вырасти с 11% до 87%. Похоже, ИИ действительно начинает самостоятельно исследовать неизвестное.

Уметь отвечать на вопросы ≠ уметь исследовать.

Исследователи из Фуданьского университета, Цинхуа и Tencent взяли 10 передовых моделей и поместили их в два искусственных мира с непривычными правилами, где ответы можно точно проверить. Модели должны были сами придумывать проверки, по обратной связи восстанавливать правила, а затем применять новые знания к 70 задачам, которых раньше не видели.

Две песочницы:

AlienCode — язык программирования с 31 скрытым семантическим правилом.

AlienLogic — система с 24 изменёнными правилами логического вывода.

При этом инструкции специально содержали неверные сведения, поэтому опора на запомненные знания только мешала.

Ключевые результаты.

При четырёх раундах исследования с обратной связью лучший результат на AlienCode достиг 87,6%. При том же числе раундов, но без обратной связи, результаты всех моделей оставались в диапазоне 0,5–11%.

Самостоятельно выбранные проверки оказались заметно эффективнее фиксированных или случайных.

Но исследование оказалось крайне нестабильным. У одной и той же модели при одинаковом бюджете разница между отдельными траекториями достигала 72,8 процентного пункта, тогда как обычный разброс при ответах не превышал 4,7 пункта.

Ещё один важный вывод: знать правило ≠ уметь им пользоваться.

Два ключевых правила покрывали 51 из 70 задач. Когда один эксперимент позволял обнаружить оба сразу, точность подскакивала с 11% до 81%.

Но даже когда модель правильно называла все правила, итоговая точность составляла лишь 70,9%.

Если же правила давали модели напрямую, на AlienLogic точность достигала 93–97%, что выше результатов любого самостоятельного исследования.

То есть главное ограничение сейчас не в том, чтобы применить уже известное правило, а в том, чтобы самостоятельно его обнаружить и затем надёжно удержать.

Настоящее исследование — это не просто знать больше. Это понимать, какой эксперимент нужно провести, и уметь надёжно перенести его результат в следующую задачу.

Работа: https://arxiv.org/abs/2609.30199

👉 @PythonPortal

Читать полностью…

Python Portal

«The Little Book of Generative AI Foundations» — свежая бесплатная книга для тех, кто хочет разобраться в математике современных генеративных моделей, которые учатся на данных и создают новый контент: текст, изображения, аудио и видео.

Книга последовательно разбирает основы генеративного моделирования: от метода главных компонент и его вероятностной версии до вариационных автоэнкодеров, диффузионных моделей, нормализующих потоков, авторегрессионных моделей, GAN, Wasserstein GAN и энергетических моделей.

Особенно интересно то, что авторы делают упор на математические выводы, но при этом стараются сохранить интуитивное понимание того, как работают разные семейства генеративных моделей и как они связаны между собой.

Хороший ресурс, если хочется понять математику генеративного ИИ, а не просто научиться пользоваться готовыми моделями.

arxiv.org/pdf/2605.29713

👉 @PythonPortal

Читать полностью…

Python Portal

Если вы только начинаете изучать машинное обучение и хотите глубже разобраться в математике, необходимой для машинного и глубокого обучения, советую попробовать эту платформу. Это что-то вроде LeetCode для машинного обучения.

Это не реклама: я сам ей пользовался и решил поделиться с вами.

https://deep-ml.com

Читать полностью…

Python Portal

Uniface

Автоматизируйте обнаружение лиц, распознавание и анализ ключевых точек лица с помощью единой Python-библиотеки Uniface.

https://github.com/yakhyo/uniface

👉 @PythonPortal

Читать полностью…

Python Portal

«Методы машинного обучения, которые стоит знать экономистам»

Сьюзан Эйти и Гвидо В. Имбенс

https://annualreviews.org/content/journals/10.1146/annurev-economics-080217-053433

👉 @PythonPortal

Читать полностью…

Python Portal

Исследователь OpenAI Алиса Лю прошла 57 собеседований перед тем, как попасть в компанию, а затем открыто опубликовала весь свой путь подготовки и поиска работы.

Если вы готовитесь к позициям Research Scientist или MTS, это один из самых насыщенных практических материалов, которые сейчас можно найти.

Можно использовать её конспекты напрямую или просто взять список тем и пройти их самостоятельно. Такое публикуют редко.

Конспекты по LLM:
https://alisawuffles.notion.site/alisa-s-book-of-llms

Математика:
https://alisawuffles.notion.site/math-notes

Разбор поиска работы и собеседований:
https://alisawuffles.github.io/blog/job-search/

👉 @PythonPortal

Читать полностью…

Python Portal

Очень рекомендую сохранить осенний курс Стэнфорда MS&E 319 — Efficient Generative Language Models.

Курс идёт от предобучения до инференса и постобучения. Материалы и записи лекций обещают выкладывать позже.

Мне особенно нравится его исходная идея: модели становятся всё больше, но бюджет всегда ограничен. Если есть конкретная задача и ограниченные вычислительные ресурсы, как выбрать цель обучения, архитектуру модели и способ инференса так, чтобы получить максимум за свои деньги и не запускать GPT-6 на каждой задаче.

«Просто купить ещё GPU» тоже вариант — и сейчас это фактически основной подход рынка.

В курсе будут MoE, attention, сжатие KV Cache, квантизация, speculative decoding, а также LoRA, RLHF, DPO и дистилляция. Все эти обычно разрозненные техники рассматриваются через один вопрос: какую именно часть вычислений, памяти или времени они экономят и чем за это приходится платить.

Например, если нужно снизить стоимость использования модели, один подход позволяет на каждом запросе задействовать только часть параметров, другой уменьшает объём данных, которые нужно хранить и перемещать, третий ускоряет генерацию ответа. Сначала нужно понять, какую именно проблему решает каждый метод, и только потом выбирать подходящий для своей задачи и смотреть, какие из них можно сочетать.

Мне самому при оценке ИИ-компаний особенно интересен именно этот уровень: можно ли на тот же бюджет обучить более сильную модель или обслужить больше пользователей. Когда понимаешь компромиссы этих методов, релизы моделей и изменения их стоимости становятся намного понятнее.

У курса есть определённый порог входа, но если тема интересна, точно стоит следить:

https://web.stanford.edu/class/msande319/

👉 @PythonPortal

Читать полностью…

Python Portal

Вот один из лучших материалов для начала, если хотите понять, что процессор на самом деле делает.

https://youtu.be/GU8MnZI0snA

👉 @PythonPortal

Читать полностью…

Python Portal

Для Jev появился практический проект Jev Explained с четырьмя примерами, которые показывают, как устроена модель, как работают её основные примитивы и как использовать их в реальных задачах.

Репозиторий можно открыть в Claude Code или Codex и попросить агента создать новый пример, используя существующий код как контекст.

Проект поддерживает TypeSafe API и Vercel AI Gateway.

Идея простая: вместо чтения очередного разбора можно сразу открыть сессию и начать собирать что-то на Jev.

Репозиторий:
https://github.com/davila7/jev-explained

Демо:
https://jev-explained-repo.vercel.app

👉 @PythonPortal

Читать полностью…

Python Portal

Один из создателей ChatGPT представил принципиально новый тип ИИ-моделей.

Два года, Диогу Алмейда, втайне разрабатывал Jev — модель, которая не пишет текст и не генерирует токены последовательно.

Она получает любые неструктурированные данные и параллельно принимает заданные разработчиком решения. Например, выбирает одну категорию из списка, выставляет оценку или определяет вероятность утверждения.

Jev также запрещено использовать скрытую цепочку рассуждений. Сложное поведение должно собираться разработчиком из множества простых решений при помощи обычного кода.

Именно поэтому модель работает в 20–200 раз быстрее и обходится в 40–400 раз дешевле. Миллион входных токенов стоит 4,2 цента, а выход остаётся бесплатным навсегда (его вычисление настолько дёшево, что компания не видит смысла его считать.)

Компания заявляет о нулевых галлюцинациях. Jev не может выдать ответ вне заданных вариантов или нарушить структуру. При этом модель может выбрать неправильный вариант.

Это не замена GPT-6 Astra и не новый чат-бот. Jev создан для автоматизации, где программам не нужны тексты. Им нужны быстрые решения в заданном формате.

👉 @PythonPortal

Читать полностью…

Python Portal

Одно из главных правил GROUP BY в SQL.

Если в SELECT есть столбец без агрегатной функции, он должен либо входить в GROUP BY, либо однозначно определяться сгруппированными столбцами.

Почему это важно: GROUP BY определяет, что означает одна строка результата. База должна понимать, какое единственное значение поставить в каждую ячейку.

Например, если одна строка результата соответствует должности внутри отдела, группировать нужно и по department, и по job_title.

Если оставить столбец, который внутри одной группы может иметь несколько значений, одни СУБД просто вернут ошибку, а другие в некоторых режимах могут выбрать неопределённое значение из группы.

Простое правило: если столбец может иметь несколько значений внутри группы, его нужно либо добавить в GROUP BY, либо агрегировать через COUNT, SUM, MAX, MIN и другие функции.

👉 @PythonPortal

Читать полностью…
Subscribe to a channel