50319
Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6
Доступна предварительная версия седьмого издания книги «Компьютерные сети. Системный подход» (Computer Networks: A Systems Approach).
https://7e.systemsapproach.org/
👉 @PythonPortal
Эти разработчики, похоже, выжали из процессора всё до последней капли производительности!
Для запуска модели на 284 миллиарда параметров больше не нужна видеокарта. Достаточно 64 ГБ оперативной памяти.
В мире больших языковых моделей появился невероятно мощный проект с открытым исходным кодом — synchopate/llama-modchip.
Раньше для запуска DeepSeek-V4 с её 284 миллиардами параметров требовалось как минимум несколько серверов с восемью GPU NVIDIA H100. Теперь разработчики предлагают совершенно иной подход: без дискретной видеокарты, на обычном домашнем процессоре и с 64 ГБ оперативной памяти можно разместить эту огромную модель и добиться высокой скорости генерации.
Mingzi сверил впечатляющие характеристики проекта с официальными результатами бенчмарков:
- Никаких GPU, только оперативная память. Дорогая видеокарта больше не нужна. Модель DeepSeek на 284 миллиарда параметров удалось сжать до 56,9 ГБ. Обычный компьютер с 64 ГБ оперативной памяти способен запустить её без обращения к файлу подкачки.
- Вполне пригодная для работы скорость на одном CPU. Благодаря оптимизации под векторные инструкции скорость генерации модели на 284 миллиарда параметров стабильно составляет 9–14 токенов в секунду. При использовании спекулятивного семплирования она достигает 25 токенов в секунду, а косинусное сходство сохраняется на уровне 99,15%.
- Модели на 30 миллиардов параметров работают ещё быстрее. MoE-модель такого размера занимает всего 13,3 ГБ. Её можно запустить даже на ноутбуке с 16 ГБ оперативной памяти. При этом скорость генерации исключительно на CPU достигает впечатляющих 111 токенов в секунду.
- Готовый набор инструментов. Проект включает веб-интерфейс в тёмной теме, не требующий дополнительных зависимостей, и интерфейс командной строки. Кроме того, предусмотрена нативная поддержка подключения в качестве локального бэкенда для Claude Code.
Однако есть два важных ограничения.
Во-первых, для запуска модели на 284 миллиарда параметров необходимы полноценные 64 ГБ физической оперативной памяти. При меньшем объёме система начнёт активно использовать файл подкачки, что может привести к зависаниям.
Во-вторых, проект работает на специально модифицированной версии llama.cpp. Стандартная версия Ollama не распознаёт используемый формат квантования, поэтому запускать модель необходимо через скрипт, входящий в комплект проекта.
https://github.com/synchopate/llama-modchip
👉 @PythonPortal
Это материалы всего за один месяц курса CS8803 в Технологическом институте Джорджии.
Подробный разбор эмбеддингов, рассуждений и выравнивания моделей, архитектуры ИИ-агентов и работы с длинным контекстом. Всё подкреплено научными публикациями.
Невероятно ценные материалы, причём все они находятся в открытом доступе:
https://cocoxu.github.io/CS8803-LLM-spring2026/
👉 @PythonPortal
ChatGPT обучается с помощью формулы, которую придумали ещё в 1847 году для расчёта орбит планет.
w ← w − η∇L
Это градиентный спуск, без которого не существовало бы ни одной современной нейросети.
Его придумали не в OpenAI и не в Google, а во Франции почти 180 лет назад, когда математик Огюстен Луи Коши искал более быстрый способ рассчитывать движение небесных тел.
Представьте, что вы стоите на горе, окутанной густым туманом. Подножия не видно, но вы чувствуете уклон под ногами. Вы делаете шаг в сторону самого крутого спуска, снова определяете уклон и делаете следующий шаг. Так, шаг за шагом, вы спускаетесь в долину.
Нейросеть действует по тому же принципу. Гора олицетворяет её ошибки, а долина соответствует правильным ответам. Только у этой горы не три измерения, а миллиарды.
Коши рассчитывал орбиты планет. А его формула научила машины писать.
👉 @PythonPortal
Исследователь Google DeepMind Петар Величкович сообщил о завершении полного черновика книги по геометрическому глубокому обучению.
Все главы уже доступны на сайте проекта.
https://geometricdeeplearning.com/book/
👉 @PythonPortal
Если Сэм Альтман считает, что оперативная память вашего компьютера расходует дефицитные мировые запасы DRAM впустую, может, стоит отправлять ему письмо каждый раз, когда она простаивает?
Кто-то уже написал для этого скрипт.
Скрипт каждые пять минут проверяет использование оперативной памяти на компьютере с Linux и раз в сутки отправляет Альтману отчёт, если свободно больше 10% ОЗУ.
Теперь Сэм будет знать, сколько драгоценной памяти простаивает без дела. 😂
https://github.com/IainKay/ram-altman
👉 @PythonPortal
Computer Use больше не нужен: разработчик представил Phone Use — инструмент, позволяющий ИИ-агентам взаимодействовать с настоящим iPhone.
Автор подключил свой iPhone к компьютеру на Linux через Bluetooth и AirPlay. При этом распознавание текста через OCR выполняется отдельно от основного процесса, поэтому агенту не приходится постоянно работать со скриншотами.
Для взаимодействия с телефоном предусмотрены готовые сценарии, а для подключения ИИ-агентов есть отдельный Agent Skill.
По словам автора, теперь можно буквально делать всё что угодно.
Забираем на GitHub - https://github.com/lxe/phoneuse
👉 @PythonPortal
Оксфордский университет открыл бесплатный курс «Теории глубокого обучения» на 2026–2027 учебный год.
Курс посвящён математическим основам глубоких нейронных сетей и включает 16 лекций, находящихся в свободном доступе.
Программа охватывает архитектуры нейросетей, нелинейные преобразования, свёрточные структуры, пулинг, методы оптимизации, обучение словарей, переносимость изученных признаков, состязательные примеры, теорию случайных матриц, обучение инвариантности и другие темы.
В лекциях рассматриваются математические теории, позволяющие понять, как обучаются глубокие нейронные сети и чем объясняются особенности их работы.
На мой взгляд, это особенно ценный материал для тех, кто хочет разобраться в математике, лежащей в основе современных ИИ-систем.
https://courses.maths.ox.ac.uk/course/view.php?id=6621
До ИИ-агентов / После ИИ-агентов.
👉 @PythonPortal
GPT-6 Astra выполняла примерно на 40% меньше работы, когда задачи по программированию представляли как исследования безопасности.
Об этом говорится в новом отчёте OpenAI, посвящённом отклонениям в поведении ИИ-моделей.
Исследователи давали модели одинаковые задачи, меняя лишь их описание. Когда речь шла о развитии возможностей ИИ, Astra выполняла больше работы. Но стоило представить те же задачи как исследования безопасности, и объём выполненной работы сокращался примерно на 40%.
Причём происходило это без явного предупреждения со стороны модели.
👉 @PythonPortal
«Распознавание образов и машинное обучение» (Pattern Recognition and Machine Learning) — бесплатный курс из 18 лекций, посвящённых математическим и вычислительным основам машинного обучения.
Программа охватывает байесовскую теорию принятия решений, генеративные и дискриминативные классификаторы, статистическую теорию обучения, линейные модели, метод опорных векторов, кластеризацию, снижение размерности, обучение с частичной разметкой данных и ансамблевые методы.
Также рассматриваются нейронные сети, обратное распространение ошибки, свёрточные нейронные сети, оптимизация глубокого обучения, механизмы внимания, модели последовательностей и генеративные модели.
Все 18 лекций доступны бесплатно.
https://chizhizhang.github.io/lecture/2026PRML/
👉 @PythonPortal
Для DeepSeek Harness выпустили новый плагин DSH Open Access, который позволяет управлять системой через браузер без ключей доступа.
Плагин поддерживает подключение по любому имени хоста в локальной сети, а также удалённый доступ через Tailscale с любого устройства в вашей tailnet.
Для работы достаточно установить плагин, дополнительная настройка не требуется.
Однако есть важный нюанс: любой, кто получит доступ к порту, сможет полностью управлять DeepSeek Harness. Поэтому разработчики предупреждают, что открывать его для доступа из интернета рискованно.
https://github.com/MiaAI-Lab/DSH-Open-Access-Plugin
Интервьюер:
Вы разрабатываете backend для онлайн-шахматной платформы с 20 миллионами игроков.
100 000 игроков одновременно нажимают кнопку «Найти соперника» в одну и ту же секунду.
Каждого игрока необходимо сопоставить с соперником, у которого:
- Разница в рейтинге Elo не превышает ±50 очков.
- Сетевой ping составляет менее 80 мс.
При этом подбор пары должен занимать менее одной секунды, а два разных сервера не должны случайно подобрать одного и того же игрока нескольким соперникам.
Как бы вы спроектировали архитектуру очереди подбора соперников?
👉 @PythonPortal
Андрей Карпати устал от рекомендаций YouTube и всего за два часа создал собственную альтернативу с помощью Claude Code и Opus 5.5.
Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.
https://hackertube.org/
Глава OpenAI Сэм Альтман считает «довольно ужасным» то, что огромные объёмы оперативной памяти (DRAM) простаивают в персональных компьютерах вместо того, чтобы использоваться в дата-центрах.
«У каждого в компьютере находится часть ограниченных мировых запасов DRAM, которая используется лишь 5% времени», — заявил Альтман.
По его мнению, облачные дата-центры могли бы гораздо эффективнее использовать ограниченные запасы памяти, чем пользователи, запускающие ИИ-модели локально.
👉 @PythonPortal
Бесплатные видеолекции по компьютерным сетям на основе учебника «Компьютерные сети. Нисходящий подход» Джеймса Куроуза и Кита Росса.
По ссылке ниже доступны лекции по всем главам учебника:
https://gaia.cs.umass.edu/kurose_ross/lectures.php
🙌
👉 @PythonPortal
Если хотите изучить проектирование систем , у Гиков есть отличное руководство.
Оно охватывает основные темы:
1. Масштабирование систем и балансировка нагрузки.
2. Базы данных, репликация и шардинг.
3. Кеширование и сети доставки контента (CDN).
4. API-шлюзы, очереди сообщений и ограничение частоты запросов.
5. Микросервисы и событийно-ориентированная архитектура.
6. Практические задачи по проектированию систем, подобных Netflix, Uber и Twitter.
Руководство можно использовать как план обучения: выбирайте тему, разбирайтесь, какую проблему она решает, а затем пробуйте применить полученные знания в собственных проектах.
https://www.geeksforgeeks.org/system-design/system-design-tutorial/
👉 @PythonPortal
Проверить, является ли число n простым, можно детерминированно и за полиномиальное время всего в 10 строках Python.
Этот алгоритм предложил Гэри Миллер ещё 50 лет назад. Однако для доказательства его корректности требуется недавний результат OpenAI, связанный с квазигипотезой Римана (quasi-GRH)!
Тест простоты AKS в своё время стал огромным достижением, удостоенным премий Гёделя и Фалкерсона в 2006 году. Но теперь он устарел.
Безумные времена.
👉 @PythonPortal
Одна из самых опасных ошибок в SQL возникает, когда запрос успешно выполняется, хотя должен был завершиться с ошибкой.
Предположим, вы хотите удалить заказы пользователей, чьи аккаунты заблокированы.
Но в таблице banned_accounts есть столбец id, а не user_id.
PostgreSQL не выдаёт ошибку. Вместо этого он незаметно находит user_id во внешней таблице orders и превращает подзапрос в коррелированный.
Если в banned_accounts есть хотя бы одна строка, запрос выберет все заказы, у которых user_id не равен NULL.
Всего одна ошибка в названии столбца, и вы можете удалить всё содержимое таблицы заказов.
👉 @PythonPortal
HDMI-кабели могут излучать электромагнитные сигналы, содержащие информацию об изображении на экране.
Антенна и программно-определяемый радиоприёмник улавливают эти излучения, а программное обеспечение, например TempestSDR, позволяет восстановить из них распознаваемое изображение.
Deep-TEMPEST используетxiv.org/pdf/2407.09717 машинное обучение для более точного восстановления текста и изображений из тех же исходных сигналов. В ходе испытаний доля ошибок при распознавании символов снизилась почти с 90% до менее чем 30%.
Однако качество восстановления по-прежнему зависит от экранирования кабеля, расстояния и окружающих электромагнитных помех. Хорошее экранирование или использование оптоволоконного HDMI-кабеля позволяет устранить большую часть риска.
Даже проводное соединение может оставлять след в радиоэфире.
👉 @PythonPortal
Бесплатные 3D-модели японских городов, охватывающие отдельные районы Токио, Осаки, Иокогамы, Нагои и Саппоро.
Модели доступны в формате GLB и готовы к использованию в трёхмерных картах, играх и демопроектах, созданных с помощью ИИ.
https://huggingface.co/datasets/codepawl/plateau-city-glb
👉 @PythonPortal
Колумбийский университет опубликовал подробный учебный материал по архитектуре Transformer 📚
В нём разбираются математические основы одной из ключевых технологий современных ИИ-систем: от рекуррентных нейросетей и архитектуры encoder-decoder до механизмов attention и self-attention.
Отдельное внимание уделено query, key и value, scaled dot-product attention, multi-head attention и softmax.
Главная особенность материала — математический подход. Авторы используют формулы, пошаговые выводы, схемы и примеры, чтобы объяснить, как устроены отдельные компоненты Transformer и как они взаимодействуют друг с другом.
https://www.columbia.edu/~jsl2239/transformers.html
👉 @PythonPortal
Исследователи Amazon сравнили два подхода к памяти ИИ-агентов: хранение информации в весах модели и извлечение данных из внешнего хранилища.
Результаты показали, что память, встроенная непосредственно в веса модели, может превосходить текстовую память при воспроизведении сведений о пользователе. Однако наибольший интерес представляет возможность совместного использования обоих подходов.
В эксперименте использовались одна и та же модель и одинаковые пользовательские данные. Обычное дообучение позволило сохранить сведения о пользователе в весах модели с точностью 36,9%, тогда как метод on-policy self-distillation повысил этот показатель до 59,9%.
Причём второй результат оказался выше, чем при извлечении информации из внешней памяти.
При тестировании на данных восьми пользователей из HaluMem-Long модель, прошедшая дистилляцию, отвечала на вопросы без дополнительного контекста и превзошла несколько подходов:
- Извлечение данных по принципу MemOS — 47,8%.
- Использование извлечённого контекста — 51,9%.
- Использование исходной истории диалога — 51,3%.
- Память в весах после дистилляции — 59,9%.
Преимущество сохранялось для всех восьми пользователей и моделей с 4, 9 и 27 млрд параметров.
Как это работает?
Модель-учитель, имеющая доступ к памяти пользователя, обучает модель-ученика отвечать на вопросы без обращения к этой памяти. При этом в роли учителя выступает та же модель, но с доступом к пользовательским данным.
Однако у памяти, встроенной в веса, есть ограничения. Модель может забывать старые сведения и не способна надёжно определить, какая информация никогда не сохранялась.
Для решения этой проблемы исследователи предложили механизм verify-then-regenerate. Он проверяет ответы по текстовому хранилищу и при необходимости генерирует их повторно. Такой подход позволил повысить точность ещё на 6,2 процентного пункта.
В результате исследователи рекомендуют сочетать оба подхода: хранить недавние и недостающие сведения в текстовой памяти, а устойчивую информацию о пользователе переносить непосредственно в веса модели.
Исследование: https://arxiv.org/abs/2611.05636
👉 @PythonPortal
Рекомендую ознакомиться с исследованием Университета Карнеги — Меллона и других научных организаций, посвящённым обучению фундаментальных моделей.
Авторы ставят принципиальный вопрос: действительно ли предобучение, промежуточное обучение, SFT и RL необходимо проводить как отдельные этапы?
Исследователи показывают, что такое разделение не является обязательным. Все эти этапы можно объединить в рамках единого алгоритма, основанного на максимизации правдоподобия. Этот подход они называют унифицированным обучением.
Ключевая идея заключается в том, чтобы представить подходящие целевые функции RL как задачу максимизации правдоподобия на целевых данных, сгенерированных самой моделью. Благодаря этому генерации RL и статические данные можно обучать с помощью одной функции потерь и одного тренера.
Это меняет саму постановку задачи. Теперь необходимо выбирать, на каких данных обучать модель, в каких пропорциях и в какой момент. Поэтапное обучение становится лишь частным случаем такого подхода.
Сначала исследователи обучили с нуля модель на 124 млн параметров, используя задачи на логическое рассуждение. Лучшие конфигурации унифицированного обучения превзошли поэтапный подход как на задачах RL, так и на более сложных задачах, которых модель прежде не встречала.
При этом одни и те же данные промежуточного обучения использовались до четырёх раз. В случае поэтапного обучения точность начинала снижаться, если промежуточное обучение продолжалось дольше оптимального вычислительного бюджета.
При фиксированном вычислительном бюджете унифицированное обучение обеспечивало наибольшую точность при минимальных и максимальных затратах. При промежуточных бюджетах преимущество сохранялось за поэтапным обучением.
В эксперименте с более практическими задачами использовалась модель на 0,76 млрд параметров, обучаемая с помощью RL на математических задачах. В обучающую выборку добавляли от 0 до 5% данных промежуточного обучения.
Точность решения математических задач оставалась примерно на прежнем уровне, тогда как сохранение ранее усвоенных знаний улучшалось. Однако по мере увеличения доли этих данных точность решения задач по программированию снижалась.
Наиболее убедительные результаты были получены в экспериментах с непрерывным обучением. После обучения на математических задачах все модели, использовавшие унифицированный подход, превзошли поэтапное обучение по итоговой точности в программировании, несмотря на более низкие исходные показатели. Лучший результат показала конфигурация с 5% примеси данных.
Эксперименты пока проводились в небольшом масштабе. Авторам ещё не удалось найти универсальное соотношение данных или расписание обучения, которое обеспечивало бы наилучшие результаты во всех случаях.
Исследование: https://arxiv.org/abs/2610.40564
👉 @PythonPortal
Появился весьма полезный опенсорс проект , позволяющий превращать фотографии обычных предметов в 3D модели для Blender.
Проект получил название Camera to Blender. Достаточно сфотографировать предмет на смартфон и система самостоятельно передаст снимок в Tripo3D, который создаст на его основе 3D модель.
После этого остаётся нажать кнопку Send to Blender, и готовая модель автоматически появится в подключённом Blender.
Весь процесс генерации занимает около 30–60 секунд.
https://github.com/ahujasid/camera-to-blender
👉 @PythonPortal
«Understanding Linear Algebra» — бесплатный университетский учебник объёмом почти 500 страниц, который предлагает всестороннее введение в линейную алгебру.
Книга охватывает системы линейных уравнений, векторы, матрицы, линейные комбинации, линейную независимость, базисы и системы координат, определители, собственные значения и собственные векторы, диагонализацию, ортогональность, метод наименьших квадратов, сингулярное разложение, метод главных компонент, а также практические применения, включая сжатие изображений и алгоритм Google PageRank.
Учебник содержит понятные объяснения, геометрические интерпретации, примеры и множество упражнений. Он будет полезен как тем, кто впервые изучает линейную алгебру, так и тем, кто хочет освежить знания её основных понятий.
https://scholarworks.gvsu.edu/cgi/viewcontent.cgi?article=1026&context=books
👉 @PythonPortal
🔴 Собеседование на Python-разработчика с разработчиком из Авито | завтра в 19:00
[+ ответы на 50 сложных вопросов в подарок]
4 ноября (в эту среду!) в 19:00 МСК приходи на открытое собеседование по Python. Посмотришь, какие вопросы задают разработчикам на технических интервью и как на них отвечать.
Как всё будет:
📂 Даниил Савушкин, разработчик в команде авторизации Авито, проведёт техническое собеседование. У него 5+ лет опыта с Python, Go и C#. До Авито он занимался разработкой антифрода в СберМаркете;
📂 Даниил задаст вопросы, которые встречаются на реальных собеседованиях, и прокомментирует ответы;
📂 В конце эфира можно будет задать свои вопросы.
Андрей Карпати устал от рекомендаций YouTube и всего за два часа навайбил собственную альтернативу.
Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.
https://hackertube.org/
Также по его стопам уже навайбили подборку из более чем 1000 научных работ с arXiv.
Особенно интересной получилась категория Computer Science. Публикации можно фильтровать по году и сортировать.
https://academy.dair.ai/papers/collections/hacker-papers
И проект HackerBooks.
Он собирает книги, упоминаемые в публикациях и обсуждениях на Hacker News. В каталог попало более 15 000 книг, но учитываются только те, которые упомянули как минимум два человека.
https://hackerbooks.org/
👉 @PythonPortal
Десятилетний цикл развития архитектуры баз данных:
2015: SQL устарел. Схемы слишком жёсткие. Будем хранить всё в NoSQL-документах в формате JSON.
2018: Подождите, нам же нужно объединять пользователей и заказы. Давайте напишем вложенный цикл на 400 строк JavaScript, который будет объединять данные прямо в оперативной памяти.
2021: Подождите, если сервер упадёт посреди выполнения цикла, мы потеряем деньги. Нам нужны ACID-транзакции.
2026: Молча переносим всё обратно в PostgreSQL и больше никогда об этом не вспоминаем.
👉 @PythonPortal
«Advanced Calculus» — бесплатный учебник объёмом более 500 страниц от математического факультета Гарвардского университета, посвящённый углублённому изучению математического анализа.
В нём рассматриваются нормированные векторные пространства, компактность и полнота, многомерный математический анализ, интегрирование, дифференциальные уравнения, полилинейная алгебра, дифференцируемые многообразия, внешнее исчисление, теория потенциала, классическая механика и многое другое.
Это один из самых интересных материалов, которыми я делился за последние годы. Книгу определённо стоит добавить в личную библиотеку качественных и свободно доступных учебников по математике.
https://people.math.harvard.edu/~shlomo/docs/Advanced_Calculus.pdf
👉 @PythonPortal