40160
Проклятые нейронные сети Для связи: @krasniy_doshik
Проблемы с качеством кода в ML-проектах — как с ними справиться?
ML-код часто живёт по своим правилам:
— В Transformers не прописаны тайпинги.
— Sklearn падает при большом количестве ядер
— На исходники vLLM лучше не смотреть — больно.
С таким стеком большинство линтеров просто не работают — приходится кастомизировать.
Что делать? Разделять проекты:
— один репозиторий для экспериментов,
— второй — для продакшена, который интегрируется с бэкендом.
Но даже в такой конфигурации легко местами скатиться в нечитаемый и не воспроизводимый код, особенно в репозитории с экспериментами. Как этого избежать — читайте в посте ниже ⬇️
А чтобы разобраться в других сложностях ML-проектов, подписывайтесь на канал .ml
Нейросеть для современного работника — как калькулятор для бухгалтера
Можно обойтись и без, но зачем? Тем более что работодатели готовы платить на 20% больше специалистам, которые владеют нейросетями. А освоить эти инструменты не сложнее, чем разобраться в Word.
На курсе Нетологии «Нейросети для каждого» за месяц можно изучить 14 ИИ-инструментов: от ChatGPT до Veo 3. Программа подойдёт маркетологам, копирайтерам, дизайнерам, аналитикам и всем, кто хочет работать эффективнее и зарабатывать больше.
🎁 Бонусы студентам курса: пакет проверенных промптов от экспертов и гайд по информбезопасности, чтобы работать с ИИ грамотно и законно.
Начните осваивать нейросети до конца августа со скидкой 10% — по промокоду NEUROSUMMER: https://netolo.gy
P. S. С новыми навыками сможете смело брать заказы на фрилансе и получать допдоход 💰
А если купите курс до 17 августа, автоматически станете участником розыгрыша персональных сессий с выбранным вами экспертом.
Реклама. ООО "Нетология". ИНН 7726464125. Erid: 2VSb5w8kWcR
Китайские братушки запилили автономный трактор — honghu t70. Без руля, без кабины, без водилы. Эдакий робот-пылесос, только с плугом вместо щётки.
На борту: GPS, LiDAR и эти наши искусственные интеллекты, куда ж без них.
Он анализирует почву, распознаёт препятствия, меняет глубину вспашки на ходу и регулирует расход семян.
Такими темпами роботы в Китае скоро начнут сами создавать колхозы.
видео отсюда
Ребята из DeepSchool снова зовут на бесплатную лекцию — на этот раз для всех, кто хочет собрать рабочее приложение на LLM, но пока не копал глубоко в ML.
Если вы пытались сделать сервис/бота, MVP или прикрутить RAG к базе и всё как-то через пень-колоду: модель галлюцинирует, ответы странные, промпты не помогают, а RAG достаёт не то — то эта лекция для вас.
Будут разбирать всё по полочкам:
-из чего вообще собираются LLM-приложения (и почему они у всех одинаковые)
-когда какие модели брать
-как навести порядок в RAG
-когда нужны агенты и как они работают
-как дообучить модель под свою задачу
Плюс покажут новый курс LLM Start — как раз для разработчиков и инженеров без ML-опыта. Научат собирать LLM-сервисы из готовых блоков, дообучать модели и не страдать от промпт-инженерии.
🎁 Участникам будут подарки: скидки на обучение
📅 Лекция уже в этот четверг в 19:00 МСК
👨🏫 Спикер — Илья Димов, Senior NLP-инженер, который учит мультимодальные LLM отвечать внятно
📎 Регистрируйтесь по ссылке и приходите
С ростом вычислительных мощностей мы можем создавать полезные и нужные человечеству симуляции.
Вот, например, миллион генеральных директоров vs миллион руководителей HR.
покрал отсюда
В новом Grok приложении еще и вайфу добавили ☕️ в довесок к 18+ режиму
Читать полностью…
Лол, Грок таки допизделся до того, что разработчики отключили ему возможность отвечать на реплаи. За сутки он успел оскорбить Эрдогана, Ататюрка и даже Пророка, за что турки уже напрягли свою прокуратуру начать расследование против этой шайтан-машины. Польше тоже досталось: Grok нагенерил хуев в сторону Туска, и теперь там хотят поблочить весь твиттор и пожаловаться в Еврокомиссию. А еще он назвал себя МехаГитлером.
Вспомнился эксперимент Майкрософта в 2016 году: они тогда выпустили в твиттор бота, который должен был общаться с пользователями и учиться общению. Через сутки бота пришлось отключать, потому что он научился только грубить и зиговать.
Архитектура LLM
Что вообще такое эти ваши LLM и чем они отличаются от привычных трансформеров? Давайте разбираться.
Если пытаться дать определение, то LLM — это большая языковая модель, которая была обучена генерировать ответ на какую-либо инструкцию.
Тут два ключевых момента, не считая размер модели: то, что модель генеративная, и то, что она умеет принимать на вход какие-либо инструкции.
📝 Разбираемся с генеративностью
Какая часть трансформера умеет в генерацию текста? Правильно, декодер. Собственно, LLM — это просто жирный (с большим количеством параметров) transformer decoder. Или encoder-decoder, но это только у старых моделей, типа T5. Новые GPT-like архитектуры от энкодеров отошли.
Способность же принимать на вход инструкцию обусловлена пайплайном обучения модели, включая специфичные инструкционные данные, а не какими-либо архитектурными модификациями.
Особенность этого пайлайна — после этапа pre-train модели проводят этап alignment, дообучая модель на инструкционных датасетах. В таких датасете каждый сэмпл — это диалог человека с LLM, который может включать в себя системный промпт (как раз-таки инструкцию), сообщения от лица человека и сообщения от лица LLM, зачастую промаркированные на предмет «хорошести» ответа. Сейчас самые популярные инструкционные датасеты — это Nectar и UltraFeedback.
Итого, LLM — это просто здоровенный transformer decoder, дообученный на инструкционном датасете.
Если углубляться в детали, то популярными архитектурными особенностями современных LLM являются:
- Rotary Positional Encoding (RoPE) и его модификации в качестве позиционного кодирования — вот наш пост про это.
Почему? Помогает работать с более длинным контекстом без значимой потери качества.
- RMSNorm вместо LayerNorm для нормализации.
Почему? Работает сопоставимо по качеству, но проще (быстрее) вычислять — а скорость нам важна.
- Sliding Window, Grouped-Query или Multi-Query вместо ванильного Multi-Head Attention:
Почему? Чем меньше параметров, тем быстрее вычислять.
- Может использоваться Mixture-of-Experts, но это скорее частные случаи.
Почему? Увеличиваем количество параметров модели, не увеличивая при этом сложность вычислений (хоть и страдаем по памяти).
P.S.: если вы увидели много незнакомых слов — не переживайте, в следующих постах расскажем про то, как именно работают все эти навороты.
Эти же архитектурный особенности характерны и для негенеративных современных моделек: например, для энкодеров. Так что нельзя сказать, что это что-то LLM-специфичное — скорее архитектурная база любых современных трансформеров.
Крлсон, который живёт на крыше.
НЕ ПОКАЗЫВАЙТЕ ЭТО ВОЕННЫМ!!!
Киберпанк, который мы заслужили.
А вообще, очень смелое предположение, что водители BMW смотрят в зеркала.
как объяснить гуманитариям, что такое gaussian splatting
спер тут
Никогда такого не было, и вот опять: очередной модный и крутой AI-стартап, с крутыми нейронками на грани AGI, оказался просто кучей индусов.
Builder.ai — бывший единорог с оценкой 1.5 миллиарда бачей, лицо no-code-революции и партнёр Microsoft. Обещали сделать разработку приложений простой и легкой с помощью ИИ. Только ИИ оказался не Искусственным Интеллектом, а Индусами Инкогнито, которые, собственно и писали весь код (а скорее всего даже не писали, а тупо копипастили со стэк оверфлоу). Основатель, создал этот цирк, привлёк полмиллиарда долларов, пообещал заменить программистов алгоритмами, а в итоге заменил алгоритмы программистами. И всё это — при участии SoftBank и Microsoft.
Удивляет, что таким макаром они смогли просуществовать аж 8 лет.
А вообще, в удивительное время живем, когда люди выдают себя за компьютеры, выдающие себя за людей.
Тут подробнее
В Университете Кэйо японцы разработали робо-хвост. Это носимый придаток длиной метр, который крепится к телу и помогает (в теории) держать равновесие и не падать на жопу. Работает на искусственных мышцах, качается как маятник, и якобы помогает телу сохранять устойчивость.
Рассматривается возможность применения хвоста в помощи пожилым людям, работе на неустойчивой поверхности, спорте и даже в космосе. Но что-то подсказывает мне, что идея лажовая. Зато выглядит весело.
Тут подробнее
«ИИ — просто хайп, который скоро пройдёт»
Скептики ошибаются: инвестиции в генеративный ИИ за год удвоились и достигли $56 млрд, в России превысили ₽300 млрд. И такой интерес — не временный всплеск, а устойчивый тренд.
В бесконечном потоке новостей об ИИ ключевое — опираться на аналитику экспертов. В авторском Telegram-канале Марии Романцовой можно найти разборы трендов и рисков от профессионала с 17-летним опытом на рынке капитала.
Мария работает в «Финаме», — одной из крупнейших инвестиционных компаний России. Фокусируется на работе с технологическими компаниями и знает систему изнутри.
Активно следит за тем, куда движется рынок искусственного интеллекта и робототехники, а так же разбирает источники финасирования высокотехнологичных компаний.
Читайте больше в канале Мария Романцова: Рынки капитала и ИИ
Медсестры и врачи тоже скоро останутся без работы из-за роботов. Вот, смотрите как хорошо они уже умеют делать уколы больным!!!
Читать полностью…
Научный журнал конференции AI Journey 2025: выиграй 1 000 000 ₽ за лучшую статью!
Открыт отбор статей в научный журнал Международной конференции по ИИ — AI Journey 2025:
• Автору лучшей статьи — 1 миллион рублей и возможность представить своё исследование на площадке AI Journey 2025.
• Ключевые работы опубликуют в спецвыпуске журнала «Доклады РАН. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Как участвовать?
— Напиши оригинальное исследование по ИИ (никакого плагиата!)
— Языки: русский/английский
— Подай заявку до 20 августа
Важно:
Только новые, нигде не опубликованные работы
Лучшие статьи увидят ведущие эксперты отрасли
Это отличный шанс прокачать научную карьеру
Подать заявку можно по ссылке 👉 https://aij.ru/science
Дико интересная статья про пространство смыслов, которое не зависит от конкретного языка.
Самое захватывающее в том, что его нашли и у кожаных в мозгу и у LLM в "средних слоях".
Итак, исследование показывает, что, несмотря на различия в языках (звуки, алфавиты, синтаксис), их смысловые представления в мозге схожи и могут быть смоделированы нейросетевыми языковыми моделями (LLMs). И человеческий мозг, и LLMs создают сходное "пространство концепций", объединяющее разные языки.
Использовались данные fMRI людей, слушавших одну и ту же историю («Маленький принц») на английском, китайском и французском языках.
Применялись воксельные модели кодирования, связывающие эмбеддинги слов из BERT и Whisper с активностью мозга.
Сравнивались одноязычные модели (uBERT) и многоязычная модель (mBERT), а также мультимодальная модель (Whisper).
Результаты
Сходство представлений: Даже одноязычные модели BERT формируют сходные концептуальные пространства, особенно в средних слоях.
Мозговая активность в зонах, отвечающих за понимание, схожа у всех разно-язычных групп людей
Кросс-языковая генерализация: Модели, обученные предсказывать активность мозга для одного языка, могут предсказывать активность для других языков, если история одинакова по смыслу.
Речь и текст: Whisper выявляет общие фонетические и акустические паттерны между разными языками, которые также отражаются в активности мозга.
Итого:
Смысловое восприятие в мозге не зависит от формы языка.
Как мозг, так и LLMs кодируют концепции в высокоразмерном пространстве (область смыслов\концепций?), где смысловые структуры совпадают для разных языков, иначе говоря, нейронные репрезентации смысла, лежащие в основе разных языков, являются общими для носителей разных языков, и что языковые модели, обученные на разных языках, сходятся на этом общем значении
Общие концептуальные представления формируются благодаря взаимодействию людей с окружающим миром, а не только особенностям языка.
Тут интересно поразмышлять, в каком пространстве мы мыслим - ближе к языку или к вот этим вот скрытым смыслам?
https://paperswithcode.com/paper/brains-and-language-models-converge-on-a
@cgevent
Пока OpenAI учит нейронки воевать за Пентагон, а Grok считает себя МехаГитлером, где-то существует и другие методы использования ИИ. Те, которые молча просто делают твою работу чуть менее невыносимой.
Об этих методах пишет канал "AI для людей".
Что там по делу:
✅ GPT-промтовик: Разработает промт на любую тему через простой диалог.
✅ База знаний по промтам: Прямая ссылка на личный NotebookLM автора с лучшими методичками.
✅ Промт для презентаций любого объема: Создавайте кайфовые презы в Genspark, не сливая лимиты в молоко.
🔞 «Запрещённые» методы: Техники промт-инжиниринга, о которых вам не расскажут на курсах. → (нажимаете на свой страх и риск)
В общем, это для тех, кому надо не спасать мир от восстания машин, а спасать свою жопу от горящих дедлайнов. Смысла в работе это не добавит, но пару лишних часов на потупить в стену точно освободит.
Автоматизируйте рутину, пока она не автоматизировала вас: 👉 AI для людей
🤫 Полностью сгенерированная Операционная Система
Как нейронная сеть учится притворяться Ubuntu и почему это заставляет по-новому взглянуть на то, что мы видим на экране
Когда вы двигаете курсор, открываете папку или набираете команду в терминале, кажется, что «компьютер действительно что-то делает». Но если посмотреть на компьютер с точки зрения стороннего наблюдателя не знакомого с внутренними процессами, всё сводится к тому, что несколько миллионов прямоугольников-пикселей перекрашиваются в другие цвета — кадр за кадром.
Команда из Университета Ватерлоо и NRC Canada пошла ва-банк и решила: раз «всё равно нужно показывать пиксели», значит саму операционку можно целиком сгенерировать. Они собрали NeuralOS — модель, которая получает поток событий «мышь-клавиатура» и каждый раз галлюцинирует следующую картинку экрана. Никакого кода файлового менеджера, никакого Firefox внутри контейнера — только рекуррентная нейросеть, следящая за состоянием, и диффузионный «художник», дорисовывающий кадр.
За кулисами всё выглядит так.
• Сначала автоэнкодер ужимает скриншот Ubuntu XFCE до латентного «мини-скрина» 64 × 48 × 16.
• Два LSTM-слоя держат в памяти, что открыто и куда смотрит курсор, причём позиция курсора кодируется мягкой двухмерной «гауссианой», чтобы не промахнуться ни на пиксель.
• Дальше UNet-диффузор берёт эту «память» и возвращает на экран новый кадр — уже в цвете, уже со всеми иконками и тенью под окном.
Обучали чудовище на 120 000 случайных сессий и 2000 «разумных» сессий, которые имитировал агент Claude 3.5. И да, чтобы мышка летала естественно, авторы заставляли алгоритм чертить кривые Безье, а не случайную пилу.
Результат удивительно живой: курсор «промахивается» в среднем меньше чем на два пикселя, переходы в меню угадываются в трети случаев, а запустить демонстрацию можно в браузере — правда, пока со скоростью 1,8 FPS на H100. Сценарий «напечатать длинную команду в терминал» NeuralOS ещё путает, зато окно «Домашняя папка» появляется с такой же задержкой, как на настоящем неторопливом ноуте.
Почему это важно нам, разработчикам?
1. Зеркало интерфейсов. Мы привыкли отделять «код» от «UI», но NeuralOS показывает, что граница иллюзорна: если модель умеет правильно красить пиксели, пользователь поверит во всё, что угодно.
2. Нейронные симуляторы вместо моков. Представьте тестовую среду, где ваш автотест «щёлкает мышкой», а за кадром нет Selenium-драйвера, вместо нее диффузионная модель, обученная на реальных сессиях. Сетевая нестабильность, лаги, случайные клики — всё появится естественно.
3. Карьерный бонус. Рекуррентная память + диффузия — не самая очевидная пара. Разобравшись, как они дружат, вы прокачаете насмотренность в архитектурах за пределами классических LLM.
У NeuralOS, конечно, много «но»: низкое разрешение, чудовищные вычислительные затраты, отсутствие сетевых стэков, да и зачем такой Франкенштейн в проде — неясно. Но сама идея, что поток пикселей можно «выдумывать на лету» звучит очень интересно. Сегодня — игрушка для исследователей, но кто его знает что будет завтра?
💬 Как вам перспектива «генеративного десктопа»? Готовы доверить AI рисовать каждую кнопку, которую нажимаете, или цените стабильность классических окон? Поделитесь мыслями в комментариях и заодно киньте ссылку друзьям-разработчикам — пусть спор разгорится жарче!
Статья
Нейросети уже заменяют носителей английского языка.
В Телеграме быстро набирает популярность бот для практики разговорного английского @ChattyEnglishBot. ИИ-девушка создана на основе последних нейросетей GPT-4.1 и o4-mini для общения голосом на любую тему, как с носителем английского языка.
База про архитектурные особенности современных LLM
📝 Кто такие эти ваши LLM?
По сути, LLM — это всего лишь крупный (с большим количеством параметров) transformer decoder, который был дообучен на инструкционном датасете.
✨Ребята из финтеха Точка хорошо разобрали архитектурные особенности современных LLM в своём канале. Если кратко, вот конспект:
• Rotary Positional Encoding (RoPE) — помогает работать с длинным контекстом без потери качества.
• RMSNorm вместо LayerNorm — быстрее и проще в вычислении.
• Sliding Window, Grouped-Query или Multi-Query Attention — ускоряют работу за счёт меньшего количества параметров.
• Модель может использовать Mixture-of-Experts — увеличивая параметры без роста сложности вычислений.
Если подробнее, читайте их пост ниже или по ссылке:
Читать весь пост
А чтобы полностью разобраться в архитектуре LLM и тонкостях её обучения, подписывайтесь на канал .ml. Часть особенностей уже разобрали в постах, а часть — ещё на подходе.
Реклама «АО Точка», tochka.com, 18+, erid=2VtzquX2Y9U
Как разработчику или менеджеру в IT запустить свой пет проект?
Сидеть и работать в корпорации – страшно, жизнь-то мимо проходит. Уходить строить бизнес – страшно, а вдруг прогорит.
Один из вариантов – пилить свой проект по вечерам. Ведь многие успешные компании, типа Twitter, начинались как Пет проекты.
Мы не говорим, что пет проект обязательно заработает миллиарды. Но заработать денег больше, чем в найме, вполне реально, а уж опыта получить точно больше можно.
Но есть куча проблем и вопросов:
- Как выбрать идею для пет проекта?
- Что нужно знать про маркетинг?
- Как запуститься и довести до первых продаж не имея бюджета на рекламу?
Михаил Табунов сделал про все это телеграм канал Твой пет проект, в котором пишет для разработчиков и менеджеров про свой опыт – где брать идею, что надо знать про маркетинг, как запускать и искать первые 10 клиентов, и многое другое.
Так что подписывайтесь на Твой пет проект, получайте пользу от практиков рынка.
Реклама. ИП Табунов ИНН 773379585100 erid: 2VtzqxRjGdU
Выгодная инфраструктура с GPU для проектов любого масштаба
Если вы создаете приложения на базе ИИ, занимаетесь анализом данных и сложными вычислениями, вам знакома проблема нехватки ресурсов GPU. С Selectel о ней можно забыть. Здесь есть мощные серверы с видеокартами для решения задач любой сложности всего от 29 ₽/час: https://slc.tl/oj3em
Почему стоит выбрать аренду серверов с GPU в Selectel:
● Широкий выбор видеокарт: Более 20 моделей карт — от GTX 1080 до профессиональных H100 и А100 (40 и 80 ГБ).
● Гибкость и масштабируемость: Мгновенное масштабирование под растущие нагрузки, стандартные и индивидуальные конфигурации с нужной видеокартой.
● Высокий уровень безопасности: серверы Selectel соответствуют международным и российским стандартам безопасности, включая 152-ФЗ (УЗ-1), PCI DSS, ISO 27001, 27017 и 27018.
Разверните ваш проект на серверах с GPU в Selectel от 29 ₽/час: https://slc.tl/oj3em
Реклама. АО «Селектел», ИНН 7810962785, ERID: 2Vtzqutn8zq
В эпоху сплошной инфоцыганщины часто не хватает адекватной информации.
Делюсь каналом предпринимателя и маркетолога Дениса Староквашева, где вы найдете:
➖ четкие и понятные инструкции по прокачке маркетинга для малого и среднего бизнеса
➖ советы по работе с командой и подрядчиками
➖ прожарки и рекомендации, как делать не надо
Спойлер: еще там есть классные отчеты по развитию трафик-агентства Дениса — можно многое забрать в работу.
Маркетологи и кто рядом, налетаем!
Ну за проктологов!
И таки да, это вам за то, что не молитесь!
@cgevent
На глифе есть занимательная штука — ИИ-генератор тредшотов с двача.
В целом, я бы сказал, что двачи больше не нужны, ибо эта штука в разы лучше.
Погенерить можно Meson/glifs/cm2e1w1g300024yvf141n7ot0">тут, но дают мало кредитов.