NVIDIA предложила новую архитектуру нейронной сети под названием «нормализованный трансформатор» (nGPT), которая применяет нормализацию единичной нормы ко всем векторам, формирующим вложения, многослойный перцептрон, матрицы внимания и скрытые состояния.
Это позволяет входному потоку токенов перемещаться по поверхности гиперсферы, при этом каждый слой вносит свой вклад в смещение по направлению к целевым выходным прогнозам.
Результаты показывают, что обучение моделей nGPT объемом 0,5 млрд и 1 млрд происходит примерно в 4, 10 и 20 раз быстрее (с точки зрения токенов) на длинах контекста 1 тыс., 4 тыс. и 8 тыс. соответственно по сравнению с базовыми моделями GPT.
Разрыв в производительности между nGPT и GPT также отражается в различных последующих задачах, подтверждая, что ускорение происходит не только в сложности, но и в производительности задач.
Minimax image2video
Minimax научился делать видео из картинки. + сделали англоязычный сайт. Пока работает бесплатно
Попробовать
Тем временем в Gen 3 Alpha Turbo для всех доступна возможность загружать первый и последний кадр для генерации видео
#image2video
Нет это не новый геймплей GTA 6, а GTA 4 через ИИ фильтр в Runway ✨ похоже нас ждут нереально крутые рематсеры в ближайшем будущем 🌚
Читать полностью…/channel/notpixel/app?startapp=f434303782 телеграм бот в котором можно рисовать пикселями. На одном холсте рисует всё сообщество телеграм. Можно понаблюдать или выразить мысль. А можно поддержать то, что движет и тобой
Читать полностью…Попалось крутое видео (не обращайте внимание, что мало просмотров) про возможности o1-preview. В видео Ульф Педерсен, физик из Роскилльского университета (Дания), тестирует модель на неформализованных вопросах по физике: «Какая температура у воздушного шара?», «С какой скоростью должен вращаться барабан сушилки?» и «Сколько электричества потребляет вентилятор?». Модель формализует задачи и решает их с использованием физики, а он разбирает так, как будто это ответы его студентов (спойлер - он очень впечатлён ответами). Меня особенно впечатлило, что модель отказалась отвечать на вопрос, который не относился к физике👌Вот это уже другой уровень тестов, когда модель можно считать уверенным ассистентом, который может помогать в научных исследованиях профессору, а не просто начинающим программистом или копирайтером, а что будет через год - похоже мой любимый жанр видео будет просмотр вот таких увлечённых учёных, которые испытывают детский восторг от новых открытий🤓⚗️🧬🧫✨
Если хотите попробовать сами, то промпт в описании видео
https://www.youtube.com/watch?v=wAnkM10FByY
Netflix выкатили тизер нового сезона «Чёрного зеркала».
В сезоне будет 6 эпизодов. В касте заметили Эмму Корин, Пола Джаматти, Питера Капальди и Аквафина.
Премьера в 2025 году.
🕹КиберТопор — Подписаться
😱 Нейросеть генерирует игры с открытым миром.
Tencent представили GameGen-O — ИИ, который по текстовой подсказке генерирует бесконечный мир для видеоигры.
Вы просто управляете персонажем, а нейронка прогнозирует и создает мир на основе физики. Алгоритм был обучен на тысячах летсплеев популярных игр. Уже показали копии Ведьмака, Elden Ring и др.
👀 Код обещают выложить на Github.
⚡️ GoodbyeDPI — ВСЁ. Ускорялка Ютуба массово отваливается у пользователей из России.
Как починить:
😶Заходим в папку программы GoodbyeDPI.
😶Находим файл 1_russia_blacklist.cmd — кликаем правой кнопкой и выбираем «изменить в блокноте».
😶Ищем строчку start "" goodbyedpi.exe
-9
😶Меняем значение -9 на -7 -e1
😶Если не помогло — перебираем все значения от 1 до 9.
Вот так должна выглядеть строка после изменений:
start "" goodbyedpi.exe -7 -e1
sc create "GoodbyeDPI" binPath= "\"%CD%\%_arch%\goodbyedpi.exe\" -7 -e1
😶Оживляем Ютуб в два клика — новый способ! Выяснилось, что причина тормозов — пакеты DPI. Энтузиасты уже собрали свежайшее решение:
• Качаем новую версию проги GoodbyeDPI с GitHub
• Запускаем из архива 1_russia_blacklist.cmd
• В браузерах на основе Chrome отключаем Kyber в chrome://flags
• Всё! Все видосы снова грузятся быстро и без проблем.
На видео зарядили пошаговую установку GoodbyeDPI вручную — пробуем, если готовый пак сверху не подошёл.
На Андроид ставим прогу ByeDPI.
Наш способ №1 для фикса тормозов — тут. Пробуем всё и не сдаёмся!
👍 Бэкдор
👀 Своим глазам больше не верим: эти девушки сгенерированы в нейронке Flux, а затем анимированы в Kling.
@aiaiai
😮 Сколько-сколько, простите??? MagicLabs выпустила LLM с контекстом в 100M токенов
Это примерно 10 миллионов строк кода или 750 романов. Для сравнения, до этого рекордсменом по длине контекста был Gemini с 1M токенов, и даже это число произвело когда-то на презентации Google фурор.
Иронично, но модель называется LTM-2-Mini. LTM – это сокращение от Long-Term Memory. Эта архитектура не использует attention, и за счет этого контекстное окно в 100М ей обходится примерно в 1000 раз дешевле, чем, например, той же Llama 3.1 405B. А с памятью еще круче: если Llama потребовала бы 638 H100s на юзера только чтобы хранить KV кэш, то LTM требуется всего часть HBM одной видеокарты.
Бенчмарков пока нет, но в Magic уже заключили партнерство на кластер с Google Cloud и говорят, что прямо сейчас обучают бОльшую версию LTM-2 на суперкомпьютере 🤔
Исследователи из Google и Тель-Авивского университета разработали GameNGen — первый игровой движок, полностью основанный на нейронной модели, который позволяет взаимодействовать с игрой в реальном времени (Sora для игр). Модель способна симулировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном TPU, с качеством изображения, сравнимым с сжатием JPEG. Для обучения модели использовался алгоритм с усилением (RL-агент), который играл в игру, создавая данные для генеративной модели. GameNGen использует диффузионную модель для предсказания следующих кадров, обеспечивая стабильное воспроизведение игры на протяжении длительного времени. Эксперименты показали, что люди с трудом отличают симуляцию от реальной игры🤯
Hello future of gaming👾
Тут некая команда Nous Research разработала технологию DisTrO (Distributed Training Over-the-Internet), которая позволяет обучать большие нейросети через интернет с гораздо меньшими затратами на передачу данных между видеокартами. DisTrO уменьшает объем передаваемых данных в 1000 -10000 раз🤯 что делает возможным обучение даже при медленном интернете и разном оборудовании. Это открытие позволит исследователям и компаниям работать над созданием мощных нейросетей без необходимости в дорогостоящих суперкомпьютерах. DisTrO делает процесс более доступным и независимым от крупных игроков, открывая больше возможностей для инноваций и совместной работы (привет Nvidia)
Команда выложила предварительный отчет и планирует выпустить код и полный алгоритм позже. Это может изменить подход к обучению ИИ, особенно в распределенных сетях и на обычных ПК✨
Как говорится, Big if true, ждём дальнейших новостей от этой команды и возможно скоро все сольёмся в одну ИИ-сеть🌐
В интересное время живём🌚
fastflux.ai
Быстрый #Flux онлайн без смс и регистрации.
1 генерация 896*512 = 1 секунда.
Но совсем без настроек
Но бесплатно
#text2image
🎞 Minimax научился оживлять изображения.
Новая фича image2video позволяет делать видео из картинки. Просто закидываем изображение и добавляем текстовую подсказку.
На выходе получаем 6-секундное видео, которое почти не уступает по качеству Gen-3. Генерация занимает пару минут.
Успеваем тестить пока бесплатно ☕️
• Попробовать
#neural #нейросеть
@aiaiai
🎞 Научно-фантастическая короткометражка «Эхо».
Независимая международная студия «AIST” с русскими корнями создала короткометражный фильм о гениальном ученом, которому предстоит совершить самый сложный выбор в своей жизни.
На создание ушло 3 месяца:
— В Midjourney v6.1 было создано порядка 25000 тестовых кадров;
— Около 200 лучших изображений были оживлены с помощью Runway Gen-3 и Kling (более 3000 итераций), из них только 90 лучших вошли в финальную версию;
— Роли озвучивали реальные актеры, а музыку писал настоящий композитор.
• Автор
#подпИИсчик
@aiaiai
Ну вот, прошёл год и международная группа учёных смогла создать полную 3д карту мозга мухи дрозофилы (130к нейронов и 50 млн синапсов) ✨почему это важно? Ну с помощью исследования того как функционирует мозг мухи можно провести параллели и лучше понять как работает мышление в мозгу человека и потенциально применять открытия в новейших нейронных сетях, тем самым раскрывая секреты нашего мозга и способствуя созданию AGI 👌
https://www.bbc.com/news/articles/c0lw0nxw71po
Сэм Альман рассказал сколько стадий развития AI он видит:
- 1 уровень чат-боты: основная задача – вести простые текстовые диалоги, отвечая на запросы пользователей.
- 2 уровень AI с рассуждением: способеность анализировать и делать выводы на основе сложных данных. Этот уровень достигнут в настоящее время (модель o1).
== Мы находимся здесь! ==
- 3 уровень агенты: AI может принимать активные действия, работая автономно для достижения целей, поставленных пользователем.
- 4 уровень инноваторы: AI способен генерировать новые научные открытия и находить решения для ранее неизвестных проблем.
- 5 уровень полноценные организации: AI управляет целыми организациями и принимает решения на уровне структуры.
Переход от второго к третьему уровню ожидается в ближайшее время, что значительно ускорит дальнейшее развитие технологий ИИ.
Но кажется, что большинство людей на планете не освоили даже 1 уровень.
Само видео доступно тут (Сэм начинает говорить с 51 минуты)
ИИволюция
Простенький видеохостинг в телеге /channel/coub/app?startapp=coub__marker_18562887
Читать полностью…Эммм... Google DeepMind только что математически доказали, что трансформеры могут решить любую задачу, если им разрешено генерировать столько промежуточных шагов рассуждений, сколько необходимо. Удивительно, но для этого достаточно постоянной глубины модели» То есть они уже создали AGI (локально)? только нужны мощности для бесконечных цепочек размышлений как у o1-preview??🤯 Думаю Google как раз-таки могут позволить такие мощности для своего внутреннего ИИ🌚 fkin shiet, мне кажется или мы ускоряемся уже каждый день? видимо ответ Google на релиз gpto1 будет мощным🦾
Читать полностью…👩🚀 Gen3 выпустили Video-to-Video — новый уровень генерации видео!
Доброе утро 🙂 Вышло свеженькое обновление от Runway — теперь можно загружать не только картинки, но и видео до 10 секунд для генерации контента.
Под капотом — что-то вроде ControlNet, который отлично сохраняет геометрию и мельчайшие детали. Вы можете редактировать видео с помощью промта, чтобы изменить стиль, детализацию, освещение, тени и даже движения!
Gen-3 Alpha Video-to-Video уже доступен для всех платных планов. Всё, что нужно: загрузить своё видео, добавить подсказку или выбрать стиль из коллекции предустановок.
Примеры ищите выше 👆
@tips_ai #news
Классный пример txt2video эмоций – кожаных актеров уже перегнали
Промпт:Крупный план женщины через плечо, сначала она смеется, потом грустит, потом начинает плакать, потом закрывает лицо руками
Сделано в этой нейронке:
https://hailuoai.com/video
🤯🤯🤯
Reflection 70B (улучшенная LLaMA) — новая открытая LLM, которая по показателям превосходит GPT-4o и Claude 3.5 Sonnet 🔥Она лидирует в тестах MMLU, MATH и GSM8K. В основе модели лежит техника Reflection-Tuning, которая помогает модели распознавать и исправлять свои ошибки. Это также усиливает её способности планирования и улучшает логическую последовательность ответов. Вес модели доступен на Hugging Face.
На следующей неделе обещают зарелизить Reflection-405B, которая составит конкуренцию ещё невышедшим closed models🔥 (выход gpt-next через 3..2..1..)
Тестим! https://reflection-playground-production.up.railway.app/
UPD
Как и ожидалось сервер положили быстро, буду пробовать завтра
ACCELERATE ⚡️
У CEO Anthropic Дарио Амадея вышло новое интересное интервью. Краткое содержание:
➡️ По мнению Дарио, в будущем большие и мощные ИИ-модели будут порождать и координировать более мелкие для помощи в выполнении задач. Этот процесс будет похож на создание роевого интеллекта, и необходимость человеческого участия в нем будет близка к нулю.
➡️ Если масштабирование не выйдет на плато и мы не наткнемся на ранее не учтенные трудности, то, учитывая реалии, модель стоимостью 100 миллиардов долларов должна иметь интеллект уровня лауреата Нобелевской премии.
➡️ Ну и классика: ИИ может увеличить скорость научных открытий в 100 раз. Тем самым мы можем пройти путь, соразмерный прогрессу 20-го и 21-го века вместе взятых, всего за несколько лет.
Полностью интервью можно посмотреть здесь
Первая в мире онлайн-платформа, предоставляющая доступ к биологическим нейронам in vitro!
Может быть, у NVIDIA появился новый конкурент, разрабатывающий процессоры на основе органоидов человеческого мозга?
FinalSpark начал предлагать платный ($500 за пользователя в месяц) круглосуточный удаленный доступ к своим биопроцессорам, которые, как говорят, имеют в миллион раз большую энергоэффективность по сравнению с цифровыми процессорами. Это также может помочь сэкономить энергию при обучении ИИ.
Компания Anthropic объявила о полном выпуске функции Artifacts для всех пользователей Claude, включая мобильные приложения.
Это значит, что теперь пользователи могут создавать артефакты прямо на своих телефонах.
Flux бот бесплатно
Подписчик собрал бота flux schnell + llama3.1 8b 16FP
Под капотом ComfyUI с самописным API для внешнего сервиса. Поднял хранилище для картинок чтобы отдавать оригиналы. llama рядом на другом сервере улучшает промпт. Или может сгенерить вам рандомный промпт.
Сейчас бот работает на потребительском железе, падает и ошибается. Зато все бесплатно и прямо здесь в телеге. Поддержите товарища лайком и положите ему бота)
#flux
⚡️ Сервис ChatHub — сразу все текстовые нейронки в одном месте
ChatHub позволяет работать со всеми нейросетями одновременно и выбирать лучший ответ. Кроме того, есть огромная библиотека с промтами под разные задачи.
И всё это бесплатно!
Сохраняем и пользуемся ☕️
#soft #nn