13017
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
QLoRa + FSDP: Finetune 70B models on Dual 24GB GPUs
Джереми пробудился! :D
Котаны из answer.ai, huggingface и Mobius Labs запилили пайплайн для народного тюна 70b моделей.
Теперь для лор не нужно 48гб VRAM, а можно разбить на 2х24 или 3х16, практически без потери в скорости.
Самое время наведаться к соседу за второй видюхой :D
Cуть подхода такова:
Берем 4-битную квантованную 70B модель, весящую 35Gb. Тренить ее саму мы не можем из-за квантования, но можем тренить ее лору. Это, собственно, и есть QLoRA.
Для этого нам все еще нужно 48Gb VRAM.
Мы можем раскидать ее на 2х24Gb GPU послойно, но тогда мы потеряем половину вычислительной мощности, так как слои будут обрабатываться последовательно. Тут-то на помощь и приходит FSDP или Fully Sharded DataParallel. Этот подход позволяет все так же раскидать слои по разным видеокартам, но обрабатывать данные параллельно, подгружая следующий слой с соседних видеокарт, пока обрабатывается предыдущий, а затем выгружая обратно.
твит
код
подробнее
@derplearning
Какието 🤡 исследователи с хабра:
Meanwhile, anthropic be like:
(Annual Salary:
The expected salary range for this position is $280k - $405k USD.)
Вакансия
Чюваки из стабилити так активно генерили очередной датасет в миджорни, что положили серваки аж на целые сутки, за что и были торжественно зобанены всем бараком
Смех да и только 😂
А если серьезно, то что это за стартап такой (с оборотами в сотни миллионов долларов), который не смог выдержать нагрузку в виде пусть даже сотни ботов, генерящих картинки?
Что касается банов, не факт, что это нарушает условия их сервиса напрямую, ведь он платный.
Больше похоже на борьбу с потенциальными конкурентами.
Твит от мж
Помните я писал про секретный анонс фичи Gemini, который никто не продвигал, был лишь один ролик? Вот тут: /channel/seeallochnaya/911, суть в том, что под каждый запрос LLM генерирует код интерфейса, в котором нужно показывать пользователю ответ, а затем уже его наполняет.
Vercel, компания, предоставляющая облачный сервис для развёртывания сайтов, обновила AI SDK до версии 3.0, добавив туда такую фичу. Формочки на демо не предзапрограммированны, а создаются на лету и могут содержать любой контент в любой форме. Думаю, что через пару лет такая персонализация будет широко распространена — особенно с учётом количества пользователей, на которых можно запускать A/B тесты и оптимизировать интерфейс до мельчайших деталей. И главное программисты, перекрашивающие годами две кнопки, будут не нужны!
Помните пару лет назад была нейронка First Order Model которая анимировала картинки по видео примерам? Ее наследие живо, встречайте Emo – качество впечатляет, теперь осталось самим потестировать
Сайт проект:
https://humanaigc.github.io/emote-portrait-alive/
Код будет позже
Генеративные модели достигли в программировании уровня сеньоров
Читать полностью…
Новое sora-видео – я листая ленту даже не сразу понял, что это генерация ☕️
Теперь OpenAI каждый день openai/">постит в тикток кстати
"OpenAI sora casually drops the most brutal trolley problem solution" 😅
Читать полностью…
Если Gemini упарывается в инклюзивность и не хочет генерить белых людей, просто попросите нарисовать славян.
Ведь в США славяне - ethnic minority :D
@derplearning
Двухчасовая лекция от ex-Tesla ex-OpenAI инженера-менеджера Andrey Karpathy про токенизацию и все её тонкости 🙂
https://www.youtube.com/watch?v=zduSFxRajkE
Репозиторий с пошаговым и хорошо прокомментированным кодом как сопроводительный материал: https://github.com/karpathy/minbpe
Если вы хотели увидеть, как GPT "читает" ваш текст, какие единицы в нём выделяет — вам сюда.
Sora: генерит ультрареалистичные видео
Will Smith: hold my beer
Норм все у мужика с самоиронией 😺
Large World Model (LWM)
Недавно выкатили модель, которая может успешно извлекать информацию из контекста в 1 миллион токенов. Это может быть полезно, например, при работе с длинными видео, чатами, книгами, кодом.
Но мы-то с вами знаем, что на самом деле модель с контекстом 1М токенов нужна для поиска по 842 additional authors not shown из пейпера google gemini.
За наводку спасибо /channel/lovedeathtransformers/7129
project
paper
git
У sora даже фейлы концептуальные.
Это вам не шесть пальцев.
Хотели сантабарбар? Их есть у нас.
Сэм Альтман вернётся в борду OpenAI.
Amazon выпустил полноценный трейлер сериала по Fallout. Премьера — 11 апреля на Prime Video.
Напомним, что над проектом работают Джонатан Нолан и Лиза Джой. Они известны по «Миру Дикого Запада».
@zavtracast
Иван Бегтин сегодня анонсировал новую платформу для поиска данных — Dateno.
Это сайт, на котором можно найти открытые данные и статистику со всего мира по поисковому запросу. На нём уже проиндексировано 10 миллионов датасетов (из них — 219 тысяч по России), а к концу года это количество планируют расширить до 30 миллионов. Можно указать тематику, язык источника, формат данных. А работает это уже лучше, чем тот же Google Dataset Search.
Портал пока находится в стадии беты, но уже работает:
https://dateno.io/
Opensource решения для достижения качества SORA
Banodoco — опенсорс сообщество, которое много раз меня вдохновляло на новые идеи в создании анимаций через AnimateDiff и Stable Diffusion Video. Недавно они написали в дискорде по поводу развития опенсоурс видеонейронок:
SORA невероятно впечатляет, но контроль является самым важным аспектом для создания великого искусства, и благодаря работе сообщества, AnimateDiff сейчас значительно превосходит по точности управления движениями.
Чтобы дальше улучшить управление в AnimateDiff и помочь в раскрытии силы/ценности художественного контроля, мы можем сделать следующее:
№1: Удвоить наше преимущество в управлении, создав открытую армию Motion LORAs.
№2: Использовать весь наш контроль, чтобы создавать удивительное работы по всему миру.
Это краткое изложение основных моментов предложения по улучшению контроля в AnimateDiff и поощрению художественного контроля с использованием нейронок и открытых источников.
https://www.wired.com/story/how-pentagon-learned-targeted-ads-to-find-targets-and-vladimir-putin/
Adtech is hell
Эппл закрыла проект собственного автомобиля и перевела сотрудников на разработку проприетарных кабелей для Vision Pro 2.
Также, возможно, не смогли пройти сертификацию из-за нахождения порта зарядки в днище автомобиля, либо из-за невозможности продавать подушки и ремни безопасности по подписке, а также из-за невозможности поменять колесо вне авторизованного сервисного центра.
/s
Chaos Next. Взрослые мальчики берутся за ИИ.
Вот интересная новость от Chaos Group - они внедряют ИИ в свои продукты. И это отличная новость - ибо помимо Unity все крупные 3Д-вендоры упрямо отмалчиваются и делают вид, что слово ИИ есть, а ИИ - нет.
Смотрите, что удумали Владо сотоварищи (дальше в порядке возрастания интересности и уникальности):
Style Transfer - тут все понятно, наваливание различных визуальных стили к рендерам на основе референсов.
Lifestyle Image - грубо говоря, генерация (и матчинг) фонов, для совмещения ваших продуктовых рендеров и окружающей среды.
Material Aging Simulator - моделирует естественный процесс старения материалов в 3D, не только для симуляции, но и для принятия проектных решений. Тут у Хаосов огромная экспертиза - я видел у них офисе многотонный сканер, в который можно присунуть кусок любого объекта - он его отсканирует и выдаст PBR-материал нечеловеческой точности.
PBR Rendering (text to materials) - это то, что также делает Юнити (писал тут) - создания сложных реалистичных PBR-материалов на основе текстовых промптов или рефов.
Smart Scene Populator - автоматическое ИИ-размещение объектов в 3D-сцене. Вот это уже интересно. Похоже на то, что делал (и делает) Прометей от Андрея Максимова, с которым мы как раз и общались про это на Total Chaos в Софии в 2018 году.
Set Extender - это как outpaunt, только полностью в 3Д(!). У вас есть 3Д-сцена, ИИ может ее достроить и расширить. Я заинтригован.
Historical Asset Learner - вот это интересная штука - 3Д-ассистент, который смотрит, что пользователь делал за последний условный год, какие ассеты пилил, и потом "предсказывает его потребности". Я заинтригован еще больше.
Intelligent Lighting Optimizer - автоматическая настройка освещения в вашей сцене!!! Ну за лайтинг-артистов.
И все это добро с Voice Interface - может орать в монитор на ИИ: "объекты создай, как я все время делаю, раскидай их по сцене, посвети как надо и привали на это модный нейролук". И кофе, без сахара.
https://www.chaos.com/next
А вот и трейлер Борды подъехал.
Если честно, у меня нет никаких ожиданий, поэтому я вряд ли буду разочарован :D
С меня хватит фирменного дурдома, ну и фансервиса.
https://www.youtube.com/watch?v=lU_NKNZljoQ
Печать Чистоты обрела новые смыслы.
Разработчики Powerwash Simulator показали трейлер дополнения по Warhammer 40,000.
DLC выйдет уже 27 февраля.
@zavtracast
Скрин из параллельной вселенной, где гугл перименовал Bard в YandexGPT :D
git
Подъехало сравнение качества генерируемых видео от Runway Gen-2 и OpenAI Sora на одинаковых промптах.
Тред в твиттере
/channel/zavtracast/24664
Не понял, где там ии, но поржал знатно.