13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
В комментах попросили поделиться вариациями инфернальных жоп, которые не вошли в финал. Показываю 😍.
Читать полностью…
Охуеть! Клонирование голоса всего по трем секундам эталонной записи. Плюс обещают, что не жрет кучу ресурсов и можно запускать чуть ли не на домашней пекарне.
Сам ещё не смотрел как оно работает, надеюсь ночью глянуть.
Исходники открыты и лежат тут
Phind продолжают тюнить CodeLlama.
Выложили Phind-CodeLlama-34B-v2,
которая умеет в Python, C/C++, TypeScript, Java и заявляет 73.8% pass@1 на HumanEval
Репо
Пока качается TheBloke/Phind-CodeLlama-34B-Python-v1-GGUF (а говорили, щто умер :D), попросил масенький TheBloke/WizardCoder-Python-13B-V1.0-GGUF сгенерить мне змейку.
Удалось с 99% успехом (перепутаны направления и забыл запустить main()), но в остальном все работает.
Prompt:
I need you to write 1 piece of python code for a functioning game of snake. Make sure to fill every line of code completely, do not leave any place holders, as logic for the code must be thought of now and implemented in this generation.
Make sure the game have a window to play in, has proper working food for the snake to collect, has the ability for the snake to eat the food and grow from the eaten food, has the ability for the snake to die from running into itself or the border of the window, and has a restart button once the game is over to play the game over again.
Make sure the game has a simple visual graphical interface for the user to see when playing, you will have to code this yourself. Absolutely make sure everything mentioned in the code is written, do not leave a class that is mentioned somewhere but not written out properly elsewhere Please follow this format when writing the code:
FILENAME
CODE
Наткнулся на сообщение СЕО конторы где я работал, из которого узнал, что компания проинвестировала в молодых и перспективных стартаперов. Команда на фото
Читать полностью…
Выкатили CodeLLAMA
7/13/34b, code continuation/infilling, instruct/chat models.
Заявляют SOTA среди опенсорс-моделей. Штош, будем посмотреть :D
Github
Paper
Blog
Эксель ячейки раньше: =SUM(
Эксель ячейки сейчас: import pandas as pd
Зубная щётка записала нейрокавер на Gangsta's Paradise. Получился шедевр.
Читать полностью…
BlenderXEbsynthXStableDiffusion
Художник Kwang тестирует возможности KenTools с треккингом головы. Выглядит впечатляюще, генерация сидит как вторая кожа.
Интересно, что автор не использует для дефликера DaVinci или Topaz, такой результат дает только трекинг Blender и Stable сверху.
На тест трекинга открыта бета, можете подать заявку на сайте
Спасибо за ссылку StLaurentJR
Тутор от corridor digital, чтобы варпить like a boss
https://www.youtube.com/watch?v=FQ6z90MuURM
Были prompt engineer, теперь warp artists, что дальше? Average diffusion enjoyer? :D
Qwen-VL: вероятно лучшая мультимодальная языковая модель (by Alibaba)
Мало того, что по текстовым метрикам Qwen-7b превосходит LlaMa2-13b, так ещё и картинки теперь понимает!
Правда архитектурно ничего нового тут нет:
ViT-G + однослойный Q-former + LLMИзображения сжимаются в 256 эмбеддингов, которые идут прямо в контекст языковой модели (как во FROMAGe). Дополнительно Qwen-VL умеет в object detection — bbox'ы подаются и генерируются как обычный текст.
Phind оказался ленивее меня и написал скрипт для этого
Читать полностью…
Когда попросил переписать код без использования numpy:
###Instruction:
rewrite this code to use pytorch only, no numpy
def forward(self, frame1, frame2):
# Convert the frames to numpy arrays for processing
np_frame1 = cv2.cvtColor(frame1.cpu().numpy(), cv2.COLOR_RGB2HSV)
np_frame2 = cv2.cvtColor(frame2.cpu().numpy(), cv2.COLOR_RGB2HSV)
# def forward(self, frame1, frame2):
# # Convert the frames to numpy arrays for processing
# np_frame1 = cv2.cvtColor(torch.clone(frame1).detach().cpu(), cv2.COLOR_RGB2HSV)
# np_frame2 = cv2.cvtColor(torch.clone(frame2).detach().cpu(), cv2.COLOR_RGB2HSV)
🔥3D Gaussian Splatting for Real-Time Radiance Field Rendering
На видео - результат работы алгоритма, использующего снимки с дрона для реконструкции 3D сцены. Можно летать в ней риал-тайм.
Это стало возможным благодаря тому, что недавно переизобрели новый "старый" метод нейронного рендеринга.
Используя видео с помощью Structure from Motion (COLMAP) извлекается облако точек, затем по облаку инизиализируется набор маленьких полупрозрачных гауссиан. Эти гауссианы затем оптимизируются чтобы после рендеринга максимально точно восстанавливать оригинальные кадры. Все, ваша 3д-сцена готова.
То есть это никакой не Nerual Radiance Field. Тут все гораздо проще. За счет простоты эта штука и обучается, и рендерится довольно быстро. А назвал я этот метод новым "старым", потому что это до боли напоминает работу 2019 года Neural Point-Based Graphics (я писал о нем тут), где похожим образом для каждой точки обучался небольшой плоский элипсоид.
Сайт проекта
Код (можно запустить на своих cценах)
@ai_newz
На неделе, от Meta, вышла новая серия «больших языковых моделей» — которая позволяет генерировать код по текстовому запросу, ну, как многие это делали в ChatGPT.
Поскольку темпы в нашей индустрии невероятные, модель подхватили в сообществе, и уже через пару дней опубликовали дообученные версии (общей направленности, и отдельно дообученную модель для генерации Python кода). Что интересно, сделали это несколько разных команд, и обе получили результаты в спец тесте чуть выше, чем есть сейчас у GPT4 в генерации кода (1, 2).
Я такое очень люблю, локальные языковые модели на базе llama2 это:
— Хорошая лицензия для бизнеса: то есть можно прикручивать в стартапы;
— Безопасность: я точно знаю, что сотрудникам крупных компаний запрещают отсылать в ChatGPT корпоративные данные, локальные модели это обходят, так как никуда данные не отправляют и процессят их только на устройстве;
— Гибкость: модель можно дообучить, играться с параметрами или можно передать негативный промпт и снять с нее цензуру (тут я написал небольшую инструкцию как этого добиться), или заставить отдавать только строгий JSON формат и тп.
— Это дешевле в частном использовании: не все готовы отдавать по $20 в месяц за GPT4, так как могут учиться программировать, не обладать лишними деньгами и тп.
Поэтому я сразу побежал играться с этой моделью, с конкретной задачей — мне лениво пытаться самому понять, что делают некоторые скрипты (скрипты умнее меня), поэтому я прошу языковые модели конвертировать код в обычный текст.
Для тестов я взял исходный код древнего вируса Чернобыль (CIH), тот самый, который с 1998 вывел из строя 600 миллионов компьютеров, и нанес ущерба на 35 миллионов долларов.
Если откроете ссылку, то увидите что кода довольно много, а каждая языковая модель ограничена на входе размером текста который она может принять на вход (например, модель в которой я тестирую, была натренирована на 4K токенов, что примерно ~2800 слов) — поэтому пришлось насильно расширить контекстное пространство до 16K токенов (спасибо GGUF, не реперу, а новому формату llama.cpp который специально создан, чтобы упростить жизнь для работы с большим контекстом). Короче, спустя пару минут шумящего компьютера я получил описание того, что делает вирус, простым языком, и без всякого интернета 🫣
Дальше планирую с помощью модели порешать разные задачи которые встречаются в работе продуктолога: процессинг данных о использовании сервисов, написание запросов и тп, с GPT4 я уже довольно много всего наделал работая с данными, теперь интересно попробовать что же умеет делать GPT-дома.
☆ Модель с которой я игрался (34B)
☆ Скрипт которым запускаю инференс (Mac)
TL;DR: Жесть мы в будущем, теперь без интернета можно писать и дебажить скрипты
@Denis
вокруг ComfyUI - ажиотаж
для пользователей WarpFusion Дерп Лернинг запилил эксплейнер на комфи с наглядным объяснением процессов аккуратной стилизации видео. и похоже что нас ждет Comfy версия варпа!
если по началу комфи был интересен только кучке нердов то в последнее время он развивается активными шагами, и вот почему:
высокая гибкость инструмента, возможность дописывать свои модули (ноды), лихо соединять все это в едином интерфейсе, мега простой апи. это уже достойная альтернатива автоматику
вот например урок о том как делать бесконечную зум анимацию в комфи да еще и менять промпты прямо в процессе рендера
а DotSimulate на днях выложил на патреоне свой ComfyUI Touchdesigner API Tool Setup
своим изгибающим реальность сетапом я все еще хочу и планирую поделиться. останавливает только то что в эпоху однокнопочных решений предлагать пользователю танцевать с бубнами без четкой инструкции - ну такое себе
ComfyUI
Warp and Consistency explanation
zoom tutorial
ComfyUI TD API by DotSimulate
@тоже_моушн
Новое подтверждение теории, что все аниме-персонажи – это кошки, а не люди.
Какие ещё нужны доказательства?
r/#SipsTea
Facehuggers Huggingface выкатили IDEFICS, опенсорсный аналог Flamingo.
Всем мультимодалиться полчаса!
(дальше текст переводила ЧатГПТ)
Первая в мире опенсорсная мультимодальная сота.
Что такое IDEFICS?
Воспроизведение Flamingo 🦩 от DeepMind
Мультимодальность
Размеры модели 80B + 9B
Построена исключительно на общедоступных данных и моделях
Зочем? 👀
Генерит текст на основе картинок и текстовых промтов 💬
Отвечает на вопросы о картинках 🤔
Описывает визуальное содержимое 🔍
Создаёт истории на основе нескольких изображений 🖼
Действует как чистая языковая модель без визуальных промтов
Сравнима с оригинальной моделью по качеству 🔥
https://huggingface.co/spaces/HuggingFaceM4/idefics_playground
https://huggingface.co/blog/idefics
Мир если бы stability.ai не делали отдельный репозиторий под каждую модель
Читать полностью…
Childhood memories
( Ghibli Studio ai animation tribute )
Одной из самых популярных художественных эстетик, которые воспроизводятся при помощи нейросетей является аниме. Почему?
Во-первых аниме очень популярно во всём мире, имеет тысячи тайтлов в виде манги (комиксов), артов и анимационных фильмов и бесчисленных сериалов .
Во-вторых это наиболее точно воспроизводимый стиль благодаря тому что популярность жанра породила гигантский датасет для обучения генеративных моделей.
У самой успешной генеративной модели Midjourney есть даже отдельный движок Niji, который заточен отдельно под аниме эстетику.
Сам я являюсь давним поклонником именно анимационных полнометражных фильмов, которые стали культовыми, благодаря своей кинематографичности, отличным сценариям и интересными подходами к режиссуре. Помимо всего прочего это отличный материал для анимации из-за очень схожих фактур генераций. Это дает возможность создавать составные шоты и анимировать их самыми разными техниками
И вот наконец, сошлись звёзды. Я совершенно случайно услышал оркестровый кавер на песню моей юности “Многоточие - в жизни так бывает”. И с первых секунд прослушивания трека у меня сложилось впечатление: тот кто перекладывал старый рэп трек на аранжировку оркестра ярый фанат Дзё Хисаиси - бессменного композитора всех фильмов Хаяо Миядзаки.
Так и появилась идея скрестить эстетику воспоминаний детства с визуалом добрых и теплых фильмов дедушки Миядзаки. Для реализации проекта я пригласил своего давнего друга и талантливейшего художника Сергея Козлова, с которым мы много лет вынашиваем планы по созданию анимационных фильмов.
Благодаря нашему коллабу в некоторых сценах персонажи оживают благодаря классической покадровой анимации. В Других же сценах появляются знакомые герои прямиком из легендарных фильмов при помощи ротоскопа на нейросети Runwayml.com
Ну что, Олды? Ностальгия в глаз попала?
https://www.youtube.com/watch?v=yKP2ZOzSQ0A
Nvidia отправила код Neuroangelo в публичный доступ.
На самом деле, очень хочется попробовать тесты, потому что классические способы фотограмметрии не всегда выдают желаемый результат.
И продакшен тогда превращается в еблю с большим потным мужиком, где ты в пассивной позиции.
Этот подход работает, вытаскивая данные из видео, сначала простраивая очень сглаженную сетку, а последующими проходами уточняет ее, что якобы и приводит к потрясным маркетинговым результатам как на видео.
Советую глянуть сорсы, там прям много интересной информации.
Видео
Git
Paper
https://www.youtube.com/watch?v=tWZOEFvczzA
еще немношк варпа
(и куча ручной работы, конечно)
