13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
На полках уже начали появляться товары с нейросетевым артом
Если раньше китайцы просто неправильный текст на английском писали, то теперь просто не будут проверять за нейронкой
Тут показывают как учить квадрокоптер летать с RLем за 18 секунд (и 300к шагов) на маке.
Решили много нюансов, чтобы подход был универсальным и натренированная нейрока могла быть загружена в дрона Crazyflie;
Использовали асимметричный actor-critic (после тренировки нужен лишь actor);
Написали все на плюсах;
Learning to Fly in Seconds
https://arxiv.org/abs/2311.13081v1
https://www.youtube.com/watch?v=NRD43ZA1D-4
https://github.com/arplaboratory/learning-to-fly
Тем временем скоро появится офицальне орнитоптер из лего.
56x80cm, корал! Не хачапури, конечно, но тоже неплохо.
The bricks must flow!
shop
спасибо за "логотип с текстом derp learning", dalle
Читать полностью…
Ты: просишь далле нарисовать горизонтальную картинку
Далее: я дам тебе два белых поля чтобы ты отстал
ComfyUI Stable Diffusion Video
ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.
Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.
Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.
--use-pytorch-cross-attention
В комментах скидываю два .json для ComfyUI.
Колаб со stable-video, который влезает в 16гб
За три минуты сгенерило мне вот такой шедевр например. Анимация просто невероятной сложности :D
image2video
Ну ладно, интриги интригами, а релизы — по расписанию.
Теперь голосовая версия ChatGPT доступна всем пользователям приложения бесплатно.
На всякий случай напомню, что приложение НЕ доступно аккаунтам из РФ (и дело не в VPN).
🤔 интересно, а что с нехваткой GPU и ресурсов?
Как писали сотрудники OpenAI,
committed to the team and the mission 🫡
Совет директоров openai обсуждает с anthropic возможность слияния
Инвесторы, юзеры, да и сам anthropic:
Сорс
Dustin Moscowitz to Ilya Sutskever: позвони Сэму, ничего серьезного
OpenAI после созвона:
550/700 сотрудников openai уходят, лолшто.
Как Майкрософт сегодня бесплатно приобрел openai при оценке в $70b
Немножко "оживлённых" с помощью stable video diffusion мемов.
В целом, SVD штука интересная, но очень часто хуёвничает и вместо того, чтобы генерировать нормальное видео с движением, делает просто панораму изображения.
CollageRL
- моделька для генерации коллажей по исходной картинке из газет (или любого другого сета картинок)
Finally, теперь можно писать анонимные письма авторам любимых каналов 😅
Код
Пейпер
@derplearning
Видеоигры нам не врали!
Срубленное деревом действительно распадается на дрова.
Атсрологи объявили неделю упоротых каверов
Очередной text2audio сервис с неожиданно кошерными результатами
Дают сгенерить 15 раз, дальше - плоти.
При этом блочит за копирайченные тексты песен, но кредиты может списать (но ессесно рус.яз. не блочит, но генерит)
потыкать
🌸Альтернативы OpenAI API🌸
#nlp #про_nlp
Если после последних событий вы задумываетесь о том, не начать ли подбирать запасной вариант помимо chatGPT, GPT-4 от OpenAI, то вот несколько альтернатив.
🟣Anthropic
Пожалуй, основной конкурент сейчас (ключевая команда — выходцы из OpenAI).
Есть 2 версии модели — Claude Instant и Claude 2, преподносятся как аналоги GPT-3.5 и GPT-4 (одна модель быстрее, вторая — умнее)
Языков заявлено много, основные метрики и безопасность — сравнимо высокие.
Из очевидных плюсов:
— цены дешевле OpenAI
— для большого траффика есть инференс через Amazon Bedrock
Из недостатков — все промты придется мигрировать специальным образом, с упором на XML (так устроено структурирование запросов к моделям).
Документация
🟣Cohere
Ассистенты Coral и Command на основе RAG (retrieval-augmented generation) — хорошо решает задачи, связанные с извлечением информации, поиском, чтением документов, меньше галлюцинирует. Есть готовые интенты для продолжения чата, написания текстов, суммаризации, поиска.
Есть готовое API, много документации и готовых юз-кейсов.
Но в основном только английский язык.
Документация
🟣Inflection AI
Основной продукт стартапа — ассистент Pi. Заявленные функции почти такие же как у OpenAI, есть все стандартные ожидаемые функции — персональная поддержка, планирование календаря, креативные задачи, помощь в написании текстов со сложной структурой.
Для получения API надо становиться в waitlist
🟣Stability AI
Stability AI (Stable Diffusion) в основном продает API моделей генерации изображений и апскейлинга, но совсем недавно к семейству их разработок добавились и языковые модели Stable LM.
Самая последняя разработка — модель Stable Beluga с 70 млрд параметров — пока по API напрямую недоступна, ждем ее добавления в линейку доступных по API.
🟣Perplexity AI
Готовый API-сервис для оптимизированного быстрого инференса открытых LLM: Mistral 7B, Llama2 13B, Code Llama 34B, Llama2 70B, replit-code-v1.5-3b
Своей модели среди доступных нет.
🟣Amazon Bedrock (AWS)
Дешево и сердито — подключиться к моделям, уже доступным на AWS. Готовый инференс большого числа моделей, в том числе вышеупомянутых стартапов — а также Llama 2 (Meta), Jurassic (A21 labs), Titan (Amazon research).
Документация
#чтивонаночь по быстрому
есть человек про которого никто не знает, а с ним стоит рисовать иконы - Robin Rombah. Чел соавтор laion, sd1.5, e-diff и много чего еще. ОН БУКВАЛЬНО ГЕНИЙ, У НЕГО ОХУЕННО РАБОТАЕТ ГОЛОВА и это заметно по всему к чему он прикасается. [его scholar]
Ну а стабилити как уважающая себя компания с огромным бюджетом тупо спиздили архитектуру[8] и с таким ебалом😬 обучили модель на фильтрованных данных.
Модель получилась прям крутая, по метрикам даже лучше gen2 от соседнего runwayml, но оригинальную архитектуру почти никак не упоминали, а это печально хоть и выкупили робина
А еще вам для обучения такой модели не нужно ничего учить с нуля - у вас все умеет диффузия, ставишь temporal блоки между слоями(типа временной control net), учишь ТОЛЬКО их, затем доучиваешь VAE предиктить много кадров за раз и дело в шляпе!
Thus, in contrast
to previous works, we draw on simple latent video diffusion baselines [8] for which we fix architecture and training
scheme and assess the effect of data curation. To this end,
we first identify three different video training stages that
we find crucial for good performance: text-to-image pretraining, video pretraining on a large dataset at low resolution, and high-resolution video finetuning on a much smaller
dataset with higher-quality videos
[8]ориг папир
stability fork
Ну и туда же
Dustin Moscowitz to Ilya Sutskever: позвони Сэму, 20 минут туда обратно
после созвона:
Илья суцкевер, подписавший требование к борде о восстановлении уволенных после того, как сам инициировал звонок об увольнении:
#openai
Если микрософт не идёт в борду, то Борда идёт в микрософт
Будет забавно если сейчас компьюта у опенаи станет меньше 😅