4254
❤️☠️🤗 идейная миграция небытия
почему с каждым релизом wandb становится все хуже и хуже, что это блять, почему так мерзко, где EMA
Читать полностью…
релиз cmdr 7b от Cohere
С qwen сравниватся боятся, сравнил за вас.
model
/channel/StarsAskBot?start=241154130
Го потестим, тут вопросы можно анонимно задавать, закидывайте. Стоит 1 звёздочку.
А вот и анонс от СЕО компании с цифрами бенчмарков!
У кого-то из чата уже заработали аудио-ввод и вывод (генерация речи), у меня пока нет(
https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/
Ссылка попробовать в AI Studio БЕСПЛАТНО: тык
Спасибо qwen oss за продвижение русских моделей вперёд!
Читать полностью…
https://github.com/kuleshov-group/mdlm
Обзор делать на диффузионную lm?
Paper
В момент выхода анонса соры я говорил: этот прорыв будет в опенсурсе и очень быстро.
На момент выхода соры в виде сайта я говорю: а чо так слабо?
https://app.checkbin.dev/snapshots/1f0f3ce3-6a30-4c1a-870e-2c73adbd942e
oss apache2 hunyuan video (тупо видео генератор НЕ world model) vs sora paid world model
Читать полностью…
OpenAI официально показали Sora!
Доступно будет всем подписчикам ChatGPT - и Plus и Pro. Дают кредитов на до 50 генераций в месяц Plus подписчикам и до 500 быстрых генераций Pro подписчикам. Pro подписчики с более 500 генераций попадают в "медленную очередь".
Длина видео всё таки от 5 до 20 секунд (для Plus максимум 5), а разрешение от 480p до 1080p (Plus подписчики ограничены 720p). На более длинные видео и видео разрешения уходит больше кредитов. К видео можно применять стили и создавать свои.
Показали Storyboard - продвинутый инструмент позволяющий режиссировать видео. К примеру можно попросить Sora сгенерить видео человека, который на пятой секунде видео машет рукой.
Ещё есть куча продвинутых инструментов - можно догенеривать до видео как начало так и концовку, смешивать несколько видео вместе разными способами и много чего ещё.
Модерация сейчас чрезмерно строгая, но OpenAI обещают постепенно снимать ограничения.
sora.com
@ai_newz
Арена объективный бенчмарк.
Я повторяю, ее точно НЕ ВЗЛОМАЛИ, не верьте всем кто говорит что ее оверфитнули, они врут, у опен АИ лучшие модельки, ща o1 pro доедет до арены и заткнет всех за пояс, у опен АИ лучшие модели.
HunyuanVideo: A Systematic Framework For Large
Video Generative Models
- sd3 like DIT на 13б параметров учится с FlowMatching
- Претрен на комбинированном(картинки + видео) датасете
- LLAva как эмбедер
- Данные кластеризовали через 13 классов(подозреваю балансировали количество людей в сете)
- отдельно учили классификатор camera motion чтобы разметить датасет(!)
- 5d паралелезм(!) при обучении
paper
Тут запилили арену для шуток
https://humor.ph34r.me/
Го разметим
Выключи нахрен ChatGPT. Это тебе не нужно. Выпей 5 кружек кофе, скури пачку сигарет и закинься снюсом. Трясущимися руками напиши статью, смысл которой даже ты сам едва понимаешь. Борись с надоедливыми галлюцинациями, которые мешают тебе из-за недостатка сна. Просто поменяй мешочек снюса и выпей ещё кофе. Тебе станет лучше. Продолжай яростно печатать. Занимайся наукой так, как было задумано Богом.
Читать полностью…
Задачу дивана решили
https://arxiv.org/abs/2411.19826v1
🎨 Играюсь с Recraft v3
Это лучшая нейросеть для генерации фотореалистичных изображений по результатам sbs сравнения. Особенно хорошо модель понимает русскую эстетику.
Сервис позволяет создать кастомный стиль изображения. Как образец можно загрузить до 5 фотографий.
Последние четыре фотографии в посте имитируют стиль лиминальных пространств.
@hikonon
Добавили новые модели от T-Tech в репозиторий на github Ru General Arena.
Напомню, что тут бейзлайн это все еще gpt-3.5-turbo-0125, а судья gpt-4-1106-preview, промпты засепмлпены по 50 разным топикам (т.е. и сложные и просптые вперемешку).
Интересно, то что по метрикам которые репортит T-Tech в своем посте на хабре, вихрь немо стоит довольно низко в лидерборде, в отличие от их моделек. Мое мнение если кратко: в текущей ситуации сранивать что-то довольно сложно, так как квены изначально довольно оверфитнутые на все многие классические бенчмарки, переведенные промпты AlpacaEval и ArenaHard это конечно хорошо, но под них уже много кто заоферфитился на английском и без изменений промптов оценки результаты на русском могут выходить как минимум неоднозначные, что и показывает большое количество сильных шейкапов между зарепорчеными авторами бенчмарками.
В целом, мне кажется, что таблица на скрине отображает мое понимание, но объективная реальность думаю всегда где-то посередине...
Большой день.
Мы выкладываем в опенсорс наши модели T-Lite и T-Pro. И эти модели просто топ 🥳
Мы увереннно выбиваем #1 среди открытых моделей по разным бенчам на русском. По MERA мы взяли #2 модель на русском ещё и включая все API, уступая только GPT-4o.
Это до-тренированный qwen-2.5 в размерах 7B и 32B. Мы провели большую работу: свой токенизатор, глубокое до-обучение на русский и специфичные корпуса. Аккуратная работа с данными. Тех репорты будут.
Этот релиз является подтверждением нашего подхода в LLM: допретрен на базе опенсорса и затем файнтюн под доменные области. Получается значительно лучше результат и мы тратим на порядок меньше денег (не преувеличение).
Пользуйтесь. Модели для инженеров, рекомендуется дальнейший файнтюн, например через наш Turbo-Alignment.
Наш новый HF: https://huggingface.co/t-tech
Лидерборд по MERA: https://mera.a-ai.ru/ru/leaderboard
Остальные бенчи тоже есть, арены будут как прокрасятся
продажа постов русскому гостеху как основа юнит экономики аи телеграм каналов
Читать полностью…
Прошел почти год с релиза соры
- не разогнана до near realtime(как runway3, ltxv)
- 1080 как макс разрешение и только для подписки за 200 баксов(!)
- качество в ленте выглядит на уровне klingv1.5(хотя в деталях лучше)
закидывайте 200 баксов и погоняю эту фигню, свои кровные я не готов отдавать
Админ перед праздниками сидит на звонке:
Читать полностью…
Офигеть, обучили SAE для интерпретируемости CLIPа!
Теперь можно тонко настраивать эмбединги для генерации и делать оч забавные штуки
https://huggingface.co/zer0int/CLIP-SAE-ViT-L-14
Собственноручно проверил наличие супервеса (см. оригинальную статью и разбор от gonzo-обзоры ML статей) в Llama-3.2-1B.
Aномальный вес находится в позиции (400 - выходной канал, 1417 - входной канал) в model.layers.1.mlp.down_proj.
Не столь ярко выражен (перплексия на Wikitext-2 (8k context length) выросла с 8.375 до 8.625 при занулении данного веса), но все же очень много для всего одно веса.
[Google Colab для желающих поиграться]
Про результаты соревнования ARC Prize 2024
Суть соревнования ARC-AGI, проходящего с 2019 года, заключается в поиске обобщенного способа решать некоторую задачу по нескольким демонстрациям ее решения. Всего около 1000 задач с разной градацией сложности, где только 100 сложных задач используются для приватной оценки. Сами задачи довольно ограничены и представляют из себя набор визуальных сеток (input и output) разного размера, где цвета и распололожение ячеек соотвествуют некоторому паттерну - задаче.
Само соревнование является довольно популярным (1430 команд) и даже стартапы с хорошим финансированием пытаются его решать. Недавно был опубликован репорт с описанием основных и лучших подходов к его решению в 2024 году.
AGI же в названии бенчмарка связано с определением AGI от автора бенчмарка Francois Chollet:
"AGI - a system capable of efficiently acquiring new skills and solving novel problems for which it was neither explicitly designed nor trained"
Вышла Llama 3.3!
70B модельку дотюнили так, что она порами обгоняет 405B. Особенно большой прирост на математике и кодинге, в которых Llama традиционно была послабее. В этот раз релизят только 70B, других размеров и VLM нету.
Веса
@ai_newz