4253
❤️☠️🤗 идейная миграция небытия
Генеративные модели достигли в программировании уровня сеньоров
Читать полностью…
Релиз mistral large и обновленных small(апи)
- по бенчам чуть хуже чем gpt4
- раз в 10 дешевле gpt4
- нативная поддержка романской группы(френч, итальянский) и немецкого с английским. Короче крупные европийские языки.
-function calling в апишке
А ещё мистраль теперь коллабиться с azure
Blog
cербия сила! 🇷🇸
тут товарищ выпустил Ft мистраля на южно славянские языки, и получилось вкусно(по бенчам)
ссылка
эм ну, сошлось и слава богу?
католический институт парижа, мастер аи, блин а звучит!
hypertext prompting->config prompting-> turing complete prompting->programing promtping
Читать полностью…
🔺 Инструменты для помощи малым языкам
Написал небольшую статью на Хабр про текущие проекты, связанные с языками. Про дообучение LaBSE, про автоматическое извлечение параллельного корпуса этой моделью, про параллельные книги, проект Lingtrain и новый проект SuperMinor, который скоро запущу.
🔸 Весь код тоже выложил. Просьба поддержать, кому это интересно.
👉 Хабр
где то в париже:
ты ебунутый?
ну а что на ruste пописать нельзя?
нет, ты скажи ты ебанутый?
ну пописать нельзя?
ебанутый.
Тут обнимайлицо релизнули candle(с пол года делают, а я только недавно увидел) - что то среднее между torch и transformers, но для Rust.
Поддерживают значительную часть полезных архитектур, все модальности, а еще написаны kernel_ы для большинства железок популярных.
по скорости хуже чем python на 20%, но кому это важно?
ссылка
Сегодня вечером в Ереване будет сходка
/channel/+mXuW1ndJ3kM1YWFi
Адрес будет позже
ZLUDA — поддержка CUDA на видюхах AMD.
Разработчик Андрей Яник пилил для Intel поддержку CUDA на видюхах Arc, но спустя 2 года они решили, что никакого применения у CUDA на их GPU нет и обрубили финансирование без разрешения опенсорсить проект. Андрей пришёл в AMD и какое-то время работал над реализацией под их видюхи, но потом и они решили прикрыть лавочку. Однако в этот раз код разрешили открыть.
Работает где-то быстрее, чем OpenCL, а где-то медленнее или постоянно крашится. Поддержка и совместимость с разного рода софтом пока сильно ограничена.
В FAQ проекта написано, что он заброшен, но учитывая, что на прошлой неделе вышла версия 3, а народ даже опробовал с его помощью гонять llama.cpp на RX 6800, он таки развивается.
Гитхаб
Stable diffusion 3
- 800m до 8b
- генерация текста
- пока нет папиры/хф
- трансфомерные блоки
- flow mathcing(optimal transport диффузия)
ссылка
260к токенайзер это довольно много, мало языков которые модель не видела, вероятно базовый перфоманс будет неплохой.
но то на чем тренили вызывает вопрос, почему то авторы акцентируют внимание на том что они выразил child abuse content. Я вообще впервые такое вижу
⚡️ RussianVibe XL 2.0
Завершено обучение второй версии нейронной сети для генерации пейзажей России. На этот раз набор фотографий был почти в 6 раз больше, чем в версии 1.0!
Такое увеличение датасета существенно повлияло на качество модели:
- Улучшилась геометрия зданий. Теперь они больше похожи на привычный вид из окна)))
- Сцены стали более сложными.
- Цвета стали более разнообразными и насыщенными.
Но качество базового вывода сильно ухудшилось. Это связано с тем, что большинство фотографий из набора данных были сделаны на обычный телефон, из-за чего нейросеть генерирует слегка размытые изображения. Исправить это достаточно просто - добавьте тег low quality к negative_prompt.
Чуть позже я напишу статью на Хабре с более подробным техническим описанием того, как это работает и зачем это все вообще нужно :)
Онлайн демонстрация - https://hf.co/spaces/0x7o/RussianVibe
Файлы модели - https://hf.co/0x7o/RussianVibe-XL-v2.0
Датасет - https://hf.co/datasets/0x7o/RussianVibe-data
GitHub - https://github.com/0x7o/RussianVibe
@hikonon
Мужской депрессии не существует.
Любой мужчина когда у него что то плохо работает: stack more layers
Вот кому и зачем нужен 97gb text encoder? Чтобы что?
Do Large Language Models Latently Perform Multi-Hop Reasoning? (by Google)
Авторы обнаружили, что если вопрос сформулирован неявно, то LLM уже во время его чтения "пытаются" подставить промежуточный шаг рассуждений в латентном пространстве. Например, для эмбеддингов последних токенов этого вопроса
Сколько людей живут в крупнейшем городе Европы?
👩🎤 Инди vs Корпорат 👨💼
Заметочка про стек и подход к своим пет- и инди-проектам, почему он диаметрально противоположен тому, к чему большинство «выращенных корпоратами» программистов привыкли на работе.
Мы все понимаем насколько корпорации сильны и неубиваемы. Но в инди тоже есть свои суперсилы и все еще витает дух «того самого программирования», которое решает реальные проблемы реальных людей, ради чего многие (ну, хотя бы я) и пришли в айти.
https://vas3k.blog/notes/indie_vs_corpo/
выпускники католического университета по ии такие типа:
Читать полностью…
Не SORA конечно, но добавили видосики на svd в insomnia (выбираем модель video)
https://insomnia.land/#/image
На iclr не приняли mamba. Качество ревью.... Прикольное
Читать полностью…
загадка жака фреско:
чем LlamaTokenizer от LlamaTokenizerFast отличается и какой быстрее?
Ищу кредиты на клауд, и вы хотите поделиться компьютом(порядка сингл ноды(dgx like) на несколько месяцев< 3) на благое дело, то вас очень сильно ждут @maxalekv
Читать полностью…
Сайга-Гемма
Или переходим на обучение в axolotl.
Изначально идея этого эксперимента была в сравнении axolotl vs unsloth vs hf-trainer для дообучения новой базовой модели, Геммы.
Однако unsloth до сих пор её не поддерживает, а hf-trainer на 24 Гб карточке вылетает по памяти, так что остался только axolotl. Который в итоге всё равно работал только на A100 с 40 Гб.
Обучение было полностью в Колабе на A100: ссылка
Сама модель: ссылка
Училась только Лора, 6 часов.
Плюсы axolotl:
- Все параметры в одном конфиге.
- Очень удобный отладочный режим для просмотра финальной токенизации.
- Быстрая поддержка новых фичей и моделей.
Минусы axolotl:
- Довольно посредственные исходники с кучей багов.
- Как будто бы никакого выигрыша по времени и памяти по сравнению с самописным hf-trainer'ом.
- Нельзя легко сделать новый шаблон промпта (например с родным геммовским <start_of_turn>), поэтому пришлось патчить токенизатор, чтобы переделать шаблон под ChatML.
Проблемы с Геммой:
- Странные OOM'ы на 24 Гб. Я пока не понимаю, как обучение Лоры с batch_size=1 может вылетать по памяти, когда с 13B моделями с теми же настройками всё было в порядке.
- repetition_penalty отличный от 1.0 ломает модель и в HF, и в llama.cpp. Не я один это заметил, см. эту дискуссию.
- GGUF квантизация ниже 8 бит тоже ломает модель, она перестает вовремя генерировать EOS.
- Рандомные баги посреди генерации, отчасти возникающие из-за того, что нельзя поставить repetition_penalty.
Из-за всего этого SbS с Мистралем она заведомо проиграет. При этом в примерах, где багов нет, ответы вполне адекватные.
Модель пока не стоит использовать. Надеюсь через пару недель баги везде пофиксят, и станет лучше. Потенциал в ней точно есть.
Например, её можно дообучать на больших русских корпусах без изменения токенизатора.
Точность в нейминге размера модели критически важна для LLM, поскольку это влияет на справедливость сравнения, воспроизводимость результатов и понимание компромиссов между размером модели и её производительностью.
Решил создать тред на HF. так что поддержать идею о переименовании модели Gemma7B в Gemma-9B можно тут:
👉 https://huggingface.co/google/gemma-7b/discussions/34
А то ресерч-маркетологи ведут себя как на рынке, ну и вообще, камон, округление все в начальной школе проходили.
сходка в ереване?
/channel/+mXuW1ndJ3kM1YWFi
Нет gqa у 7в
Огромный словарь
16х ffn dim
Head size 256
В коде для хф модели нет flash attn
7B на самом деле почти 8.2(с эмбедами)
Очень странный релиз
Вышла Gemma - llama от google, огромный токенайзер на 260к токенов, 6T(!) токенов в претрене, хорошая токенизация русского и средний mt перфоманс(на русском на вид средне).
по метрикам что то около mistral 7b для страшей модели(7b) и phi2 для 2b модели
ссылка
Поясните пожалуйста за математику, я правильно понимаю что для 70В модели надо иметь 300+ карт(20к usd каждая, те 11м USD за все). А dgx h100 способный в mp=8 выдавать те же 500т/с стоит 300к USD и при этом может не только инферить модельки но и учить?(для groq нет backward kernels)
Это прекрасный мир будущего с 7т инвестиций или что?
No overall очень крутой врыв для людей из вне, думаю в ближайшем времени мы наконец увидим нормальные цены на cloud computing.
Рекламный буклет
Чат, а никто не работает в general Ai в Microsoft?
Знакомый очень сильно ищемт рефера.
Писать в:
@maxalekv