4253
❤️☠️🤗 идейная миграция небытия
пользоваться мы как вы понимаете будем торчем
Читать полностью…
Voice Stuff открывает канал на YouTube!
Сегодня в гостях "Денис Петров" — 15-ти летний исследователь NLP, который написал лучший расстановщик ударений для синтеза речи "RuAccent"
Вы услышите об истории создания, почему Денис решил развиваться в этой сфере, где научился программировать, как пришёл к решению задачи с ударениями. Также расскажем что под капотом у RuAccent, на каких данных обучалась, и есть ли что-то, что расставляет ударения и ё лучше, чем RuAccent.
Заваривайте чай, накладывайте покушать и приступайте к просмотру, получилось очень интересно!
На канале есть ещё видео о том как тестровать нейронные сети и про то, как добиться обучения Zero-Shot и few-shot (в лайвах)
https://www.youtube.com/watch?v=FopG1hcxSVg
🤖 BulgakovLM 3B - большая языковая модель для русского языка
Копался в своих архивах и с удивлением обнаружил, что два года назад я обучил LLM для русского языка и никогда об этом не писал. Исправляюсь.
- Три миллиарда параметров на архитектуре GPT-J
- Токенизатор от rugpt3_based_on_gpt2
- Контекст 4096 токенов
- 100 ГБ датасет (>70% веб-страницы)
- Обучена в течение 2-х эпох
Хорошо подходит для дальнейшего обучения и быстрого прототипирования. HuggingFace
@hikonon
в каком пьяном бреду челы ставили in_features 3072
Читать полностью…
#чтивонаночь
Наконец снова начал писать длинные посты, на этот раз про DBRX.
alexwortega/ndr117M49A_">blog
понимаете да?
типа 50 человек+ команда, никто не проверил что вообще с перфомансом hf версии модели.
я блять удивлен что gemeni вообще работает. JAX проклятый
багфикс блог, огромный респект ребятам из unsloth
Посвящается всем авторам ТГ каналов про Эй Ай
Я слежу что пишет сама
Знаю все про Гэ Пэ Тэ
Ворлд модели строит Сора
подпишись на мой тэ гэ
Здесь посты и много мемов
Можно слушать и читать
Будешь лучшем в мире сеток
Клоуна не ставьте блять
Когда ты станешь самым смелым
Будешь шарить, больше знать
Будет офер, много денег
Незабудь донат прислать
сходка в белграде.
воскресный вечер.
31 марта.
/channel/+YkSirBpXEs42NDgy
Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча
Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!
Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.
В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).
Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.
Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).
Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?
А, да, не зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.
/channel/ebaresearch/458
Мы все живём в ебанутом романе Пелевина.
В далеком 2018 мы ходили на митинги, хотели чтобы в России стало лучше.
Мы лишены родины, стали нежелательными элементами, но несем часть той самой родины от Бали до Лос Анжелеса. Строим сервисы, рестораны, науку, основываем компании.
Вы узнаете кафе эмигрантов этой волны по рафу, по характерному миксу кухни и любви к кофе. Не забывайте кто вы, помогайте друг другу.
Не стоит забывать тех кто боролся и пытался. Недавно было 40 дней Алексея.
Видео
Помогите чем можете, тем кому можете.
дошли руки поиграться с suno.ai, очень забавно
Читать полностью…
гайс, ищу человека знающего казахский
Читать полностью…
если бы сбер релизил фреймворк претрена гигачата
Читать полностью…
Через 10 минут смотрим объяснение поста - лекция про flash attention в CUDA MODE
CUDAMODE?si=RJJ9DT2uypc-Umib">YouTube
Смешарики дропнули второй фонк-альбом
Первый тут. Цитаты из него (а, вернее, из самих Смешариков) ушли в народ настолько, что однажды я услышал: «делать мёд - пить сок» от Ирины Хакамады
OpenAI показывают свою Voice Engine, это система копирования голоса на основе 15-секундного сэмпла, которая дополняет уже давно существующую text-to-speech. Пока проект доступен для небольшой группы партнеров, но стартапы вроде ElevenLabs уже напряглись.
https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices
Делаю бота с мемами: @ffmemesbot. Опенсорс: http://github.com/ffmemes/ff-backend
Пишите в личку, если хотите присоединиться поковыряться в данных, попилить рекомендашки или просто орнуть на всех языках мира.
Ищу помогаторов с шенгеном, если у вас есть хороший - пишете в @maxalekv
Читать полностью…
ебать и приговаривать - flash attention не всегда эквивалентен, реализации разные сильно отличаются по перфомансу и качеству
Читать полностью…
https://app.suno.ai/song/c673df63-0920-4c3a-b1bd-0f8aec2d84a2
@seeyouall я тебе гимн написал
третий релиз русских LLM подряд одно и тоже, да чо за хуйня, почему до сих пор мемная паста описывает релизы лучше чем сами релизы
Читать полностью…
Starling - aka ft mistral 7в, поднялся на 13 место, обогнав gpt3.5 и Claude.
Бенч гудхартнули или мне кажется?
Меня пугает openai.
GPT4 turbo более чем полугода, gpt4 больше года, но полноценно обогонать смогли только сейчас, причем только другие closed ai -
аnthropic.
Причем - именно что догнать, модель явно умнее, но по бенчмаркам хуже, а по lmsys разрыв около минимальный.