4253
❤️☠️🤗 идейная миграция небытия
Ну что, сработала техника, получается. А нужен был всего лишь простой советский перевод Агаты Кристи.
Сайга пока догоняет, поэтому в качестве основы я взял Вихрь-Немо.
Аналогично оригинальному Ataraxy, дообучил модель через ORPO на датасете, описанном выше, и слил получившийся тюн с оригиналом. Внезапно получил +0.1 на ПингПонге. На арене стало чуть хуже, 77 у новой модели vs 80 у оригинала.
Сама модель: vikhr_nemo_orpo_dostoevsky_12b_slerp
В боте она тоже есть.
Мне очень нравится читать истерики clevels
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
Жаль что openai практически военная (по уровню анальности nda) организация и мы не знаем всех истерик внутри.
А жаль!
Попробовал новую модель от meta, прям хорошая
Очевидно нет
Читать что это - тут
Ребята из JetBrains тоже активно ищут Mlщиков всех видов вне рф, писать сюда @Voiaking
Umojo
ML инженеров для CV. И Тим лида для команды CV, вне рф
@Tanya_tepli
Я был до последнего уверен что blueberry это dalle4 лол
Читать полностью…
Учить что либо на более 10 нодах сложно. Уже начинает влиять топология кластера, падает MFU, отваливаются ноды и так далее, на лету выкидывать ноды из обучения сложно. Скорость интернета внутри датацентра одинаковая только в теории.
В целом любое массивное обучение на сотнях и тысячах нод это очень сложно, затратно и инженерно.
В первые вижу в паблике подробный блогпост про оптимизацию network level для обучения на 4к h100.
Блогпост
Feels like a best management book ever
Читать полностью…
Помните, писала, что у нас с коллегами приняли статью на COLM, но конференция в США и ни у кого из нас нет виз? Так вот, конференция 7-9 октября в Филадельфии, и мы все еще в поисках человека, который мог бы туда поехать и презентовать нашу статью😢
В том посте я писала, что нужно будет постоять рядом с нашим постером. Но теперь все немного сложнее: наша статья попала на oral (spotlight). То есть, нужно будет выйти зачитать доклад по нашей статье на 12 минут🌝 Текст и презентация доклада будут готовы.
Поэтому если вдруг вы или ваши коллеги едут на COLM, и готовы с этим нам помочь, напишите, пожалуйста, Лаиде. Вы очень-очень нам поможете!
(Я помню, что под предыдущим постом были люди, готовые помочь. Спасибо вам большое, что тогда откликнулись! Если вы все еще готовы помочь, будем очень рады)
зарабатывать на разводе гоев на инвестиции, говорить что вы строите agi
Читать полностью…
Попросили как-то админку квант барби провести урок математики в школе. Админка согласилась. После урока спрашивают, мол, что, как, были ли проблемы?
- Ну, был один школьник. Спрашивает, мол, что такое интеграл, а я в душе не ебу, что это такое.
- Ну, и как вы из ситуации вышли, как ответили?
- Я ответила уклончиво: мол, иди ка ты на хуй.
Пол часа с хуем в день полезнее чем два часа митингов
Читать полностью…
У EleutherAI вышел классный гайд по muP параметризации LLMок.
Для тех, кто не знает, muP – Maximal Update Parameterization – это серия статей, в которых Greg Yang (сейчас в xAI) развивает теорию параметризации глубоких сетей. Что-то вроде Neural Tangent Kernel или анализ сетей при помощи теории среднего поля, но с выводами более таргетированными на обучение сеточек градиентным спуском. Один из результатов – стабильная инциализация параметров сетей, которая позволяет избавиться от необходимости тюнить learning rate градиентного спуска.
В статье "Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer" с ребятами из OpenAI Грег выводит методы инициализации трансформеров. Нужно сказать, что, скорее всего, в индустрии не все инициализируют веса по muP, всё-таки теория и практика отличаются на практике. Тем не менее, с muP для каждой части нейросети мы можем (хотя бы в теории) сказать, корректно ли она пропускает через себя градиенты. Градиентные энергетические блоки – бич многих глубоких сеток, и дебажить такое – сплошная головная боль.
Сам Грег предлагает начинать знакомиться с теорией со статьи "A Spectral Condition for Feature Learning", к чему мы с уважаемыми подписчиками и приступим. 🤓
🔥 Новое пополнение в семействе вихрей!
⚡️ Vikhr-Llama-3.2-1B-Instruct — компактная и мощная языковая модель, созданная на базе Llama-3.2-1B, специально обученная на русскоязычном датасете GrandMaster-PRO-MAX. Её эффективность в 5 раз выше по сравнению с базовой моделью, и она идеально подходит для мобильных и слабых устройств, занимая всего до 3GB.
💡 Что нового?
- Инструктивная дообученная модель: разработана для русскоязычных задач
- Компактный размер: всего 1B параметров
- Мощь в компактности: работает на уровне более крупных моделей
🔗 Подробнее о наших моделях: Vikhrmodels/Vikhr-Llama-3.2-1B-Instruct
Коллектив авторов: @LakoMoorDev @nlpwanderer
почему никто не ресерчит ебаные идеи для ресерча
Читать полностью…
📟 Вихрь теперь можно запустить даже на пейджерах !?
⚡️ Vikhr-Qwen-2.5-0.5B-Instruct - инструктивная модель на основе Qwen-2.5-0.5B-Instruct, обученная на русскоязычном датасете GrandMaster-PRO-MAX. В 4 раза эффективнее базовой модели, и идеально подходит для запуска на слабых мобильных устройствах.
💡 Что нового?
- Небольшой размер: Всего 0.5B параметров, идеально подходящая для применения на простых устройствах.
- Эффективность: Достигает результатов, сопоставимых с более крупными моделями.
🔗 HF: Vikhrmodels/Vikhr-Qwen-2.5-0.5b-Instruct
🔗 GGUF: Vikhrmodels/Vikhr-Qwen-2.5-0.5b-Instruct-GGUF
Инструкция по запуску на телефоне
Коллектив авторов: @LakoMoorDev @nlpwanderer
Собственно, у двух ребят первая статья и сразу на EMNLP
Читать полностью…
Vikhr paper едет на Workshop emnlp!
А из-за того что все авторы очень русские никому не выдали визу)))
Blueberry оказалась Flux 1.1. Pro
Помните загадочную Blueberry, которая лидировала на text2image-арене? На ECCV выяснилось, что это была Flux 1.1 Pro от Black Forest Labs — об этом сообщил сооснователь компании Алекс Зауэр. Более того, по его словам, сегодня нас ждёт ещё один анонс, связанный с этой моделью.
CV Time
#YaECCV
Натурализация выходов llm
С помощью DPO можно учить LLM генерировать LLM более натуральные тексты, для этого берем текст, нарезаем на куски, суммаризируем, затем генерируем "любой сеткой" кандидатов. Учим DPO где хороший текст это оригинал, а плохой это то что сетка родила.
Собственно у нас в Vikhr Models есть трек с Roleplay+Interpretability поэтому мы сгенерировали такой датасет на основе habr+picabuu+ficbook.
Ну и забыли заанонсить🫠
А вчера увидел пост у Ильи что ребята в комьюнити проделали аналогичную работу над книжками!
На основе книжек
Наш датасет на основе более разнообразного датамикса
🧐 Портал в мир науки открывается по средам!
Уже 2 октября в 18:30 встречаемся в Reading Club, чтобы обсудить новую порцию научных прорывов из мира AI.
Гость: Карина Романова
TeamLead CoreLLM:recsys.
Отвечает за добавление текстовых и картиночных фичей в рекомендации Wildberries. Магистрантка AI Talent Hub.
➡️ Разберемся в новом подходе к интерпретации крупных языковых моделей на примере Claude Sonnet. Обсудим, как удалось их выявить, какие концепции формируются внутри модели и как это может улучшить безопасность и надежность ИИ в будущем.
🔖 статья: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
➡️ Зарегистрироваться
📹 Смотреть предыдущий выпуск
#ReadingClub #AITalentHub #NapoleonIT #ITMO
Чёт какой то пиздец творится в Abby, всех уволили одним днём. Пока не понятно, по цвету паспорта или просто всю разработку.
Ребята в революте нанимают:
- Computer Vision
- Natural Language Processing
- Engineering
- Product Owners
pavel.nesterov@revolut.com
Если у вы имеетее дс вакансии, пишите в личку/ кидайте под пост и добавлю в сообщение
зарабатывать на разводе бабок на комиссии, говорить что вы ИТ компания
Читать полностью…
ищу хорошего сантехника в московской области, если можете пореферить в личку @alexwortega
Читать полностью…
Ну и как вам новый voice mode? Я четвертый день не могу понять зачем оно.
Читать полностью…