4253
❤️☠️🤗 идейная миграция небытия
Адаптация для языков шагает по планете
В самом начале вихрей у нас была амбиция делать модели в том числе для казахского, но мы отказались от этой идеи в связи с трудоемкостью и отсутствием ресурсов. А один из подписчиков решил делать хорошо, позвал друзей, сели и напереводили датасетов на казахский!
kz mmlu
gsm8k
constituion похож на наш датасет из шлепы Law mc
Вопросы к книгам
Обучили роберту
Ждем свои llm для казахского, рад что наш проект вдохновляет других людей делать что то!
linkedln post
автор @stringersolo
Если вам хочется time scaling_a то у нас есть Mcts lib
Читать полностью…
Загадка на тему инфры: допустим у нас есть Nvidia gb200 nvl72. Ака стойка на 72 карты. И вот вопрос: а как на нем запускатся? Как на 18 отдельных нодах или как на одной? Если как на одной то как это реализовано системно?
Аппаратно это 18 нод по 4 карты, у них есть обычное количество маршрутиризаторов.
Вероятно лучший конспект по reinforcement learning который я видел и неожиданно на русском (!)
Читать полностью…
На кейсах со сложным движением нескольких объектов выглядит слегка лучше gen3 и прочих. Вероятно за счёт 4о и прочего будет лучше.
Забейте эта модель все ещё текущего поколения, откровений по качеству генераций не будет.
Мы в Вихрях часто делаем модели в стол или оставляем их на время полежать. Собственно в этот раз ребята из MTSa опередили нас с релизом на несколько дней.
Выложили vikhr-qwen2.5-1.5b.
Для обучения использовали GranMaster.
По арене чуть чуть хуже чем Cotype, вознможно потом полирнем SMPO и будет лучше)
model
Продолжу тред людей которых я бы нанимал за ноль секунд
Читать полностью…
Началось - роботы воруют детей у кожаных!
Читать полностью…
Управление: держаться подальше?
В комментариях упомянули ещё одну важную тенденцию. Сегодня многие по-настоящему талантливые лидеры в университетах (и не только) бегут с высших руководящих должностей или сразу не соглашаются их занимать. Они предпочитают быть где-то на периферии, но вкладываться в реальные проекты, а не строить потёмкинские деревни.
Зачастую такой управленец может возглавлять подразделение с формально низким уровнем в иерархии (лабораторию, отдел, центр, кафедру), но иметь при этом значительные ресурсы и большую свободу внутри вуза. Например, по той причине, что это подразделение производит половину науки в университете или приносит львиную долю внебюджетных доходов.
Что важно: отказ такого руководителя идти в ректорат — рациональное решение, а не следствие страха и не малодушия. Если здраво оценить реальные возможности по управлению университетом, с учётом зарегулированности, постоянной смены приоритетов и произвола с перестановкой ректоров, то вполне логично прийти к выводу о бутафорском характере этого управления. Возможно ли качественно администрировать текущие процессы? Да, конечно возможно, бюрократический хаос можно несколько обуздать. Реально ли разработать стратегию развития и воплощать её хотя бы лет десять? Крайне маловероятно: либо ишак сдохнет, либо падишах помрёт.
Иными словами, настоящий лидер в данном случае не то чтобы боится взять на себя ответственность за какие-то решения, а видит, что это попросту невозможно: либо тебя снимут (и ответственность перейдёт другому), либо твои решения будут непредсказуемым образом изменены или отменены в силу очередной смены стратегии.
Да, как и всегда, нужно оговориться: бывает так, что сильная команда управленцев качественно меняет университет. Хотя, с другой стороны, иногда мы оказываемся и здесь. Так или иначе, пока речь о системных эффектах, а не об исключениях и карманах эффективности.
Обратная сторона этой медали ещё интереснее. Когда умные и способные относятся к административной карьере прохладно, вперёд выходят не слишком рефлексирующие активисты. Некоторых людей привлекает статус и управление как таковое, безотносительно возможности или невозможности что-то изменить по существу. Именно эти люди с удовольствием поедут на форумы и школы управленцев (что вообще есть оксюморон, как мне кажется), а затем окажутся очень удобными кандидатами на высокие должности. И именно отсюда начнутся те самые нереалистичные обещания, пустые проекты и другая бурная деятельность, имеющая в основе только желание выслужиться.
Забавно, что продвижению особо рьяных управленцев может способствовать и механизм "выталкивания наверх". Бывает так, что подчинённым и просто окружающим коллегам очень досаждает и мешает работать некий бессмысленный активист, но формально уволить его особенно не за что: он всегда на виду у начальства, по горло занят и со всеми знаком. Единственным спасением является повышение этого деятеля: с кафедры — в деканат, с факультета — в ректорат, из ректората — в департамент министерства или в другой университет. Коллектив не просто поддержит решение, но и активно поспособствует карьерному росту, только бы избавиться от раздражителя.
И тут возникает классический вопрос: а что делать? С системной точки зрения — дать университетам больше самостоятельности, перестать менять стратегию каждый год и снизить накал активизма любого рода, который сейчас перегружает образовательную систему и забивает нормальную регулярную работу. Это увеличит шансы привлечь к управлению осмысленных лидеров, со своим мышлением и своей программой.
С личной точки зрения общего ответа, конечно же, быть не может. Кто-то решит согласиться на управленческую должность, не особо горя желанием руководить, но осознавая, что иначе придут пустые активисты. Это благородно, но не всегда оправданно. Кто-то выберет остаться на периферии до лучших времён. Пожалуй, при анализе таких решений важнее всего отделять желание чем-либо поуправлять от реальных способностей к этому, а настоящую эффективность работы — от количества времени, посвящённого заглядыванию в рот начальнику.
(это flux redux)
А теперь представьте что в опенсурсе без цензуры с этим натворят? Будущее прекрасно
Любая задача это рексис, LLM это задача рекомендации следующего токена. Жаль не все понимают 😬
Читать полностью…
#от_подписчика
Студент, который пытается совмещать учёбу, исследовательскую деятельность и личную жизнь, попутно работая официантом:
https://huggingface.co/Efficient-Large-Model/Sana_1600M_512px
вышла
демо: https://nv-sana.mit.edu/
Шаг1 пишем свой фреймворк на jax
Шаг2 учим хуевую LLM со своей архитектурой. Данные? А зачем их чистить?
Шаг3 сосем у oss моделей(тут можно поднять 1б USD пол обещание что мы молодцы)
Шаг4 ✨вы прекрасны, Феррари доставят на следующей неделе✨
https://huggingface.co/Qwen/QwQ-32B-Preview
Почему не uwu
https://huggingface.co/rhymes-ai/Allegro-TI2V
Ещё одна
благодаря автору @plotquot теперь вихри стали ОЧЕНЬ быстрыми для мака
забрать для M серии мака тут
Ко мне пришли такие люди, набирают кандидатов.
🎓 Стипендиальная программа Impact Academy для технических исследователей безопасности ИИ
Мы — сообщество Unitaware. Ищем амбициозных и талантливых людей в области ML/AI для участия в стипендиальной программе Impact Academy по безопасности ИИ. Это шанс проводить исследования и работать с лидерами индустрии — и получить от них приглашения в топовые AI safety лабы и проекты (например, Center for Human-Compatible Artificial Intelligence, FAR AI и Mila AI Institute)
💼 Что вас ждет?
• Оффлайн программа (3-6 месяцев с марта) в Сингапуре, Англии или США.
• Исследования и коучинг в сфере AI safety.
• Стипендия ~$5000/мес.
• Перспектива работы в ведущих AI-проектах.
👤 Кого мы ищем?
• Отличный английский и опыт в ML/DL (публикации, стажировки, проекты).
• Программирование на уровне ведущей техкомпании.
• Достижения: олимпиады или учеба на топовых кафедрах.
• Интерес к снижению рисков от продвинутых AI-систем.
⏳ Срок подачи: до 31 декабря (лучше до первой недели декабря).
Если заинтересовались или знаете подходящего кандидата, напишите @vakondyrev, это максимизирует шансы при прочих равных. За рекомендацию подходящего кандидата также предусмотрено вознаграждение
🔓 Открываем код: Cotype Nano
Представляем Cotype Nano – открытую большую языковую модель, которая создана для решения бизнес-задач на русском языке. Модель работает локально на персональных устройствах и отлично подходит для разработки чат-ботов и виртуальных помощников.
Что умеет:
🔴Обрабатывать большие объемы данных — до 32,000 токенов (около 45 страниц текста) за раз
🔴Создавать контент и выполнять быстрый и точный перевод между русским и английским языками
🔴Анализировать и классифицировать данные для улучшения клиентского сервиса
➡Как устроена:
Модель основана на архитектуре трансформера Qwen 2.5, содержит 1,5 млрд параметров и совместима с популярными фреймворками: VLLM, OpenVINO и Hugging Face.
➡По бенчмаркам Ru Arena Hard Cotype Nano лидирует в своем классе (30.2). Доступна бесплатно, в том числе для коммерческого использования.
➡Узнать больше и скачать модель можно тут.
💻 Подробные технические характеристики — на Хабре.
есть что то грустное в том что за 5 минут простая кластера он сожрал денег больше чем ты за неделю
Читать полностью…
Тут могла быть безвкусная шутка про гойда банк и z bank
Читать полностью…
https://x.com/fofrAI/status/1860108591002452479
Читать полностью…
Паблики фейсбука тоже открыли для себя txt2vid технологии ☕️
Читать полностью…
Триллионный диффузионный МОЕ мультимодальный трансформер на KAN и обучением на flowmatching для задачи рекомендаций
Читать полностью…
https://fxtwitter.com/yoavhacohen/status/1859962825709601035
Дожили🥹
blog не о чем, но.
Black Forest дропнули toolы для flux и они прекрасны!
Ipa ака redux
Canny edges cn
Fill для inpaint и outpaint
https://thematrix1999.github.io/
Ни дня без world models. Теперь вместо Майнкрафта обучили на видосах из forza
Кода и демо пока нет.