4254
❤️☠️🤗 идейная миграция небытия
Мы тут наукой занимаемся, точно не stack more layers
Читать полностью…
Мне очень нравится что до сих пор в image/video gen работах используется ul2/т5 при том что для nlp их эмбеды прям говно
Читать полностью…
А куда потерялись картиночные токены то....
В релиз карточке было прям очень хорошо
чет забыл написать что мы дали 12b модель для ребят из https://llmarena.ru/
Пожалуйста накидайте им сравнений, очень надо, а то там gpt4 до сих пор обгоняется старым вихрем
📟 Вихрь теперь можно запустить даже на пейджерах !?
⚡️ Vikhr-Qwen-2.5-0.5B-Instruct - инструктивная модель на основе Qwen-2.5-0.5B-Instruct, обученная на русскоязычном датасете GrandMaster-PRO-MAX. В 4 раза эффективнее базовой модели, и идеально подходит для запуска на слабых мобильных устройствах.
💡 Что нового?
- Небольшой размер: Всего 0.5B параметров, идеально подходящая для применения на простых устройствах.
- Эффективность: Достигает результатов, сопоставимых с более крупными моделями.
🔗 HF: Vikhrmodels/Vikhr-Qwen-2.5-0.5b-Instruct
🔗 GGUF: Vikhrmodels/Vikhr-Qwen-2.5-0.5b-Instruct-GGUF
Инструкция по запуску на телефоне
Коллектив авторов: @LakoMoorDev @nlpwanderer
Собственно, у двух ребят первая статья и сразу на EMNLP
Читать полностью…
Vikhr paper едет на Workshop emnlp!
А из-за того что все авторы очень русские никому не выдали визу)))
Blueberry оказалась Flux 1.1. Pro
Помните загадочную Blueberry, которая лидировала на text2image-арене? На ECCV выяснилось, что это была Flux 1.1 Pro от Black Forest Labs — об этом сообщил сооснователь компании Алекс Зауэр. Более того, по его словам, сегодня нас ждёт ещё один анонс, связанный с этой моделью.
CV Time
#YaECCV
Натурализация выходов llm
С помощью DPO можно учить LLM генерировать LLM более натуральные тексты, для этого берем текст, нарезаем на куски, суммаризируем, затем генерируем "любой сеткой" кандидатов. Учим DPO где хороший текст это оригинал, а плохой это то что сетка родила.
Собственно у нас в Vikhr Models есть трек с Roleplay+Interpretability поэтому мы сгенерировали такой датасет на основе habr+picabuu+ficbook.
Ну и забыли заанонсить🫠
А вчера увидел пост у Ильи что ребята в комьюнити проделали аналогичную работу над книжками!
На основе книжек
Наш датасет на основе более разнообразного датамикса
🧐 Портал в мир науки открывается по средам!
Уже 2 октября в 18:30 встречаемся в Reading Club, чтобы обсудить новую порцию научных прорывов из мира AI.
Гость: Карина Романова
TeamLead CoreLLM:recsys.
Отвечает за добавление текстовых и картиночных фичей в рекомендации Wildberries. Магистрантка AI Talent Hub.
➡️ Разберемся в новом подходе к интерпретации крупных языковых моделей на примере Claude Sonnet. Обсудим, как удалось их выявить, какие концепции формируются внутри модели и как это может улучшить безопасность и надежность ИИ в будущем.
🔖 статья: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
➡️ Зарегистрироваться
📹 Смотреть предыдущий выпуск
#ReadingClub #AITalentHub #NapoleonIT #ITMO
Чёт какой то пиздец творится в Abby, всех уволили одним днём. Пока не понятно, по цвету паспорта или просто всю разработку.
Ребята в революте нанимают:
- Computer Vision
- Natural Language Processing
- Engineering
- Product Owners
pavel.nesterov@revolut.com
Если у вы имеетее дс вакансии, пишите в личку/ кидайте под пост и добавлю в сообщение
зарабатывать на разводе бабок на комиссии, говорить что вы ИТ компания
Читать полностью…
moviegen фбшный
примеру:
- авторы собрали буквально пачку контента на которых старые video gen модели плохо работали и разметили
- проверили чтобы 60% данных содержали людей(sic!!!)
- выкинули всякие сомнительные классы движения
- учили biderectional llama и сами пишут: "we don't explore design choice" те прикинули да, китайская лаба с бюджетом два доширака может позволить себе 1б модель погонять и проверить, а что лучше работаеи, а что хуже, а meta нет))
- "параграф для флекса инфрой" - просто существует
- данные это по сути масштабированный panda 70m
- усреднили sft чекпоинт с претрен.
- evaluation мне лично не особо интересен, забейте, все всех победили
Высокоцитируемый и безработный
В канал Русский research обратился учёный с необычной судьбой, Сергей Вениаминович Дорожкин, с просьбой рассказать о его ситуации и, возможно, помочь тем самым его научной работе. Я крайне редко посвящаю посты отдельным людям, но тут случай действительно уникальный.
Начнём с того, что С.В. Дорожкин является одним из самых цитируемых российских учёных (8-е место при нормировке цитирований на число соавторов) и попадает в топ-100 мирового рейтинга специалистов по биоматериаловедению. Одновременно с этим уже 20 лет Сергей Вениаминович занимается наукой лишь в качестве хобби по 1-1,5 часа в день, работая инженером по калибровке лабораторных приборов в коммерческой компании. Не имея доступа к лаборатории, учёный занимается анализом литературы и написанием обзорных статей, что само со себе непростой труд. Обзоры С.В. Дорожкина выходят в международных журналах и хорошо цитируются. Об этой удивительной ситуации писал ранее А.Р. Хохлов.
Сергей Вениаминович рассказывает, что в 2004 году закончился его последний контракт постдока в Канаде, и он вернулся в Москву, предварительно написав во все московские научные институты, где занимались близкой тематикой. Никто не ответил, приглашений на работу не поступило. В дальнейшем учёный периодически пытался выйти на контакт с представителями химфака МГУ, ИМЕТ РАН и, ранее, ИОНХ РАН, но тоже не получал ответов. В итоге он стал искать работу в коммерческих предприятиях и пришёл к текущей специальности инженера.
Единственная конструктивная реакция последовала буквально недавно от академика А.Р. Хохлова, который организовал у себя в лаборатории семинар С.В. Дорожкина, а затем принял его на работу на полставки. К сожалению, тематически интересы двух учёных в итоге не совпали, энтузиазм стал угасать, а сотрудничество на данный момент не сложилось.
Сейчас цель Сергея Вениаминовича очень проста. Найти возможность заниматься исследованиями по основному месту работы, уделять науке кратно больше времени и получать за это достойные деньги. Учёный готов как продолжить свою деятельность по написанию обзорных работ, так и подключиться к действующей лаборатории в рамках её тематики. Да, Сергей Вениаминович честно признаёт, что не умеет и не хочет участвовать в грантовой гонке. С другой стороны, свою способность выдавать востребованную «научную продукцию» он уже доказал, и, я думаю, имеет право претендовать на место в коллективе без традиционной административной нагрузки.
P.S. Честно говоря, я удивляюсь, почему никакой университет (особенно из числа бьющихся за показатели) не догадался пригласить С.В. Дорожкина на работу чисто из утилитарных соображений. Просто обеспечив учёному хороший оклад и рабочее место, организация получает, как минимум, стабильный поток востребованных статей в международных журналах и высокорейтингового сотрудника в качестве вечнозелёного инфоповода. Как максимум – при наличии близких по тематике химиков – получает консультации специалиста с широкой эрудицией в своей области.
С другой стороны, приходится признать, что уехавшим за рубеж учёным зачастую бывает сложно вернуться в российскую научную жизнь. Это другая система отношений (не худшая и не лучшая, а именно другая), и разница не сводится к пресловутым бегам за грантами. Хотя, безусловно, и вечный поиск финансирования доливает масла в огонь.
Ну и поскольку пост в жанре "ищу работу" публикуется в канале впервые, я понятия не имею, чем его заканчивать. Пожелаю Сергею Вениаминовичу найти правильное место и, наконец, уделять науке столько времени, сколько хочется.
Большая статья от гугл где показывают известные факты на ээээ Palm.
Читать полностью…
Британские ученые решили проводить научные опыты вместо мышей на стажерах.
Во-первых, стажеров больше. Во-вторых, мышей жалко. И в-третьих, есть вещи, которые мыши отказываются делать
Ну что, сработала техника, получается. А нужен был всего лишь простой советский перевод Агаты Кристи.
Сайга пока догоняет, поэтому в качестве основы я взял Вихрь-Немо.
Аналогично оригинальному Ataraxy, дообучил модель через ORPO на датасете, описанном выше, и слил получившийся тюн с оригиналом. Внезапно получил +0.1 на ПингПонге. На арене стало чуть хуже, 77 у новой модели vs 80 у оригинала.
Сама модель: vikhr_nemo_orpo_dostoevsky_12b_slerp
В боте она тоже есть.
Мне очень нравится читать истерики clevels
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
Жаль что openai практически военная (по уровню анальности nda) организация и мы не знаем всех истерик внутри.
А жаль!
Попробовал новую модель от meta, прям хорошая
Очевидно нет
Читать что это - тут
Ребята из JetBrains тоже активно ищут Mlщиков всех видов вне рф, писать сюда @Voiaking
Umojo
ML инженеров для CV. И Тим лида для команды CV, вне рф
@Tanya_tepli
Я был до последнего уверен что blueberry это dalle4 лол
Читать полностью…
Учить что либо на более 10 нодах сложно. Уже начинает влиять топология кластера, падает MFU, отваливаются ноды и так далее, на лету выкидывать ноды из обучения сложно. Скорость интернета внутри датацентра одинаковая только в теории.
В целом любое массивное обучение на сотнях и тысячах нод это очень сложно, затратно и инженерно.
В первые вижу в паблике подробный блогпост про оптимизацию network level для обучения на 4к h100.
Блогпост
Feels like a best management book ever
Читать полностью…
Помните, писала, что у нас с коллегами приняли статью на COLM, но конференция в США и ни у кого из нас нет виз? Так вот, конференция 7-9 октября в Филадельфии, и мы все еще в поисках человека, который мог бы туда поехать и презентовать нашу статью😢
В том посте я писала, что нужно будет постоять рядом с нашим постером. Но теперь все немного сложнее: наша статья попала на oral (spotlight). То есть, нужно будет выйти зачитать доклад по нашей статье на 12 минут🌝 Текст и презентация доклада будут готовы.
Поэтому если вдруг вы или ваши коллеги едут на COLM, и готовы с этим нам помочь, напишите, пожалуйста, Лаиде. Вы очень-очень нам поможете!
(Я помню, что под предыдущим постом были люди, готовые помочь. Спасибо вам большое, что тогда откликнулись! Если вы все еще готовы помочь, будем очень рады)
зарабатывать на разводе гоев на инвестиции, говорить что вы строите agi
Читать полностью…
Попросили как-то админку квант барби провести урок математики в школе. Админка согласилась. После урока спрашивают, мол, что, как, были ли проблемы?
- Ну, был один школьник. Спрашивает, мол, что такое интеграл, а я в душе не ебу, что это такое.
- Ну, и как вы из ситуации вышли, как ответили?
- Я ответила уклончиво: мол, иди ка ты на хуй.