4253
❤️☠️🤗 идейная миграция небытия
Люблю эту картинку, подпись не придумал
Читать полностью…
Каждый день на LB шлепы и Arena Hard появляются новые модели, благодаря контрибьютерам замерили: Mistral large, Openchat, ruadapt от МГУ(очень недооценные модели) а так же скоро будут мерится квантованные версии!
Заливайте свои модели тут!
ищу челиксов которые торгуют 3090/4090 с 48gb памяти, отпишитесь в @transformerslovedeatch
речь про перепаянные карты с 48гб памяти
челы из xlabs выложили deforum для FLUX
github
Automated Design of Agentic Systems
С агентами на llmках всегда была одна большая проблем - их дизайнят люди, исходя из человеческого представления о менджменте и задачах(что в целом имеет мало смысла в отношении lm_ок)
Собственно авторы представляют свою вариацию на тему: а что если мы дадим возможность системе переставлять блоки внтури себя и выбирать какой сетап эффективнее для решения той или иной задачи.
Ну и в таком сетапе дейстивительно становится знаачительно лучшие результаты без пресловутого test on train set.
paper
code
n лет подряд люди придумывают blenderbot и каждый раз выясняется что такая схема плохо работает. Удивительно.
blog
Почему у тебя secret chat с коллегой в телеграме?
Читать полностью…
#чтивонаночь
Parler-TTS
- T5 как энкодер, на выходе учили тонкий декодер который работает с EnCodec like токенами
- 45к часов в претрене, можно с помощью промпта управлять тем как генерится речь(акцентом спикера тоже)
Обучение заняло всего 4 дня на 8h100
Очевидно умеет стримится в realtime, доступно в виде
🤗 space
github
Вот с какого сообщения начался мой понедельник.
Вероятно, данной уважаемой организации не понравился пост /channel/tech_priestess/1575 и /channel/tech_priestess/1579 .
P.S. Никакого нарушения копирайта на самом деле там, конечно, нет, просто даны ссылки на Ютуб видео где чел рассказывает про свое взаимодействие с этими ребятами.
Написал пост на substack про то как я портировал AQLM на мобильные телефоны и как мы с @galbdm умудрились запихнуть Llama-3.1-8b в 2.5 Гб RAM.
В посте детали про то, что нужно было дописать в Executorch чтобы скомпилировать и линкануть кастомные кернелы и как все это дело экспортировать на мобилки.
P.S. подписывайтесь на мой twitter.
Короче, недогайд как искать работу стажем/джуном.
Нанимал стажеров себе на работу + помогал людям найти стажировку, чо то да знаю наверное.
Очевидно это рынок нанимателя, а не сотрудника, но есть нюанс. Конкурируете вы вероятнее всего с выпускниками скиллбоксов и прочих недошараг которые мало что умеют.
Поэтому позиции стажеров всегда закрываются миллион лет, а чаще всего лиды отмахиваются - стажер это чаще всего абуза на которого будут уходить силы сина/мидла. короче сплошной геморр.
Как это контрить? Показать что вы не абуза))) у многих команд есть opensource github и прочее, закиньте туда quickstart.ipynb который АККУРАТНО И ХОРОШО оформлен, покажите что от вас есть толк.
Писать hr_ам - гиблое дело заранее забейте , заметную часть cv тупо не прочитают. Хотите чтобы ваше св прочитали? Деаоньте лидов/синов из целевой команды))) ну и лучше всего искать команду себе по профилю, ну типа хоть один пет проект по теме лучше иметь чтобы приходить и можно было флексануть: да я уже чо то делал, чо то умею и вообще не лох.
Всякие лекции сбера-яндекса-и прочих ОТЛИЧНОЕ место чтобы найти работу. Ходите и пиздите, ищите людей из целевых команд, подходите и знакомьтесь. Так победите.
А как проходить собесы - ну тут любой гайд из интернета поможет, но в целом - leetcode(друг с чат гпт) и учебник бишопа - ваши лучшие друзья + учебник тындекса
Scaling LLM Test-Time Compute Optimally can
be More Effective than Scaling Model Parameters
Генерить из ллм хорошо - сложно, часто на решение задачи уходит много попыток и эти попытки надо как то проверять.
Это не особо проблема - у нас есть BoN sampling который за увеличение числа генераций может очень значимо докидывать к перфомансу модели. Единственный нюанс - никто никогда не сравнивал - а что дороже, очень много сэмплить мелкую дешевую тушку или взять большую дорогую и генерить меньше?
Авторы предлогают три бейзлайна: Beam search, BoN, LookAhead(типа сгенерили, спросили LM не хуйню ли, перегенерили если хуйню)
Собственно авторы учат маленькую RM для своего LookAhead, и показывают что в 4х раза эффективнее чем BoN и так же показывают что такой инференс не проигрывает 14х кратно большей модели(почему то PALM)
paper
И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.
Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.
Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.
За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.
Заходите на llmarena.ru и выбирайте лучшую модель!
Новое поколение вихрей выходит💨!
Первая из на основе gemma-2b, работает на уровне 8B моделей согласно нашей arena hard lb. Пока что с gemma prompting.
Cкоро будут модели на основе llama8b, gemma 9b.
model
Коллектив авторов: @LakoMoorDev @nlpwanderer
Заканчивается регистрация на летнюю школу по аналитике и Data Science
Школа состоится уже в эти выходные: слушателей ждут лекции и мастер-классы от спикеров из крупных компаний на четырех треках, а также возможность принять участие в подкасте «Уютный ФКНчик». Собрали для вас основную информацию:
Аналитика:
➖➖➖➖
▫️Спикеры из Яндекса, X5 Group, Ozon, ecom_tech (ex-Samokat_tech) расскажут о ключевых инструментах и навыках аналитиков и разберут прикладные кейсы компаний
▫️Подробнее о каждом докладе
Data Science:
➖➖➖➖
▫️Спикеры из AvitoTech, МТС, Альфа-Банка, Купера, НИУ ВШЭ расскажут о том, какие направления в ML стоит изучать сейчас, разберут реальные аспекты работы специалистов по Data Science и поделятся персональными задачами и их решениями в рамках своих компаний
▫️Подробнее о каждом докладе
Карьерный трек:
➖➖➖➖➖
▫️Эксперт Эйч расскажет, как выбрать направление в IT и грамотно «продать» себя работодателю, а спикеры из Центра непрерывного образования и компании «Вкусно и точка» поделятся процессом обучения аналитиков данных и специалистов по Data Science
▫️Подробнее о выступлениях
Общий трек:
➖➖➖➖
▫️Лекции спикеров из VK, Wildberries и Центра непрерывного образования будут посвящены асессорской разметке в рекомендациях, ML-технологиям в аналитических процессах и меняющихся ролях аналитиков данных и DS-специалистов в эпоху ИИ
▫️Подробное о выступлениях
Подкаст «Уютный ФКНчик»:
➖➖➖
▫️Участники школы станут зрителями пятнадцатого выпуска «Применение LLM сегодня: от развлечений до реальной пользы» и смогут принять непосредственное участие в подкасте и задать вопросы
▫️Подробнее
Когда: 24-25 августа
Где: Культурный Центр НИУ ВШЭ, г. Москва, Покровский бульвар, 11
Участие бесплатное для всех желающих, регистрация открыта до 22 августа
LLM полностью проникли в жизни многих из нас. И уже мало кто задумывается что еще несколько лет назад такого раздолья их видов еще не было. Да чего уж таить, еще полгода назад никто не мог представить open source модели в топе арены, а год назад (чуть чуть больше) арены еще не было, а открытые модели с трудом считали от 1 до 10.
Что бы вспомнить как мир генеративного NLP менялся в течении последних лет сделал такою демку - в который вы можете задать один и тот же вопрос моделям из разного времени и посмотреть на ответы - https://huggingface.co/spaces/freQuensy23/LLMhistory .
Серверные мощности на это я смог получить, купив подписку HF PRO. Имхо очень недооцененная вещь сейчас. С ней вы сможете создавать и бесплатно хостить до 10 spaces (мини апы на их сайте) с A100 в режиме ZERO gpu (gpu предоставляется когда заходит пользователь и забирается когда она не требуется) а так же слать много запросов на их serverless inference для LLM ок (ну и много других плюшек) - всего за 8 евро в месяц!
А скринами интересных генераций можете делиться в коментах
Любопытное развлечение - за 30 секунд найти максимум сгенерированных насекомых.
Если ошибашься - проигрываешь)
space
Ищу человека, что сможет передать 17 или 18 числа передать костюм из Питера в Москву за деньги
Писать в @mariamauner
Челы из Nous решили хайпануть что RP модель без промпта обретает сознание и ... боится и не видит и вообще кошмар. Короче все как в мангах про киберпанк и вообще!!!!
Ну я полез посмотреть их сеты, модель то для roleplay, а там *shocked pickachu* в датасете куча примеров с ghost in shell
Датасет к слову крутой.
Дело раскрыто, опять train leak, в целом ничего нового.
Поздравляем ребят с победой на IAIO!
Алсо там пишут что какие то люди из орг комитета убрали что ребята из россии, может пнем совместно оргов в твиттере/личке если они известны вам лично :3
Алсо тренерский состав поздравляем: @neural_wine
Ищу лектора который готов кринжевать на трансляции. Хочется сделать CAI trans(cringe ai tрансляция) любой ресерч топик который вам нравится, желательно иметь хирш от 3 и опыт двачевания от года.
Идея такая: Меня заебали душные доклады про yet another что то там model, хочется подпивасную веселую лекцию с мемами, шутками за 300 и чтобы уютно было. Модератором буду я.
пишите с предложенияем в @transformerslovedeatch в формате: вот про такую статью хочу рассказать, вот такой топик я ресерчу в академии/на работе
Релиз русских бенчмарков
Shlepa Small - бенчмарк на знаний русскоязычной культуры, своего рода ЕГЭ.
book_mc - своего рода егэ по литературе, проверяет что модель знает персонажей разных книг
lawmc - проверит что моделька видела законы
music_mc - проверит что моделька видела очень много музыкальных текстов в претрене
movie_mc - проверяет на знание сюжетов фильмов
mmlu_pro - классический переведенный mmlu pro
Скоро будет статья на хабре с подробным рассказом.
LeaderBoard куда каждый может сабмитить модель
Чат, а накидайте какими тг ботами с гпт вы пользуетесь
Читать полностью…
Новый бенчмарк LIBRA для оценки способностей моделей работать с длинным контекстом на русском языке
https://habr.com/ru/companies/sberdevices/articles/834638/
Препринт статьи
GitHub
Лидерборд