4253
❤️☠️🤗 идейная миграция небытия
Новое поколение вихрей выходит💨!
Первая из на основе gemma-2b, работает на уровне 8B моделей согласно нашей arena hard lb. Пока что с gemma prompting.
Cкоро будут модели на основе llama8b, gemma 9b.
model
Коллектив авторов: @LakoMoorDev @nlpwanderer
Заканчивается регистрация на летнюю школу по аналитике и Data Science
Школа состоится уже в эти выходные: слушателей ждут лекции и мастер-классы от спикеров из крупных компаний на четырех треках, а также возможность принять участие в подкасте «Уютный ФКНчик». Собрали для вас основную информацию:
Аналитика:
➖➖➖➖
▫️Спикеры из Яндекса, X5 Group, Ozon, ecom_tech (ex-Samokat_tech) расскажут о ключевых инструментах и навыках аналитиков и разберут прикладные кейсы компаний
▫️Подробнее о каждом докладе
Data Science:
➖➖➖➖
▫️Спикеры из AvitoTech, МТС, Альфа-Банка, Купера, НИУ ВШЭ расскажут о том, какие направления в ML стоит изучать сейчас, разберут реальные аспекты работы специалистов по Data Science и поделятся персональными задачами и их решениями в рамках своих компаний
▫️Подробнее о каждом докладе
Карьерный трек:
➖➖➖➖➖
▫️Эксперт Эйч расскажет, как выбрать направление в IT и грамотно «продать» себя работодателю, а спикеры из Центра непрерывного образования и компании «Вкусно и точка» поделятся процессом обучения аналитиков данных и специалистов по Data Science
▫️Подробнее о выступлениях
Общий трек:
➖➖➖➖
▫️Лекции спикеров из VK, Wildberries и Центра непрерывного образования будут посвящены асессорской разметке в рекомендациях, ML-технологиям в аналитических процессах и меняющихся ролях аналитиков данных и DS-специалистов в эпоху ИИ
▫️Подробное о выступлениях
Подкаст «Уютный ФКНчик»:
➖➖➖
▫️Участники школы станут зрителями пятнадцатого выпуска «Применение LLM сегодня: от развлечений до реальной пользы» и смогут принять непосредственное участие в подкасте и задать вопросы
▫️Подробнее
Когда: 24-25 августа
Где: Культурный Центр НИУ ВШЭ, г. Москва, Покровский бульвар, 11
Участие бесплатное для всех желающих, регистрация открыта до 22 августа
LLM полностью проникли в жизни многих из нас. И уже мало кто задумывается что еще несколько лет назад такого раздолья их видов еще не было. Да чего уж таить, еще полгода назад никто не мог представить open source модели в топе арены, а год назад (чуть чуть больше) арены еще не было, а открытые модели с трудом считали от 1 до 10.
Что бы вспомнить как мир генеративного NLP менялся в течении последних лет сделал такою демку - в который вы можете задать один и тот же вопрос моделям из разного времени и посмотреть на ответы - https://huggingface.co/spaces/freQuensy23/LLMhistory .
Серверные мощности на это я смог получить, купив подписку HF PRO. Имхо очень недооцененная вещь сейчас. С ней вы сможете создавать и бесплатно хостить до 10 spaces (мини апы на их сайте) с A100 в режиме ZERO gpu (gpu предоставляется когда заходит пользователь и забирается когда она не требуется) а так же слать много запросов на их serverless inference для LLM ок (ну и много других плюшек) - всего за 8 евро в месяц!
А скринами интересных генераций можете делиться в коментах
Любопытное развлечение - за 30 секунд найти максимум сгенерированных насекомых.
Если ошибашься - проигрываешь)
space
Ищу человека, что сможет передать 17 или 18 числа передать костюм из Питера в Москву за деньги
Писать в @mariamauner
Челы из Nous решили хайпануть что RP модель без промпта обретает сознание и ... боится и не видит и вообще кошмар. Короче все как в мангах про киберпанк и вообще!!!!
Ну я полез посмотреть их сеты, модель то для roleplay, а там *shocked pickachu* в датасете куча примеров с ghost in shell
Датасет к слову крутой.
Дело раскрыто, опять train leak, в целом ничего нового.
Поздравляем ребят с победой на IAIO!
Алсо там пишут что какие то люди из орг комитета убрали что ребята из россии, может пнем совместно оргов в твиттере/личке если они известны вам лично :3
Алсо тренерский состав поздравляем: @neural_wine
Ищу лектора который готов кринжевать на трансляции. Хочется сделать CAI trans(cringe ai tрансляция) любой ресерч топик который вам нравится, желательно иметь хирш от 3 и опыт двачевания от года.
Идея такая: Меня заебали душные доклады про yet another что то там model, хочется подпивасную веселую лекцию с мемами, шутками за 300 и чтобы уютно было. Модератором буду я.
пишите с предложенияем в @transformerslovedeatch в формате: вот про такую статью хочу рассказать, вот такой топик я ресерчу в академии/на работе
Релиз русских бенчмарков
Shlepa Small - бенчмарк на знаний русскоязычной культуры, своего рода ЕГЭ.
book_mc - своего рода егэ по литературе, проверяет что модель знает персонажей разных книг
lawmc - проверит что моделька видела законы
music_mc - проверит что моделька видела очень много музыкальных текстов в претрене
movie_mc - проверяет на знание сюжетов фильмов
mmlu_pro - классический переведенный mmlu pro
Скоро будет статья на хабре с подробным рассказом.
LeaderBoard куда каждый может сабмитить модель
Чат, а накидайте какими тг ботами с гпт вы пользуетесь
Читать полностью…
Новый бенчмарк LIBRA для оценки способностей моделей работать с длинным контекстом на русском языке
https://habr.com/ru/companies/sberdevices/articles/834638/
Препринт статьи
GitHub
Лидерборд
Для flux начали появляться первые робкие контролнеты!
Hf
Tweet
@derplearning
У вас есть магнитные шарики. Известно что из них можно собрать кубик где будут полосками идти все цвета, полоски имеют одинаковую ширину. Как вы будете собирать из этих шариков кубик так чтобы потратить минимум времени и свести ошибку к минимуму?
Сколько вам для этого нужно человек?
Китайцы дропнули SORA CogVideo -x
2b модель, генерит 24 кадра, 6*8 fps, выглядит очень вкусно и вероятно будет неплохой базой для finetun_ов по меньшей мере framerate_a и LORA
- архитектурно это 3d vision transformer c ROPE
- данные закэпшенили через cogvlm
link
paper
ищу челиксов которые торгуют 3090/4090 с 48gb памяти, отпишитесь в @transformerslovedeatch
речь про перепаянные карты с 48гб памяти
челы из xlabs выложили deforum для FLUX
github
Automated Design of Agentic Systems
С агентами на llmках всегда была одна большая проблем - их дизайнят люди, исходя из человеческого представления о менджменте и задачах(что в целом имеет мало смысла в отношении lm_ок)
Собственно авторы представляют свою вариацию на тему: а что если мы дадим возможность системе переставлять блоки внтури себя и выбирать какой сетап эффективнее для решения той или иной задачи.
Ну и в таком сетапе дейстивительно становится знаачительно лучшие результаты без пресловутого test on train set.
paper
code
n лет подряд люди придумывают blenderbot и каждый раз выясняется что такая схема плохо работает. Удивительно.
blog
Почему у тебя secret chat с коллегой в телеграме?
Читать полностью…
#чтивонаночь
Parler-TTS
- T5 как энкодер, на выходе учили тонкий декодер который работает с EnCodec like токенами
- 45к часов в претрене, можно с помощью промпта управлять тем как генерится речь(акцентом спикера тоже)
Обучение заняло всего 4 дня на 8h100
Очевидно умеет стримится в realtime, доступно в виде
🤗 space
github
Вот с какого сообщения начался мой понедельник.
Вероятно, данной уважаемой организации не понравился пост /channel/tech_priestess/1575 и /channel/tech_priestess/1579 .
P.S. Никакого нарушения копирайта на самом деле там, конечно, нет, просто даны ссылки на Ютуб видео где чел рассказывает про свое взаимодействие с этими ребятами.
Написал пост на substack про то как я портировал AQLM на мобильные телефоны и как мы с @galbdm умудрились запихнуть Llama-3.1-8b в 2.5 Гб RAM.
В посте детали про то, что нужно было дописать в Executorch чтобы скомпилировать и линкануть кастомные кернелы и как все это дело экспортировать на мобилки.
P.S. подписывайтесь на мой twitter.
Очень классный туториал с недавнего ICML: Physics of Language Models.
Я бы даже сказала, что это не туториал, а довольно большая работа по LLM explainability. Конкретнее, авторы хотят приблизиться к ответу на вопросы "где находится и как устроен intelligence у LLM" и "что делать, чтобы intelligence усилить, т.е. подойти ближе к AGI".
Подход у них довольно интересный. Авторы делят intelligence на три категории:
- Language structures. Это о том, как LLM выучивает сложную структуру языка. Т.е. какие механизмы в этом задействованы и как идейно происходит обработка текста;
- Reasoning. Это про способность LLM к рассуждениям, выводам и аргументации;
- Knowledge. Как устроено хранение информации в LLM, как ей манипулировать и как объем информации, которую вмещает LLM, зависит от количества ее параметров.
Изучать это все предлагают следующим образом: давайте для каждой категории сгенерируем синтетические данные с заранее известными свойствами, на которых будем обучать LLM и смотреть, как LLM эти свойства выучивает. К примеру, для language structures авторы предложили сгенерировать датасет семейства контекстно-свободных грамматик со сложной структурой (более сложной, чем у обычных английских текстов). Обучая модель на таких данных авторы смотрят на то, что происходит внутри модели (например, какие паттерны attention активируются) и делают выводы о том, каким образом, каким алгоритмом LLM обрабатывает язык.
В посте ниже опишу общие выводы, которые авторы делают из своей работы. А вот ссылки на видео/статьи туториала:
Сайт
Part 1: Hierarchical Language Structures:
- Видео;
- Статья на arxiv;
Part 2: Grade-School Math:
- Видео будет тут после 20 августа;
- Статьи на arxiv: часть 1, часть 2 обещают вот-вот;
Part 3: Knowledge:
- Видео;
- Статьи на arxiv: часть 1, часть 2, часть 3
Russian часть теперь на MTEB LB.
Обожаю наше community.
Спасибо @SamoedR, что закинул в web ui замеры по нашей системе бенча.
https://huggingface.co/spaces/mteb/leaderboard
Слава богу нормальное использование genai - вайфа проследит чтобы пива было сколько надо
Читать полностью…
меня так радует что российские компании решили ai safety тупо через классификаторы аутпутов
Если вы не поняли это не стеб, это реально самое здравое решение из существующих