4254
❤️☠️🤗 идейная миграция небытия
Алена Шишкова, наверное, тяжело вздыхает и вступает в группу «Ждули» ВК
Читать полностью…
nvidia b200, уже в исполнении с жидкостным охлаждением и оптикой к разным кускам кластера
Читать полностью…
ICML 2024 — как это было
В этом году на одну из крупнейших конференций по машинному обучению, ICML, ездила большая делегация от Яндекса — там были и наши специалисты в сфере рекомендательных систем. Мы поговорили с Даниилом Лещёвым и Андреем Мищенко и узнали, какие доклады запомнились коллегам больше всего.
Рекомендательные системы
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
Статья на актуальную тему — о новой архитектуре ML-моделей в рекомендациях, позволяющей использовать все преимущества скейлинга. Результаты впечатляют — нам и самим захотелось попробовать!
Wukong: Towards a Scaling Law for Large-Scale Recommendations
Ещё один интересный пейпер, тоже от Meta, на тему масштабирования моделей в рекомендательных системах.
xLSTM: Extended Long Short-Term Memory
Авторы применяют методы и техники из мира новейших LLM, чтобы улучшить архитектуру, увеличить масштаб и повысить производительность LSTM-моделей.
Inferring the Long-Term Causal Effects of Long-Term Treatments from Short-Term Experiments
Статья от Netflix — авторы замеряют долгосрочные эффекты от внедрений через краткосрочные эксперименты. Рассматривая задачу в RL-постановке, получают теоретические оценки на результат и проверяют подход в симуляционных средах.
Интересное и забавное
Discovering environments with XRM
Статья об обучении в целом. Авторы предлагают метод перекрестной минимизации рисков (XRM) — учат 2 сети, каждая из которых использует случайную половину обучающих данных, тем самым повышая внимание к примерам, на которых ошибается текущая версия модели.
Enforced Amnesia as a Way to Mitigate the Potential Risk of Silent Suffering in Conscious AI
Не обошлось без забавного — здесь название говорит само за себя 😉
A Touch, Vision, and Language Dataset for Multimodal Alignment
Оригинальная тема — авторы обучали роборуку осязанию — трогать разные поверхности и описывать их: «мягкое, с пупырышками», «гладкое и твёрдое» и т. д.
А вам захотелось изучить статьи и опробовать подходы на практике?
@RecSysChannel
800 тыщ рублей в месяц на двоих не так уж и много
Читать полностью…
Короче, недогайд как искать работу стажем/джуном.
Нанимал стажеров себе на работу + помогал людям найти стажировку, чо то да знаю наверное.
Очевидно это рынок нанимателя, а не сотрудника, но есть нюанс. Конкурируете вы вероятнее всего с выпускниками скиллбоксов и прочих недошараг которые мало что умеют.
Поэтому позиции стажеров всегда закрываются миллион лет, а чаще всего лиды отмахиваются - стажер это чаще всего абуза на которого будут уходить силы сина/мидла. короче сплошной геморр.
Как это контрить? Показать что вы не абуза))) у многих команд есть opensource github и прочее, закиньте туда quickstart.ipynb который АККУРАТНО И ХОРОШО оформлен, покажите что от вас есть толк.
Писать hr_ам - гиблое дело заранее забейте , заметную часть cv тупо не прочитают. Хотите чтобы ваше св прочитали? Деаоньте лидов/синов из целевой команды))) ну и лучше всего искать команду себе по профилю, ну типа хоть один пет проект по теме лучше иметь чтобы приходить и можно было флексануть: да я уже чо то делал, чо то умею и вообще не лох.
Всякие лекции сбера-яндекса-и прочих ОТЛИЧНОЕ место чтобы найти работу. Ходите и пиздите, ищите людей из целевых команд, подходите и знакомьтесь. Так победите.
А как проходить собесы - ну тут любой гайд из интернета поможет, но в целом - leetcode(друг с чат гпт) и учебник бишопа - ваши лучшие друзья + учебник тындекса
Scaling LLM Test-Time Compute Optimally can
be More Effective than Scaling Model Parameters
Генерить из ллм хорошо - сложно, часто на решение задачи уходит много попыток и эти попытки надо как то проверять.
Это не особо проблема - у нас есть BoN sampling который за увеличение числа генераций может очень значимо докидывать к перфомансу модели. Единственный нюанс - никто никогда не сравнивал - а что дороже, очень много сэмплить мелкую дешевую тушку или взять большую дорогую и генерить меньше?
Авторы предлогают три бейзлайна: Beam search, BoN, LookAhead(типа сгенерили, спросили LM не хуйню ли, перегенерили если хуйню)
Собственно авторы учат маленькую RM для своего LookAhead, и показывают что в 4х раза эффективнее чем BoN и так же показывают что такой инференс не проигрывает 14х кратно большей модели(почему то PALM)
paper
И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.
Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.
Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.
За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.
Заходите на llmarena.ru и выбирайте лучшую модель!
Новое поколение вихрей выходит💨!
Первая из на основе gemma-2b, работает на уровне 8B моделей согласно нашей arena hard lb. Пока что с gemma prompting.
Cкоро будут модели на основе llama8b, gemma 9b.
model
Коллектив авторов: @LakoMoorDev @nlpwanderer
Заканчивается регистрация на летнюю школу по аналитике и Data Science
Школа состоится уже в эти выходные: слушателей ждут лекции и мастер-классы от спикеров из крупных компаний на четырех треках, а также возможность принять участие в подкасте «Уютный ФКНчик». Собрали для вас основную информацию:
Аналитика:
➖➖➖➖
▫️Спикеры из Яндекса, X5 Group, Ozon, ecom_tech (ex-Samokat_tech) расскажут о ключевых инструментах и навыках аналитиков и разберут прикладные кейсы компаний
▫️Подробнее о каждом докладе
Data Science:
➖➖➖➖
▫️Спикеры из AvitoTech, МТС, Альфа-Банка, Купера, НИУ ВШЭ расскажут о том, какие направления в ML стоит изучать сейчас, разберут реальные аспекты работы специалистов по Data Science и поделятся персональными задачами и их решениями в рамках своих компаний
▫️Подробнее о каждом докладе
Карьерный трек:
➖➖➖➖➖
▫️Эксперт Эйч расскажет, как выбрать направление в IT и грамотно «продать» себя работодателю, а спикеры из Центра непрерывного образования и компании «Вкусно и точка» поделятся процессом обучения аналитиков данных и специалистов по Data Science
▫️Подробнее о выступлениях
Общий трек:
➖➖➖➖
▫️Лекции спикеров из VK, Wildberries и Центра непрерывного образования будут посвящены асессорской разметке в рекомендациях, ML-технологиям в аналитических процессах и меняющихся ролях аналитиков данных и DS-специалистов в эпоху ИИ
▫️Подробное о выступлениях
Подкаст «Уютный ФКНчик»:
➖➖➖
▫️Участники школы станут зрителями пятнадцатого выпуска «Применение LLM сегодня: от развлечений до реальной пользы» и смогут принять непосредственное участие в подкасте и задать вопросы
▫️Подробнее
Когда: 24-25 августа
Где: Культурный Центр НИУ ВШЭ, г. Москва, Покровский бульвар, 11
Участие бесплатное для всех желающих, регистрация открыта до 22 августа
LLM полностью проникли в жизни многих из нас. И уже мало кто задумывается что еще несколько лет назад такого раздолья их видов еще не было. Да чего уж таить, еще полгода назад никто не мог представить open source модели в топе арены, а год назад (чуть чуть больше) арены еще не было, а открытые модели с трудом считали от 1 до 10.
Что бы вспомнить как мир генеративного NLP менялся в течении последних лет сделал такою демку - в который вы можете задать один и тот же вопрос моделям из разного времени и посмотреть на ответы - https://huggingface.co/spaces/freQuensy23/LLMhistory .
Серверные мощности на это я смог получить, купив подписку HF PRO. Имхо очень недооцененная вещь сейчас. С ней вы сможете создавать и бесплатно хостить до 10 spaces (мини апы на их сайте) с A100 в режиме ZERO gpu (gpu предоставляется когда заходит пользователь и забирается когда она не требуется) а так же слать много запросов на их serverless inference для LLM ок (ну и много других плюшек) - всего за 8 евро в месяц!
А скринами интересных генераций можете делиться в коментах
Любопытное развлечение - за 30 секунд найти максимум сгенерированных насекомых.
Если ошибашься - проигрываешь)
space
Ищу человека, что сможет передать 17 или 18 числа передать костюм из Питера в Москву за деньги
Писать в @mariamauner
Челы из Nous решили хайпануть что RP модель без промпта обретает сознание и ... боится и не видит и вообще кошмар. Короче все как в мангах про киберпанк и вообще!!!!
Ну я полез посмотреть их сеты, модель то для roleplay, а там *shocked pickachu* в датасете куча примеров с ghost in shell
Датасет к слову крутой.
Дело раскрыто, опять train leak, в целом ничего нового.
Всем привет, в это трудно поверить, но я Павел Дуров и сейчас я в тюрьме, мне нужны деньги на адвоката, поэтому поставьте звезды на этот пост плиииииз
Читать полностью…
Ебучий багетостан посадил Пашку, пиздец
Читать полностью…
Ранее, в июле 2017 года <персонаж> сделал похожее заявление в отношении юристов. При этом он посоветовал всем юристам срочно пополнить свои знания информацией об искусственном интеллекте и новейших компьютерных технологий. Он сказал, что не будет принимать на работу юристов, «которые не знают, что делать с нейронной сетью».
«Если вы хотите думать о будущем, то вам в университете обязательно нужно взять курс Сomputer science, каким бы вы специалистом ни были: юрист, экономист или менеджер»
Не гугля угадаете персонажа?
Правильный ответ: Герман Греф)))
@simplyobot подняли бота от мужского одиночества. Бесплатно. Мощно. Надолго.
Читать полностью…
Люблю эту картинку, подпись не придумал
Читать полностью…
Каждый день на LB шлепы и Arena Hard появляются новые модели, благодаря контрибьютерам замерили: Mistral large, Openchat, ruadapt от МГУ(очень недооценные модели) а так же скоро будут мерится квантованные версии!
Заливайте свои модели тут!
ищу челиксов которые торгуют 3090/4090 с 48gb памяти, отпишитесь в @transformerslovedeatch
речь про перепаянные карты с 48гб памяти
челы из xlabs выложили deforum для FLUX
github
Automated Design of Agentic Systems
С агентами на llmках всегда была одна большая проблем - их дизайнят люди, исходя из человеческого представления о менджменте и задачах(что в целом имеет мало смысла в отношении lm_ок)
Собственно авторы представляют свою вариацию на тему: а что если мы дадим возможность системе переставлять блоки внтури себя и выбирать какой сетап эффективнее для решения той или иной задачи.
Ну и в таком сетапе дейстивительно становится знаачительно лучшие результаты без пресловутого test on train set.
paper
code
n лет подряд люди придумывают blenderbot и каждый раз выясняется что такая схема плохо работает. Удивительно.
blog
Почему у тебя secret chat с коллегой в телеграме?
Читать полностью…