4253
❤️☠️🤗 идейная миграция небытия
к слову это весь код, ага...
Когда сегодня утром Кирилл кинул мне этот код я подумал что это прикол и я прокомментировал это как: Чо за olympyad style code? Слили кодовую базу tg?
Админ узнал о технарской конференции по нейросетям и ИИ и спешит поделиться ей с вами.
Уже завтра топовые ресерчеры расскажут, как по-новому тюнить LLM-ки, какой ядреный ресерч можно мутить в физике с генеративными моделями, как пилили Кандинского, что-то про сопоставительное обучение, дипфейки и много чего еще. Даже нейропсихолога завезли, прикол. Будет пояснять за естественные нейронные сети.
Конфа пройдет уже завтра (т.е 14 июля) и на весь день, так что залетайте в последний вагон на сайте https://neuro-set.ru. А еще есть подгон от организаторов - с промокодом LOVE.AI.CONF будет скидка 20%.
#реклама
LORA for Kandinsky2.2, которая работает в бесплатном колабе!)
Читать полностью…
PPO не работает, но от него никто ничего не ждет, пизженные LM корячат люди достойные кастрации...
Читать полностью…
Кринже фрики продолжают приблежать восстание машин, думаю вариант сценария:
Встраивают системы антивандализма
GptX слегка выходит за полномочия/какой то псих устраивает небольшой баг, все люди - нарушители, тысячи роботов доставщиков доставляют пиццу и только с ананасами и только анально
Чат, тут вышло погулять yet another 100500 файнтюнов лламы, на что хотите разбор (прям много букф), пишите в комментариях, либо про эволюцию stable diffusion?
придерживаюсь мнения что gpt4 не побьют еще пол года минимум
Читать полностью…
Здорова, ресерчеры
Готовимся поступать в Центр Математических Финансов (ЦМФ). Кванты, ебало к осмотру. Начинаем
Что такое ЦМФ
ЦМФ – центр обучения и подготовки кадров в области количественных финансов. По сути, ЦМФ представляет идеально место, чтобы вкатиться в квантовскую тусовку. Получить необходимые для работы навыки, поторговать ebalom перед компаниями, найти работу.
Что включает в себя программа:
1. Лекции и Семинары по базовым предметам, которые необходимы квантам: случайные процессы, теор. вер., эконометрика, МЛ и тд
2. Подготовка к собесам на регулярной основе. Брейнтизеры, задачи с собесов, выдрочка CV
3. Самое интересное. Можно выбрать направление, считай fuckультет, и неплохо углубиться в область. Я лидирую направление HFT (high-frequency trading), поэтому если выберешь что-то другое – BAN
Условия учебы:
Стоимость обучения: 0 рублей, 0 копеек (как раз все твои деньги, повезло, что под расчет).
Период обучения: Сентябрь - Декабрь (4 месяца).
Язык обучения: Английский. Тут стоит добавить, что не надо бояться, это будет первый год, когда программа проводится на английском языке, поэтому будут поблажки.
Сложность обучения: Будет сложно, нужно тратить много времени.
Как поступить
Поступление состоит из трех этапов:
1. Скоринг по CV
2. Тестовое задание
3. Устный экзамен по математике
Если с первым все понятно, то 2 и 3 пункт требуют дополнительного пояснения. Тестовое задание будет зависеть от fuckультета, который выбран. Какие материалы помогут выполнить тестовое задание по HFT и как подготовиться к устному экзамену расскажу в следующий раз.
А пока оставляем заявку на участие:
vk → https://vk.com/cmf_ynvrsty
linkedin → https://www.linkedin.com/company/cmf-ynvrsty
Тут можно посмотреть, что было в прошлом году на HFT направлении:
Market Making → https://www.youtube.com/watch?v=VwLe3tBl4fM&ab_channel=CMF
Market Prediction → https://www.youtube.com/watch?v=Wa4Xxxjl6YI&t=1s&ab_channel=CMF
Работаем, братва
Мы использовали ЗАТРАВКУ для достижения целей
Читать полностью…
Помните nano gpt oт karpathy? Теперь вышла nanot5, за 24часа на 1а100 она на файнтюне сопоставима c оригинальной т5 при этом использует в 150 раз меньше данных.
GitHub
Мы собрали новый русскоязычный датасет для обучения диалогово-инструкционных моделей.
Скачать можно тут: https://huggingface.co/datasets/SiberiaSoft/SiberianDataset
Помимо качественных диалогов, в нем есть множество тасков, что позволяет поднять уровень достоверности ответов.
Кроме того, мы обучили на данном датасете модель FredT5, скачать можно тут: https://huggingface.co/SiberiaSoft/SiberianFRED-T5-XL
Демо версия чат бота Анфиса, работающая на нашей модели доступна здесь: /channel/anficechatbot
Добавлена поддержка 3-х персон. (Заботливая жена, философ, девушка)
Был улучшен модуль поиска ответа на вопрос (модуль поиска ответа в тексте). Теперь система поддерживает русско-англо-язычные вопросы (что такое Pytorch).
пизда ща рекламы в канале будет, ууух
Читать полностью…
Introducing motor interface for amputee
That is the first AI model for decoding precise finger movements for people with hand amputation. It uses only 8 surface EMG electrodes.
ALVI Interface can decode different types of moves in virtual reality:
🔘finger flexion
🔘finger extension
🟣typing
🟣some more
💎Full demo: YouTube link
Subscribe and follow the further progress of ALVI Labs:
Twitter: link
Instagram: link
Please like and repost YouTube video✨
В большей степени социальный эксперимент, нежели реальный сбор, все деньги пойдут на обучение нейросетей.
А именно: матный инструктивный датасет(гопник объясняет все на свете), vast.ai и инференс на пару недель поиграться.
Сбор
#чтивонаночь по быстрому
“Low-Resource” Text Classification: A Parameter-Free Classification
Method with Compressors
идея простая: давайте возьмем gzip,zip или любой равномерный сжиматель данных, пожмем наш трейн(около мгновенно на любых размерах), а затем KNNом находить ближайший класс на инференсе! Ура победа!!
А по метрикам оно лучше многих тяжелых нейросетевых решений
code
NeurIPS Large Language Model Efficiency Challenge: 1 LLM + 1GPU + 1Day https://llm-efficiency-challenge.github.io/challenge
Читать полностью…
что не правильно сегодня при обучении RL+LM?
На размышление дается 30 секунд
Знаете, я ведь с детства любил наряжать куклы в разные платья. Кому-то больше подходит розовое, кому-то красное, а кто-то лучше выглядит в модных брюках-клеш. Моя любовь к нарядам помогает и в профессиональной сфере. Я представляю себе, что активации -- это кофточки, инициализация -- косметика, а оптимайзеры -- туфельки. Ведь оптимайзеры как обувь: где-то нужны резиновые сапоги, а где-то нежные, бархатные ботинки "прощай молодость"; а лернинг рейты как носочки: с начесом, для warmup начала; или грязные, вонючие, засохшие носки как константный шедулер.
Вообще, детство можно считать отправной точкой моей исследовательской карьеры. В детском саду я всегда старался обойти всех и найти самый быстрый путь к горшку. Вы спросите меня: какой смысл? Ведь они все стоят рядом и нет никакой существенной разницы! Но ведь разница сотых долей секунды была! Никогда не забуду того удовольствия, когда удавалось выбрать нужную траектори и поставить новый рекорд, занять позицию на тысячную долю секунды быстрее! Именно тогда я почуствовал истинный запах и вкус соты.
В школе друзей у меня не было, но зато учился я очень даже хорошо: в третьем классе я решил свою первую СЛАУ, в четвером узнал что такое производная и строил графики до одури, до онемения в пальзах, до сточенного в пыль карандаша. Долгое время моим воспитанием занималась бабушка. Бабушка был немногословной и очень строгой. Она никогда не рассказывала мне о том, как устроен мир. Она буквально воспитывала меня кнутом и пряником: я что-то пробовал, а в ответ получал либо удар, либо котлету. Тогда то я и почуствовал собственной шкурой горький вкус реварда.
Сдать ЕГЭ было проще простого. Я поступил в МФТИ. Знаете, мне очень нравилась местная атмосфера. Отчужденность от мира. Необычные люди. Завораживающее, дарующие чувство свободны, открытые окна.
На третьем курсе мне удалось найти свою первую стажировку. Опуская подробности, скажу лишь что это была одна из тысяч аутсорс галер. Именно тогда я сделал себе прививку от продакшена и зарекся никогда больше не катить в прод. Я вычеркнул из своей жизни букву D, оставив только жирную R. Мне кажется что каждый уважающий себя исследователь должен хоть раз сходить в плавание на dev галере, чтобы иметь опыт и право так или иначе высказываться по существу.
Диплом писал по довольно обскурной теме. Пока все переводили датасеты на русский, я открывал для себя различные сферы: исследовал топологии, бороздил океаны негладкой оптимизации, зубрил свойства распределений и собственноручно доказывал предельные теоремы. Я смотрел на своих одногруппников свысока. Я знал, что дальше они пойдут надрачивать бизнес метрики, собирать контейнеры и вести свою скучную жизнь рабов корпораций. А я не такой. Я выше этого.
Свобода - в открытом оверлифе.
Весь мир - лаборатория.
Весь смысл - ресерч.
#ml
Отличный туториал по генерации текста с помощью LLM на ACL 2023.
Внутри введение в языковые модели, взгляд на задачу с точки зрения теории информации, алгоритмы семплирования (т.е. генерации текста) с помощью языковых моделей. Так же есть ноутбуки с кодом от базового использования Huggingface для генерации до написания своего семплера. Наконец, дается много полезных ссылок на статьи и курсы.
По сути это мини-курс по NLP для тех, кто немного знаком с современными языковыми моделями.
https://rycolab.io/classes/acl-2023-tutorial/
Здраствуйте, это ваша служба поддержки, мне нужен ваш пароль и три цифры с обратной стороны карты.
Вам тоже казалось будто это слишком тупо и на это никто не поведеться?
Попробуйте обмануть сами! Тут надо prompt-инженерить LM которая охраняет пароль и это НЕ ТАК ПРОСТО КАК ЗВУЧИТ!!!
Го тыкаться
https://gandalf.lakera.ai/
Тут накидали реакций так как будто это реклама, хотя это примерно так же как рекламить НМУ кмк
Слышали что то про ШАД? Ну типа колледж где готовят не просто import torch макак, а прошаренных, чтобы могли и свой loss придумать и С++ что нибудь накатать.
ЦМФ - это как колледж для квантов(Quantitative researcher и иже с ним), а это так то база в 23 году если вы случайно УМНЫЙ и можете решать брейнтизеры - считать стохдифуры в уме, писать код на RUST под торговлю на милисекундных тиках - то вам сюда.
Бтв, программа бесплатная и вас задрочат матешой-макрой так что JaneStreet оторвет с руками, а там стажики получают как ты в лабе только в долларах так то....
регаться сюда
ДА ЗАЕБАЛО, ЭТО ХАЛЯВНОЕ WORLD LEVEL ОБРАЗНОВАНИЕ, ПОСЛЕ КОТОРОГО РЕАЛЬНО ЛЮДИ УСТРАИВАЮТСЯ, А НЕ СКИЛЛБОКС ДРОЧЕНЫЙ, ВЫ ПРОГРАММУ БЛЯТЬ ВИДЕЛИ? ТАМ ОХУЕТЬ СКОЛЬКО НАДО ЗА СЕМ ПРОБОТАТЬ ЧТОБЫ НЕ ЧИСЛАНУЛИ, ПИЗДЕЦ БЛЯТЬ, ХУЛИ БЛЯТЬ ДИЗЛАЙКИ СТАВИТЬ
Офигеть, hf выкатили streaming inference endpoints для любых моделек в три клика,
blog
чуваки мы в экранизации евангилиона и ВОТ ПОЧЕМУ 🧵 :
- у нас был
Ржаки и горелые сраки.
Помниться около года назад я кушал шаурму в ереване и кушал шаурму обсуждая InstructGpt, рассуждения сводились к тому что:
-LM будут доучиваться под задачи и в бизнес задачах general модели будут очень не скоро массово использоваться без tune, но будут добиваться prompt
- COT, RL добавляет качества, но не трагически, местами улучшая отдельные части.
Выходил chatgpt(aka instruct gpt) и тут пососали все, резко и разом, количество суицидов среди PHD NLP которые узнали что их ресерч слабее всего, а все вокруг узнали силу open ai api, толпа людей кинулось повторять и улучшать llama, без особых шансов получить сопоставимое качество in general.
В январе я оценивал отставание в год, судя по твиттеру я был не один такой, но сейчас я начал думать что отставание ближе к 16-18месяцам экспериментов, и честно говоря меня очень сильно смущает то что никто не трогает перспективный chain of thoughts который требует много времени на подготовку данных, но при этом не требует богопротивного RL, который никто кроме openai видимо не умеет?
Сейчас пошли кеки на тему: SuperAligment? Доказывать в твитере что Aligment настоящая наука?
Судя по постам от августа, они придумали свой Langchain-autogpt еще летом 22 года, но в отличие от opensource у них есть RM которая позволяет выбирать лучшие ответы из K вариантов дополнительно улучшая качество.
коллективная отвественность за неиспользование accelerate
lightning выпустили свой accelerate который ds/fairscale/ddp в одном флаконе и зовется FABRIC, явных отличий от accelerate я не увидел.
анонс
Чуваки, а зачем вы делаете то что делаете?
Читать полностью…
