4253
❤️☠️🤗 идейная миграция небытия
Здраствуйте, это ваша служба поддержки, мне нужен ваш пароль и три цифры с обратной стороны карты.
Вам тоже казалось будто это слишком тупо и на это никто не поведеться?
Попробуйте обмануть сами! Тут надо prompt-инженерить LM которая охраняет пароль и это НЕ ТАК ПРОСТО КАК ЗВУЧИТ!!!
Го тыкаться
https://gandalf.lakera.ai/
Тут накидали реакций так как будто это реклама, хотя это примерно так же как рекламить НМУ кмк
Слышали что то про ШАД? Ну типа колледж где готовят не просто import torch макак, а прошаренных, чтобы могли и свой loss придумать и С++ что нибудь накатать.
ЦМФ - это как колледж для квантов(Quantitative researcher и иже с ним), а это так то база в 23 году если вы случайно УМНЫЙ и можете решать брейнтизеры - считать стохдифуры в уме, писать код на RUST под торговлю на милисекундных тиках - то вам сюда.
Бтв, программа бесплатная и вас задрочат матешой-макрой так что JaneStreet оторвет с руками, а там стажики получают как ты в лабе только в долларах так то....
регаться сюда
ДА ЗАЕБАЛО, ЭТО ХАЛЯВНОЕ WORLD LEVEL ОБРАЗНОВАНИЕ, ПОСЛЕ КОТОРОГО РЕАЛЬНО ЛЮДИ УСТРАИВАЮТСЯ, А НЕ СКИЛЛБОКС ДРОЧЕНЫЙ, ВЫ ПРОГРАММУ БЛЯТЬ ВИДЕЛИ? ТАМ ОХУЕТЬ СКОЛЬКО НАДО ЗА СЕМ ПРОБОТАТЬ ЧТОБЫ НЕ ЧИСЛАНУЛИ, ПИЗДЕЦ БЛЯТЬ, ХУЛИ БЛЯТЬ ДИЗЛАЙКИ СТАВИТЬ
Офигеть, hf выкатили streaming inference endpoints для любых моделек в три клика,
blog
чуваки мы в экранизации евангилиона и ВОТ ПОЧЕМУ 🧵 :
- у нас был
Ржаки и горелые сраки.
Помниться около года назад я кушал шаурму в ереване и кушал шаурму обсуждая InstructGpt, рассуждения сводились к тому что:
-LM будут доучиваться под задачи и в бизнес задачах general модели будут очень не скоро массово использоваться без tune, но будут добиваться prompt
- COT, RL добавляет качества, но не трагически, местами улучшая отдельные части.
Выходил chatgpt(aka instruct gpt) и тут пососали все, резко и разом, количество суицидов среди PHD NLP которые узнали что их ресерч слабее всего, а все вокруг узнали силу open ai api, толпа людей кинулось повторять и улучшать llama, без особых шансов получить сопоставимое качество in general.
В январе я оценивал отставание в год, судя по твиттеру я был не один такой, но сейчас я начал думать что отставание ближе к 16-18месяцам экспериментов, и честно говоря меня очень сильно смущает то что никто не трогает перспективный chain of thoughts который требует много времени на подготовку данных, но при этом не требует богопротивного RL, который никто кроме openai видимо не умеет?
Сейчас пошли кеки на тему: SuperAligment? Доказывать в твитере что Aligment настоящая наука?
Судя по постам от августа, они придумали свой Langchain-autogpt еще летом 22 года, но в отличие от opensource у них есть RM которая позволяет выбирать лучшие ответы из K вариантов дополнительно улучшая качество.
коллективная отвественность за неиспользование accelerate
lightning выпустили свой accelerate который ds/fairscale/ddp в одном флаконе и зовется FABRIC, явных отличий от accelerate я не увидел.
анонс
Чуваки, а зачем вы делаете то что делаете?
Читать полностью…
Никто не знает зачем, никто не знает почему, но я с подписчиком собрал датасет BioTexts. Это QA style датасет из инструкций, статей и много чего еще по теме химии, биологии и тд. Всего - 2gb.
hf link
Ищу разраба на проект, tg бота с админ панелькой на django, пишите сюда: /channel/alexeyderden
Читать полностью…
Мы едем в Санкт-Петербург!
6 июля мы проведем новый легендарный ивент команды RL – Saint Reinforcenburg.
Для вас выступят наши чуваки с рассказами о том, что интересного происходит в Offline RL сегодня и что делаем для развития области мы, а наш приглашенный спикер (и по совместительству дорогой друг) из InstaDeep расскажет, как вместе с нами писал свою последнюю статью.
После ивента планируется SOTA афтепати, поэтому обязательно регистрируйтесь и приходите послушать нас вживую!
Еще раз. 6 июля, 19:00, ЛЕНПОЛИГРАФМАШ.
Господа биотехи расскажите про свой опыт с LM, как используете, чего не хватает
Читать полностью…
Так как мне очень нравится преподавать, то у меня появилась идея для школьников, кто например не прошел в вуз мечты но хочет заботать математику, либо не поступает на пми но хочет ее заботать, устроить интенсив по программе матшкольник НМУ (https://ium.mccme.ru/mathsc/mathsc.html). Это позволит как достаточно хорошо учиться в НМУ, который объективно неплох, так и во многих вузах кроме МФТИ/ВШЭ/МГУ чиллить весь первый год на матане. Абитуриенты (и не только, все интересующиеся), отзовитесь, как вам такая идея?
Upd. Очевидно, это платно, но недорого. 5к за весь курс, это примерно 13 занятий
придерживаюсь мнения что gpt4 не побьют еще пол года минимум
Читать полностью…
Здорова, ресерчеры
Готовимся поступать в Центр Математических Финансов (ЦМФ). Кванты, ебало к осмотру. Начинаем
Что такое ЦМФ
ЦМФ – центр обучения и подготовки кадров в области количественных финансов. По сути, ЦМФ представляет идеально место, чтобы вкатиться в квантовскую тусовку. Получить необходимые для работы навыки, поторговать ebalom перед компаниями, найти работу.
Что включает в себя программа:
1. Лекции и Семинары по базовым предметам, которые необходимы квантам: случайные процессы, теор. вер., эконометрика, МЛ и тд
2. Подготовка к собесам на регулярной основе. Брейнтизеры, задачи с собесов, выдрочка CV
3. Самое интересное. Можно выбрать направление, считай fuckультет, и неплохо углубиться в область. Я лидирую направление HFT (high-frequency trading), поэтому если выберешь что-то другое – BAN
Условия учебы:
Стоимость обучения: 0 рублей, 0 копеек (как раз все твои деньги, повезло, что под расчет).
Период обучения: Сентябрь - Декабрь (4 месяца).
Язык обучения: Английский. Тут стоит добавить, что не надо бояться, это будет первый год, когда программа проводится на английском языке, поэтому будут поблажки.
Сложность обучения: Будет сложно, нужно тратить много времени.
Как поступить
Поступление состоит из трех этапов:
1. Скоринг по CV
2. Тестовое задание
3. Устный экзамен по математике
Если с первым все понятно, то 2 и 3 пункт требуют дополнительного пояснения. Тестовое задание будет зависеть от fuckультета, который выбран. Какие материалы помогут выполнить тестовое задание по HFT и как подготовиться к устному экзамену расскажу в следующий раз.
А пока оставляем заявку на участие:
vk → https://vk.com/cmf_ynvrsty
linkedin → https://www.linkedin.com/company/cmf-ynvrsty
Тут можно посмотреть, что было в прошлом году на HFT направлении:
Market Making → https://www.youtube.com/watch?v=VwLe3tBl4fM&ab_channel=CMF
Market Prediction → https://www.youtube.com/watch?v=Wa4Xxxjl6YI&t=1s&ab_channel=CMF
Работаем, братва
Мы использовали ЗАТРАВКУ для достижения целей
Читать полностью…
Помните nano gpt oт karpathy? Теперь вышла nanot5, за 24часа на 1а100 она на файнтюне сопоставима c оригинальной т5 при этом использует в 150 раз меньше данных.
GitHub
Мы собрали новый русскоязычный датасет для обучения диалогово-инструкционных моделей.
Скачать можно тут: https://huggingface.co/datasets/SiberiaSoft/SiberianDataset
Помимо качественных диалогов, в нем есть множество тасков, что позволяет поднять уровень достоверности ответов.
Кроме того, мы обучили на данном датасете модель FredT5, скачать можно тут: https://huggingface.co/SiberiaSoft/SiberianFRED-T5-XL
Демо версия чат бота Анфиса, работающая на нашей модели доступна здесь: /channel/anficechatbot
Добавлена поддержка 3-х персон. (Заботливая жена, философ, девушка)
Был улучшен модуль поиска ответа на вопрос (модуль поиска ответа в тексте). Теперь система поддерживает русско-англо-язычные вопросы (что такое Pytorch).
пизда ща рекламы в канале будет, ууух
Читать полностью…
Introducing motor interface for amputee
That is the first AI model for decoding precise finger movements for people with hand amputation. It uses only 8 surface EMG electrodes.
ALVI Interface can decode different types of moves in virtual reality:
🔘finger flexion
🔘finger extension
🟣typing
🟣some more
💎Full demo: YouTube link
Subscribe and follow the further progress of ALVI Labs:
Twitter: link
Instagram: link
Please like and repost YouTube video✨
В большей степени социальный эксперимент, нежели реальный сбор, все деньги пойдут на обучение нейросетей.
А именно: матный инструктивный датасет(гопник объясняет все на свете), vast.ai и инференс на пару недель поиграться.
Сбор
Я не придумал пост, держите на выбор
Втф, а почему не оплата за публикацию сисек в твиттере?
@
Чуваки, у вас nudesThursday это выставка onlyfans моделей, монетезируйте это...
@
Когда уже анкап?
@
Как мне теперь жить без 50 TIPS FOR CGPT USAGE???
Я чуть-чуть пропала отсюда по ряду причин, но за это время успела сходить в @msu_ai_channel в качестве приглашенного лектора. Было очень приятно для активной аудитории студентов и преподавателей провести лекцию в формате диалога + семинар по созданию чатботиков с распараллеливанием на несколько карт ❤️
После лекции конечно же были приятные разговоры про любимый ML и вот какой вопрос после лекции натолкнул на написание поста📝. Есть такое понятие, как мультимодальные архитектуры (например использование текста и картинок в задаче). Можно долго обсуждать каждую из них, но мы вспомнили устройство BLIP и особенность за счет которой работает архитектура – добавление cross attention.
Если затронуть часть Multimodal mixture of Encoder-Decoder (MED), сразу же на картинке (тык во вложения🥁) виднеется 3 составляющие – 1️⃣часть кодирования картинки и текста (по сути представляет из себя CLIP от OpenAI, а еще по сути можно сказать, что представляет от из себя sentence-transformer, только один из энкодеров картиночный) 2️⃣часть энкодера, основанная на изображении с помощью которой можно классифицировать негативная пара текст-изображение или позитивная. А вот основывается оно на изображении как раз за счет cross attention (берем матрицы внимания с картинки, используем их на обработке текста) 3️⃣декодеровщик, основанный на картинке для генерации текста
Так вот, обсуждение велось на счет встраивания разных частей архитектуры (эмбендинги, матрицы внимания и тд) в области предназначенные для них, но являющиеся другой архитектурой, подобно механизму cross attention. Конечно же так можно делать не только в мультимодальных архитектурах, но и в классическом NLP. После того, как мы вспомнили эксперименты коллеги из SberDevices по использованию эмбендиннгов от LABSE (мультиязычный sentence трансформер) при генерации текста с GPT, вопрос был задан следующий «а как называется такой подход❔». И кажется, что сам подход никак не называется, это чистые эксперименты, иногда они приводят к успеху при evaluate, а иногда нет
Главное, что надо помнить – не надо боятся экспериментировать. Многовероятно, что на специфичных данных обычный tf-idf может лучше справиться с представлением эмбедингов, чем слой в трансформере. Берем и заменяем его с помощью нескольких строчек кода.
Предлагаю посмотреть репозиторий автора экспериментов, чтобы понять на примере, как такое делать👼
админ который узнал что за такое платят:🗿
Читать полностью…
#чтивонаночь
Mol-Instructions
Cобственно авторы c помощью gpt4, эвристик и формочек написали сет для молекулярных инструкций 2M инструкций с captioning SMILES, генерацией молекул.
Датасет
LLama
меня всегда прикаловыло что НМУ это колледж
не пту, а колледж
перетащил тасочки в джире -> специальная конфлюенсная операция по деланью и переделанью
спринт -> блицкриг
столбик с inprogress -> линия работостолкновения
поднял джобу в кубере -> мобилизация вычислительных ресурсов
