4253
❤️☠️🤗 идейная миграция небытия
ДАЙТЕ CENE655 ЕБУЧИЕ КАРТЫ, ОН ЗАЕБАЛ НЫТЬ МНЕ В ЛИЧКУ
Читать полностью…
Выскажу штуку за которую меня будут бить коллеги по цеху, но она имеет смысл, по меньшей мере для меня самого.
Когда у меня много ГПУ, я смотрю что утилизация под 100, ничего не течёт, не просидает - живём короче. Но любые истории про подумать: например когда модель не работает должным образом или явно хуже чем должна я могу тупо залить компьютом - воткнуть больше эпох, больше модель, пролить больше данных.
Для мозга и менеджера это очень понятное решение, они явно должно работать.
Это напоминает планиметрию:
В школе были такие люди которые решали любую планиметрию на трех теоремах - не ну построим три доп окружности, посчитаем систему уравнений, бумаги много ща все решим.
В DL так тоже можно, ВСЁ текущее поколение LM основано на этом - давайте фильтранем данные умнее, давайте прокрутим больше токенов и больше модель.
Текущие ресерчи архитектур скорее мертвы чем живы, полтора китайца ковыряют rwkv, но без особых успехов и это печально.
Не думаю что для ближайшего поколения моделей правила скейлинга изменяться, но уже сейчас надо внимательно изучать альтернативные лоссы, структуры функций и почему трансформеры так работают.
Есть ли простой ответ как сделать умнее? Нет конечно, я по приколу написал)))😏
https://horace.io/brrr_intro.html
Все медленные процессы проперлись, толстовка доехала до автора лекции, а видео доехало до youtube!
Смотреть лекцию
Upd ютуб процессит видео, поэтому оно пока что в 360p, позже появиться 1080p
Новый дайджест из мира NLP
1. Лекции MIT по эффективному DL
1. Гайд по distributed training и PEFT
1. Deep Neural Networks Tend to Extrapolate Predictably — чем более OOD инпут тем больше решение сходится к среднему ответу (лучшему input-independent ответу)
1. Ring Attention with Blockwise Transformers for Near-Infinite Context — эффективная коммуникация для параллелизации attention между разными GPU
1. Value-Guided Monte-Carlo Tree Search decoding — MCTS применили к NLP и получилось отлично
Надеюсь что у вас все хорошо
🇮🇱
Очередной релиз Сайги, на этот раз на основе Мистраля.
LoRA: https://huggingface.co/IlyaGusev/saiga_mistral_7b_lora
gguf: https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf
gguf демка: https://huggingface.co/spaces/IlyaGusev/saiga_mistral_7b_gguf
Бок-о-бок с Saiga2-13b:
saiga_mistral_7b vs saiga2_13b: 243-31-141
То есть Мистраль разгромно победил модель на основе Llama-13B.
Метрики в zero-shot RSG на картинке.
7B модель лучше Llama-2 13B и почти догнала 70B.
Почему - а чёрт его знает, но учитывая совокупность результатов, вряд ли это утечка тест-сета.
А! И обращаю внимание, llama.cpp нормально не умеет в спецтокены, пользуйтесь специально написанными скриптами из репозитория, они правильно готовят промпт.
лав дес трансформаторс - опержая события
Читать полностью…
#чтивонаночь по быстрому
месяца полтора назад я ходил в отпуск и удивился что диффузия очень тривиально заводиться с <внешним ранкером> + ppo/любой способ подкидывать неградиентную информацию о мире.
Такая схема в целом позволяет из коробки генерить красивое, а главное очень близкое к правде, фактически генерация не отличимая от фото.
Вокруг этого строиться свежая работа aligning t2i блабла, авторы говорят - ну давайте явно прокидывать CLIP cosine между тем что получилось и тем что должно было быть, ну и так учить.
Метрики вам особо ничего не скажут, а авторы не черепикали результаты, поэтому need to run pipeline.
папир
Завтра вечером будет Pytorch meetup, если вы занимаетесь или интересуетесь Deep Learning или хотите узнать про передовые разработки AI без хайпа а с техническими деталями и объяснениями приходите и зовите друзей.
Будут доклады про RLHF, про diffusion models, и применение Pytorch к физическим симуляция в квантовой химии (сопряжено с drug design). Также будет нетворкинг с напитками и едой.
научные статьи раньше: вот метрика, вот на таких данных меряем, вот статзначимость результатов
научные статьи сейчас: тред в твиттере со скринами
Мне кажется или в open Ai не вылезали с civit.ai?
THAT'S HUGEEE📱
Пойду за попкорном и пивом, Сбер прошел на emnlp, ждём ковровые бомбардировки в ревью, в прошлом году было весело.
Upd пойду рисовать бинго
заметки сентябрь/23
Последние релизы(mistral, phi1.5, llama) показывают очевидную классику: test set хорошие данные is all you need, что собственно довольно очевидно,
к слову, this huge для phi1.5 в первую очередь заключается в том что он не нарушая scaling laws показывает как учить более умные модели, при этом они будут дешевыми и быстрыми на инференс, а главное - такой подход не требует серьезных затрат, вам не нужно 2000к(два миллиона) карт на обучения 100t трансформера, вам нужно 10т очень чистых токенов и 175B моделька на несколько эпох.
существует много спекуляций на тему размера gpt4, у меня есть некоторые сомнения в том что на инфренс одной модели имеет смысл использовать 12dgx а100( для 1T размера), а главное - мы никак не можем это проверить, только инсайдеры.
опять же, уже есть 34b модели которые на ОТДЕЛЬНЫХ бенчах обгоняют gpt4, значит что в перспективе 3-4месяцев(выход мистраль 13B, 33b) мы увидим модели которые на нескольких или большинстве бенчей лучше gpt4 и в начале 24 года увидим модель которая фактически будет обгонять gpt4
При этом open ai по полной раскатывают политику закрытости ресерча - к новым релизам не выходит не то что технических статей, выходят буквально БЛОГИ формата: ну прошлая версия рекомендовала худеть, ныняшняя предлагает есть грибы, желательно псилоцебиновые, под ними лучше думается.
Мы считаем такое поведение безопасным, у нас все хорошо, ебитесь с моделями и думайте как нас догнать сами.
В целом это дает довольно очевидные бонусы для openai - они буквально отсекают конкурентов, а за счет того что их продукты распространяются по api - у нас буквально нет шансов на реверс инжиниринг!
Но при этом
1) я могу сходу найти с 10ток небезопасных моделей на HF, их не сложно сделать инстурктивными и при этом опасными, достаточно опасными чтобы обьяснить как смешать опилки с апельсиновым соком
2)мне иногда кажется что в офисах игнорируют civit.ai, притворяются будто его нет и совершенно точно нет comfy ui который обгоняет любое апи в правильных руках
дискасс
шел третий месяц, админ притворялся что не вышло 2.5 поколение t2i и точно ничего не произошло
Читать полностью…
Дорогие читатели!
Сегодня я сделала шпаргалку по самым известным научным конференциям уровня A* (по CORE2023), связанным с машинным обучением. Большими сойджеками выделены конференции с более высоким h5-индексом в Google Scholar, а маленькими - с h5-индексом поменьше. Забирайте на стену, чтобы не забыть, куда подавать статьи, чтобы потом делать самое сойджековское лицо в своем офисе!
#ML_в_мемах
❌ Ломать не строить конечно. Роскомнадзор опять массово блокирует Wireguard в России.
✅ Но как бывает приятно сливать бурную деятельность противника 🤣 Поработайте ещё немного в ведро, дорогие мои ЦМУ ССОП.
☝️ /channel/vpngen сегодня ночью выкатил поддержку Outline. Это реализация ShadowSocks от инкубатора Google. Имеет очень простые клиенты для всех основных систем. ShadowSocks в свою очередь — шифрованный и скрытный вариант старого доброго socks5, разработанный китайцами для обхода китайского файерволла. Outline можно как начать раздавать пользователям, так и получить конфиг через бота существующим администраторам. Наслаждайтесь.
☝️ Стараниями комьюнити и разработчиков Amnezia довольно провела серьёзную работу над ошибками в клиентах и выпустила новые рабочие версии, включая подписанную под Windows:
https://amnezia.org/en
☝️ VPN Generator /channel/vpngen также поддерживает протокол OpenVPN over Cloak с конфигурацией для клиента Amnezia. Можно как создать конфигурацию для пользователя, так и получить конфигурацию для существующего администратора через бот. Наслаждайтесь.
🤷♂️ Не всё же мне молчать и философствовать в канале :) И самолюбоваться :)
🫵 Лайк, шар, репост
Мистраль топ-1 на RSG.
И это LoRA на 13 миллионов параметров, не полный тюн.
И без выбора лучшего чекпоинта для каждой задачи.
Посылка на одобрении, скоро появится в самом лидерборде.
LLaMA-70b вероятно была бы лучше, но на неё чуть бОльшая карточка нужна.
Привет! Приходите к нам на онлайн-встречу
Дата: 21 октября (суббота)
Время: 17:00 по московскому времени
Спикеры — Лёша Палецких и Наташа Мартемьянова из HR-агентства Luna Park (@hrlunapark), которое специализируется на поиске лучших талантов и работает с AI safety организациями (а Лёша ещё занимался safety исследованиями под руководством Виктории Краковны из Deepmind!)
Тема встречи: "AI safety — безопасность искусственного интеллекта"
О чем будем говорить:
🔸Какие риски сопряжены с развитием искусственного интеллекта
🔸Почему создание безопасного искусственного интеллекта — задача нетривиальная
🔸Где можно получить дополнительную информацию и углубиться в тему
Подключайтесь к нам в субботу, 21 октября, в 17:00 по московскому времени!
трансляция будет в телеграм @betterdatacommunity
Вообще тут должны быть по середине хорни файнтюны моделей, хз что там DeepMind забыл
Читать полностью…
Чат, ищу сантехника в мск, посоветуйте проверенных если есть.
Читать полностью…
Пиздец мои чуваки, просто пиздец.
Коменты закрыты.
🤖 Как изменился NLP Research после выхода GPT-4
И где теперь мы берем новые идеи для исследований — об этом команда Tinkoff AI расскажет на первом осеннем митапе в Москве. Также на встрече ребята обсудят особенности автоматизации поддержки в банке, подходы классификации интентов и разберут нюансы подготовки датасетов для предобучения foundational-моделей.
После докладов останутся на поболтать и познакомиться с участниками ближе!
📆 Tinkoff.AI NLP Monolog Meetup #2
пройдет 19 октября в БЦ «Водном». Не забудьте зарегистрироваться и позвать с собой коллег!
LIQUID3
Если вы хоть раз были в востчной европе зимой вы могли заметить что над городом висит смог от угля, машин и вот это все, при этом деревьев нет и CO2 ничего не перебатывает, те на улице буквально нечем дышать.
Чуваки из университета Белграда устали от этого и сделали жидкое дерево, по сути это биоереактор с электроникой, копрессором для воздуха снаружи и подогревом для зимы, он проливает через себя воздух с улицы, а микроводоросли(авторы ничего не пишут, но мне кажется это это водоросли) перерабатывают в кислород! в итоге такой аквариум заменяет 10летнее дерево!
посмотреть видео на сербском
Тарелка(гречка*|салат(помидоры, огурцы))
Фуххх, как же хорошо, что я тоже передаю всю информацию по жизни только в формулах😰, ведь если написать, что промпт содержит таблицу и вопрос никто не поймет
Зашёл в LinkedIn
@
....
На моей памяти это четвертая вариация как включать fp16 в torch lighting....
Я хз, может только у меня глаз дёргается на 16-true
А, ну и по традиции: покажите мне продукты на своих моделях у которых сходиться unit экономика на 70b+
Читать полностью…
У Фридмана вышло первое чисто виртуальное интервью с Цукербергом. Посмотрите хотя бы ради картинки, по сути это встреча в метаверсе с помощью Quest Pro. Выглядит очень круто, еще 3-5 лет, и изображение будет не отличить от реального мира.
https://www.youtube.com/watch?v=MVYrJJNdrEg
Привет, ребята. Как жизнь?Учитесь, работаете? Вот и хорошо, учитесь дальше, и работайте, и любите жизнь такой, какая она есть.
Я так не сделал, в свое время. Когда я был в вашем возрасте , я выбрал ml.
Посмотрите, на что я теперь похож. Жалкий обрубок, неспособный даже помочиться самостоятельно.А все начиналось так весело. Мы с друзьями - Вовкой со второго курса и Васькой с первого заходили на kaggle, так, поразвлечься. Мы были теми, кого вы зовете ньюфагами.
Сперва мы делали это ради смеха, потому, что это было "модно".
Сначала мы заходили сюда раз - два, в неделю. Затем это стало происходить все чаще. В один из тех дней, когда за 1000 эпох loss не упал, ушел Петька.
- Ребята, я так больше не могу, -сказал он, и ушел.
И тогда мы начали проводить тут в два раза больше времени- это было похоже на какой то дурман. Помню только, как пришел домой, мать схватила меня за воротник, она смотрит мне в глаза, отец пьян, они о чем то говорят друг с другом, он выдыхает мне в лицо:
- С кем ты связался? Почему у тебя такие красные глаза? Что ты принимал ?!
Они обшаривают журнал, и находят ссылки на лекции по терверу. А затем - крики, слезы матери, угрозы отца отдать меня в детдом, меня выпороли и я лег спать.
Перед сном я вспомнил, как раньше думал - Ха, ребята, я никогда не подсяду на ml - кто угодно, но не я! Создаю новые модели два - три раза в неделю, просто ради смеха, уж кто-кто, а я точно не стану одним из этих ваших датасатанистов!
И вот, я один из них. Machine Learner. Они еще долго обсуждали мое будущее на кухне, а наутро меня положили в клинику. Это был первый раз.Поначалу меня ломало, я стонал, кричал, и визжал, будучи лишенным моего уютного tensorflow, а затем я затих. Я начал представлять себе, как я регаюсь на соревнования на kaggle, беру золото, призовой фонд мой...
Когда меня выпустили, я перестал изучать ml дома, я вынюхивал тихие полуподвальные интернет - кафешки, где из-под полы хозяин может продать тебе порцию документации scipy, старался дважды не ходить в одну и ту же, а дома изображал примерного ученика девятого класса, и показывал маме чистую историю посещений в компьютере, а она плакала от радости, что её сынок такой хороший.
Так прошел год.
Однажды, когда я сидел в очередной прокуренной интернет - забегаловке под кайфом от accuracy , вдруг словно что-то схватило меня за сердце. Я охнул и упал. Ледяная хватка все туже опоясывала мою грудь, исходя холодным липким потом, я пополз между рядов грязных стульев. Вдруг боль стала настолько невыносимой, словно мою грудь пронзили ножом. Чьи то руки бережно подняли меня. Слава Богу - сквозь пелену боли, подумал я, есть еще добрые люди. Руки вынесли меня на улицу, и выбросили в сугроб, за помойкой, где меня было не видно. Я потерял сознание.
Очнулся я уже в госпитале. Лучше мне было умереть. Мои ноги были ампутированы по колено, а правая рука - парализована. Мать отказалась от меня, и, пролежав в больнице пол - года, я оказался один, без средств к существованию. Я попрошайничал на улице, катаясь в маленькой детской коляске, на морозе, надеясь выпросить хотя бы на кусок хлеба. Я спал в подвале, и жил, как собака, пока меня не нашли волонтеры ЦРЦML (Центр Реабилитации Пострадавших от Machine learning).
Теперь я езжу по школам и рассказываю свою историю.Еще три года назад я был таким же,как вы - молодым, розовощеким, уверенным в себе. Теперь все потеряно. Вы всё ещё думаете, что нейросетки - это весело ? Думаете, быть ml researcher'ом- это круто ? Посмотрите на меня. Цените жизнь,ребята, цените жизнь.
#чтивонаночь
Подул мистраль, запахло переменами - Mistral-7B-v0.1
- ллама образная архитектура с 16к контекста
- на большинстве бенчей лучше чем llama2 13b имея вдвое меньше параметров!
- лицензия apache2.0
go юзать!
link