4253
❤️☠️🤗 идейная миграция небытия
🤖 Как изменился NLP Research после выхода GPT-4
И где теперь мы берем новые идеи для исследований — об этом команда Tinkoff AI расскажет на первом осеннем митапе в Москве. Также на встрече ребята обсудят особенности автоматизации поддержки в банке, подходы классификации интентов и разберут нюансы подготовки датасетов для предобучения foundational-моделей.
После докладов останутся на поболтать и познакомиться с участниками ближе!
📆 Tinkoff.AI NLP Monolog Meetup #2
пройдет 19 октября в БЦ «Водном». Не забудьте зарегистрироваться и позвать с собой коллег!
LIQUID3
Если вы хоть раз были в востчной европе зимой вы могли заметить что над городом висит смог от угля, машин и вот это все, при этом деревьев нет и CO2 ничего не перебатывает, те на улице буквально нечем дышать.
Чуваки из университета Белграда устали от этого и сделали жидкое дерево, по сути это биоереактор с электроникой, копрессором для воздуха снаружи и подогревом для зимы, он проливает через себя воздух с улицы, а микроводоросли(авторы ничего не пишут, но мне кажется это это водоросли) перерабатывают в кислород! в итоге такой аквариум заменяет 10летнее дерево!
посмотреть видео на сербском
Тарелка(гречка*|салат(помидоры, огурцы))
Фуххх, как же хорошо, что я тоже передаю всю информацию по жизни только в формулах😰, ведь если написать, что промпт содержит таблицу и вопрос никто не поймет
Зашёл в LinkedIn
@
....
На моей памяти это четвертая вариация как включать fp16 в torch lighting....
Я хз, может только у меня глаз дёргается на 16-true
А, ну и по традиции: покажите мне продукты на своих моделях у которых сходиться unit экономика на 70b+
Читать полностью…
У Фридмана вышло первое чисто виртуальное интервью с Цукербергом. Посмотрите хотя бы ради картинки, по сути это встреча в метаверсе с помощью Quest Pro. Выглядит очень круто, еще 3-5 лет, и изображение будет не отличить от реального мира.
https://www.youtube.com/watch?v=MVYrJJNdrEg
Привет, ребята. Как жизнь?Учитесь, работаете? Вот и хорошо, учитесь дальше, и работайте, и любите жизнь такой, какая она есть.
Я так не сделал, в свое время. Когда я был в вашем возрасте , я выбрал ml.
Посмотрите, на что я теперь похож. Жалкий обрубок, неспособный даже помочиться самостоятельно.А все начиналось так весело. Мы с друзьями - Вовкой со второго курса и Васькой с первого заходили на kaggle, так, поразвлечься. Мы были теми, кого вы зовете ньюфагами.
Сперва мы делали это ради смеха, потому, что это было "модно".
Сначала мы заходили сюда раз - два, в неделю. Затем это стало происходить все чаще. В один из тех дней, когда за 1000 эпох loss не упал, ушел Петька.
- Ребята, я так больше не могу, -сказал он, и ушел.
И тогда мы начали проводить тут в два раза больше времени- это было похоже на какой то дурман. Помню только, как пришел домой, мать схватила меня за воротник, она смотрит мне в глаза, отец пьян, они о чем то говорят друг с другом, он выдыхает мне в лицо:
- С кем ты связался? Почему у тебя такие красные глаза? Что ты принимал ?!
Они обшаривают журнал, и находят ссылки на лекции по терверу. А затем - крики, слезы матери, угрозы отца отдать меня в детдом, меня выпороли и я лег спать.
Перед сном я вспомнил, как раньше думал - Ха, ребята, я никогда не подсяду на ml - кто угодно, но не я! Создаю новые модели два - три раза в неделю, просто ради смеха, уж кто-кто, а я точно не стану одним из этих ваших датасатанистов!
И вот, я один из них. Machine Learner. Они еще долго обсуждали мое будущее на кухне, а наутро меня положили в клинику. Это был первый раз.Поначалу меня ломало, я стонал, кричал, и визжал, будучи лишенным моего уютного tensorflow, а затем я затих. Я начал представлять себе, как я регаюсь на соревнования на kaggle, беру золото, призовой фонд мой...
Когда меня выпустили, я перестал изучать ml дома, я вынюхивал тихие полуподвальные интернет - кафешки, где из-под полы хозяин может продать тебе порцию документации scipy, старался дважды не ходить в одну и ту же, а дома изображал примерного ученика девятого класса, и показывал маме чистую историю посещений в компьютере, а она плакала от радости, что её сынок такой хороший.
Так прошел год.
Однажды, когда я сидел в очередной прокуренной интернет - забегаловке под кайфом от accuracy , вдруг словно что-то схватило меня за сердце. Я охнул и упал. Ледяная хватка все туже опоясывала мою грудь, исходя холодным липким потом, я пополз между рядов грязных стульев. Вдруг боль стала настолько невыносимой, словно мою грудь пронзили ножом. Чьи то руки бережно подняли меня. Слава Богу - сквозь пелену боли, подумал я, есть еще добрые люди. Руки вынесли меня на улицу, и выбросили в сугроб, за помойкой, где меня было не видно. Я потерял сознание.
Очнулся я уже в госпитале. Лучше мне было умереть. Мои ноги были ампутированы по колено, а правая рука - парализована. Мать отказалась от меня, и, пролежав в больнице пол - года, я оказался один, без средств к существованию. Я попрошайничал на улице, катаясь в маленькой детской коляске, на морозе, надеясь выпросить хотя бы на кусок хлеба. Я спал в подвале, и жил, как собака, пока меня не нашли волонтеры ЦРЦML (Центр Реабилитации Пострадавших от Machine learning).
Теперь я езжу по школам и рассказываю свою историю.Еще три года назад я был таким же,как вы - молодым, розовощеким, уверенным в себе. Теперь все потеряно. Вы всё ещё думаете, что нейросетки - это весело ? Думаете, быть ml researcher'ом- это круто ? Посмотрите на меня. Цените жизнь,ребята, цените жизнь.
#чтивонаночь
Подул мистраль, запахло переменами - Mistral-7B-v0.1
- ллама образная архитектура с 16к контекста
- на большинстве бенчей лучше чем llama2 13b имея вдвое меньше параметров!
- лицензия apache2.0
go юзать!
link
релизы open ai в 2024 gonna be like these:
no model
no paper
no api
no paper with: look how cool we are
cпасибо dl in nlp за качественный оперативный постинг
КТО ТАКИЕ ЗУМЕРЫ?
Зумер (ZOOMER) — это дитя круглых тензеров, представитель самого молодого поколения резерчеров: бакалавр, магистрант, или только на пути получения кандидата. Имеет богатый опыт в использовании совеременных фреймворков, некоторые используют pytorch с самого рождения. Из-за развития HuggingFace объективно умнее и циничнее последующих поколений. Девушки заводят эксперименты не по примерам своих матерей, а по гайдам из твиттера, выпускают в год на 5 статей больше и гораздо быстрее тестируют гипотезы прошлых поколений в годы их юности. Парни самоуверенны, ведут свои собственные ml каналы, не стесняются цитировать самого себя, весьма рано публикуются на A* конференциях, следят за собой, покупают монохром, регулярно моются.
Yannic Kilcher и другие обозрощики статей, оказывающие на зумеров влияние больше, чем собственные научруки, прививают им рациональные, холодные взгляды на мир. Как правило, зумеры с ранних лет жаждут уехать из России, по уже обсосанным сто раз причинам. Отличаются большей толерантностью и репортят в статьях выбросы CO2 и gender bias. Молодежь перенимает западный манер написания статей. Ведут себя по большей части уверенно и нагло. Генерируют много еба́ных идей, и именно поэтому очень перспективны. Всё дальше уходят от обучения моделей в сторону подбора промптов. Пали жертвами моды на GenAI стартапы.
Зумер — тот, кто имеет хирш 1-2.
Волож, Парахин, где h100 в клауде?!
Нас 25 тысяч и мы идем разибраться!
amazon - спонсор моего отопления на эту зиму
Читать полностью…
SOTA диффузия выглядит так, буквы можно в фш
Читать полностью…
Завтра вечером будет Pytorch meetup, если вы занимаетесь или интересуетесь Deep Learning или хотите узнать про передовые разработки AI без хайпа а с техническими деталями и объяснениями приходите и зовите друзей.
Будут доклады про RLHF, про diffusion models, и применение Pytorch к физическим симуляция в квантовой химии (сопряжено с drug design). Также будет нетворкинг с напитками и едой.
научные статьи раньше: вот метрика, вот на таких данных меряем, вот статзначимость результатов
научные статьи сейчас: тред в твиттере со скринами
Мне кажется или в open Ai не вылезали с civit.ai?
THAT'S HUGEEE📱
Пойду за попкорном и пивом, Сбер прошел на emnlp, ждём ковровые бомбардировки в ревью, в прошлом году было весело.
Upd пойду рисовать бинго
заметки сентябрь/23
Последние релизы(mistral, phi1.5, llama) показывают очевидную классику: test set хорошие данные is all you need, что собственно довольно очевидно,
к слову, this huge для phi1.5 в первую очередь заключается в том что он не нарушая scaling laws показывает как учить более умные модели, при этом они будут дешевыми и быстрыми на инференс, а главное - такой подход не требует серьезных затрат, вам не нужно 2000к(два миллиона) карт на обучения 100t трансформера, вам нужно 10т очень чистых токенов и 175B моделька на несколько эпох.
существует много спекуляций на тему размера gpt4, у меня есть некоторые сомнения в том что на инфренс одной модели имеет смысл использовать 12dgx а100( для 1T размера), а главное - мы никак не можем это проверить, только инсайдеры.
опять же, уже есть 34b модели которые на ОТДЕЛЬНЫХ бенчах обгоняют gpt4, значит что в перспективе 3-4месяцев(выход мистраль 13B, 33b) мы увидим модели которые на нескольких или большинстве бенчей лучше gpt4 и в начале 24 года увидим модель которая фактически будет обгонять gpt4
При этом open ai по полной раскатывают политику закрытости ресерча - к новым релизам не выходит не то что технических статей, выходят буквально БЛОГИ формата: ну прошлая версия рекомендовала худеть, ныняшняя предлагает есть грибы, желательно псилоцебиновые, под ними лучше думается.
Мы считаем такое поведение безопасным, у нас все хорошо, ебитесь с моделями и думайте как нас догнать сами.
В целом это дает довольно очевидные бонусы для openai - они буквально отсекают конкурентов, а за счет того что их продукты распространяются по api - у нас буквально нет шансов на реверс инжиниринг!
Но при этом
1) я могу сходу найти с 10ток небезопасных моделей на HF, их не сложно сделать инстурктивными и при этом опасными, достаточно опасными чтобы обьяснить как смешать опилки с апельсиновым соком
2)мне иногда кажется что в офисах игнорируют civit.ai, притворяются будто его нет и совершенно точно нет comfy ui который обгоняет любое апи в правильных руках
дискасс
шел третий месяц, админ притворялся что не вышло 2.5 поколение t2i и точно ничего не произошло
Читать полностью…
Дорогие читатели!
Сегодня я сделала шпаргалку по самым известным научным конференциям уровня A* (по CORE2023), связанным с машинным обучением. Большими сойджеками выделены конференции с более высоким h5-индексом в Google Scholar, а маленькими - с h5-индексом поменьше. Забирайте на стену, чтобы не забыть, куда подавать статьи, чтобы потом делать самое сойджековское лицо в своем офисе!
#ML_в_мемах
❌ Ломать не строить конечно. Роскомнадзор опять массово блокирует Wireguard в России.
✅ Но как бывает приятно сливать бурную деятельность противника 🤣 Поработайте ещё немного в ведро, дорогие мои ЦМУ ССОП.
☝️ /channel/vpngen сегодня ночью выкатил поддержку Outline. Это реализация ShadowSocks от инкубатора Google. Имеет очень простые клиенты для всех основных систем. ShadowSocks в свою очередь — шифрованный и скрытный вариант старого доброго socks5, разработанный китайцами для обхода китайского файерволла. Outline можно как начать раздавать пользователям, так и получить конфиг через бота существующим администраторам. Наслаждайтесь.
☝️ Стараниями комьюнити и разработчиков Amnezia довольно провела серьёзную работу над ошибками в клиентах и выпустила новые рабочие версии, включая подписанную под Windows:
https://amnezia.org/en
☝️ VPN Generator /channel/vpngen также поддерживает протокол OpenVPN over Cloak с конфигурацией для клиента Amnezia. Можно как создать конфигурацию для пользователя, так и получить конфигурацию для существующего администратора через бот. Наслаждайтесь.
🤷♂️ Не всё же мне молчать и философствовать в канале :) И самолюбоваться :)
🫵 Лайк, шар, репост
Хз о чьёй он матери, но это очень смешно. От себя добавлю: зумеры любят vscode и интерактивные энвы, любят дебагеры к куберу и вот это всё.
Читать полностью…
Все премиум бустеры будут добавлены в отдельный ламповый чат + доступ к сходкам в разных городах!
/channel/lovedeathtransformers?boost
Роботы курьеры Яндекса куда то собрались, но выстроились в пробку.
Видео от подписчиков
👀 Распознавание патологий глаза
👉 FLAIR - моделька по типу клипа для распознавания 96-и классов патологий глаза. Обучена на 37 датасетах. Показывает высокие результаты при zero-shot подходе с "расшифровками" медицинских абревиатур. Для каждой аббревиатуры есть таблица с полным названием и 1-5 коротких экспертных описаний. Для анализа требуется изображение глаза в высоком разрешении.
@data_morning
Project Page | Paper | Code | Colab
Side by side бенчмарк для русских аналогов ChatGPT
Постарался сравнить качество Saiga, YandexGPT и Gigachat:
- Gigachat и YandexGPT на уровне Saiga2 7B и Saiga2 13B соответственно.
- Saiga2 70B с большим отрывом ближе всех к Openai Turbo, но тяжелая для инференса.
- Vicuna 13B на уровне Saiga2 13B хотя в тренировке нет акцента на русский. Базовая модель важнее файнтюна.
Использовал 500 заданий из 15+ категорий. На других заданиях результаты могут быть другими.
Ответы оценивает GPT4, а не живой человек, GPT4 в ~15% случаев ошибается. Читать ответы моделей и оценки GPT4.
Больше результатов и подробнее про методику в репо.