4253
❤️☠️🤗 идейная миграция небытия
Чат, ищу сантехника в мск, посоветуйте проверенных если есть.
Читать полностью…
Пиздец мои чуваки, просто пиздец.
Коменты закрыты.
🤖 Как изменился NLP Research после выхода GPT-4
И где теперь мы берем новые идеи для исследований — об этом команда Tinkoff AI расскажет на первом осеннем митапе в Москве. Также на встрече ребята обсудят особенности автоматизации поддержки в банке, подходы классификации интентов и разберут нюансы подготовки датасетов для предобучения foundational-моделей.
После докладов останутся на поболтать и познакомиться с участниками ближе!
📆 Tinkoff.AI NLP Monolog Meetup #2
пройдет 19 октября в БЦ «Водном». Не забудьте зарегистрироваться и позвать с собой коллег!
LIQUID3
Если вы хоть раз были в востчной европе зимой вы могли заметить что над городом висит смог от угля, машин и вот это все, при этом деревьев нет и CO2 ничего не перебатывает, те на улице буквально нечем дышать.
Чуваки из университета Белграда устали от этого и сделали жидкое дерево, по сути это биоереактор с электроникой, копрессором для воздуха снаружи и подогревом для зимы, он проливает через себя воздух с улицы, а микроводоросли(авторы ничего не пишут, но мне кажется это это водоросли) перерабатывают в кислород! в итоге такой аквариум заменяет 10летнее дерево!
посмотреть видео на сербском
Тарелка(гречка*|салат(помидоры, огурцы))
Фуххх, как же хорошо, что я тоже передаю всю информацию по жизни только в формулах😰, ведь если написать, что промпт содержит таблицу и вопрос никто не поймет
Зашёл в LinkedIn
@
....
На моей памяти это четвертая вариация как включать fp16 в torch lighting....
Я хз, может только у меня глаз дёргается на 16-true
А, ну и по традиции: покажите мне продукты на своих моделях у которых сходиться unit экономика на 70b+
Читать полностью…
У Фридмана вышло первое чисто виртуальное интервью с Цукербергом. Посмотрите хотя бы ради картинки, по сути это встреча в метаверсе с помощью Quest Pro. Выглядит очень круто, еще 3-5 лет, и изображение будет не отличить от реального мира.
https://www.youtube.com/watch?v=MVYrJJNdrEg
Привет, ребята. Как жизнь?Учитесь, работаете? Вот и хорошо, учитесь дальше, и работайте, и любите жизнь такой, какая она есть.
Я так не сделал, в свое время. Когда я был в вашем возрасте , я выбрал ml.
Посмотрите, на что я теперь похож. Жалкий обрубок, неспособный даже помочиться самостоятельно.А все начиналось так весело. Мы с друзьями - Вовкой со второго курса и Васькой с первого заходили на kaggle, так, поразвлечься. Мы были теми, кого вы зовете ньюфагами.
Сперва мы делали это ради смеха, потому, что это было "модно".
Сначала мы заходили сюда раз - два, в неделю. Затем это стало происходить все чаще. В один из тех дней, когда за 1000 эпох loss не упал, ушел Петька.
- Ребята, я так больше не могу, -сказал он, и ушел.
И тогда мы начали проводить тут в два раза больше времени- это было похоже на какой то дурман. Помню только, как пришел домой, мать схватила меня за воротник, она смотрит мне в глаза, отец пьян, они о чем то говорят друг с другом, он выдыхает мне в лицо:
- С кем ты связался? Почему у тебя такие красные глаза? Что ты принимал ?!
Они обшаривают журнал, и находят ссылки на лекции по терверу. А затем - крики, слезы матери, угрозы отца отдать меня в детдом, меня выпороли и я лег спать.
Перед сном я вспомнил, как раньше думал - Ха, ребята, я никогда не подсяду на ml - кто угодно, но не я! Создаю новые модели два - три раза в неделю, просто ради смеха, уж кто-кто, а я точно не стану одним из этих ваших датасатанистов!
И вот, я один из них. Machine Learner. Они еще долго обсуждали мое будущее на кухне, а наутро меня положили в клинику. Это был первый раз.Поначалу меня ломало, я стонал, кричал, и визжал, будучи лишенным моего уютного tensorflow, а затем я затих. Я начал представлять себе, как я регаюсь на соревнования на kaggle, беру золото, призовой фонд мой...
Когда меня выпустили, я перестал изучать ml дома, я вынюхивал тихие полуподвальные интернет - кафешки, где из-под полы хозяин может продать тебе порцию документации scipy, старался дважды не ходить в одну и ту же, а дома изображал примерного ученика девятого класса, и показывал маме чистую историю посещений в компьютере, а она плакала от радости, что её сынок такой хороший.
Так прошел год.
Однажды, когда я сидел в очередной прокуренной интернет - забегаловке под кайфом от accuracy , вдруг словно что-то схватило меня за сердце. Я охнул и упал. Ледяная хватка все туже опоясывала мою грудь, исходя холодным липким потом, я пополз между рядов грязных стульев. Вдруг боль стала настолько невыносимой, словно мою грудь пронзили ножом. Чьи то руки бережно подняли меня. Слава Богу - сквозь пелену боли, подумал я, есть еще добрые люди. Руки вынесли меня на улицу, и выбросили в сугроб, за помойкой, где меня было не видно. Я потерял сознание.
Очнулся я уже в госпитале. Лучше мне было умереть. Мои ноги были ампутированы по колено, а правая рука - парализована. Мать отказалась от меня, и, пролежав в больнице пол - года, я оказался один, без средств к существованию. Я попрошайничал на улице, катаясь в маленькой детской коляске, на морозе, надеясь выпросить хотя бы на кусок хлеба. Я спал в подвале, и жил, как собака, пока меня не нашли волонтеры ЦРЦML (Центр Реабилитации Пострадавших от Machine learning).
Теперь я езжу по школам и рассказываю свою историю.Еще три года назад я был таким же,как вы - молодым, розовощеким, уверенным в себе. Теперь все потеряно. Вы всё ещё думаете, что нейросетки - это весело ? Думаете, быть ml researcher'ом- это круто ? Посмотрите на меня. Цените жизнь,ребята, цените жизнь.
#чтивонаночь
Подул мистраль, запахло переменами - Mistral-7B-v0.1
- ллама образная архитектура с 16к контекста
- на большинстве бенчей лучше чем llama2 13b имея вдвое меньше параметров!
- лицензия apache2.0
go юзать!
link
релизы open ai в 2024 gonna be like these:
no model
no paper
no api
no paper with: look how cool we are
cпасибо dl in nlp за качественный оперативный постинг
КТО ТАКИЕ ЗУМЕРЫ?
Зумер (ZOOMER) — это дитя круглых тензеров, представитель самого молодого поколения резерчеров: бакалавр, магистрант, или только на пути получения кандидата. Имеет богатый опыт в использовании совеременных фреймворков, некоторые используют pytorch с самого рождения. Из-за развития HuggingFace объективно умнее и циничнее последующих поколений. Девушки заводят эксперименты не по примерам своих матерей, а по гайдам из твиттера, выпускают в год на 5 статей больше и гораздо быстрее тестируют гипотезы прошлых поколений в годы их юности. Парни самоуверенны, ведут свои собственные ml каналы, не стесняются цитировать самого себя, весьма рано публикуются на A* конференциях, следят за собой, покупают монохром, регулярно моются.
Yannic Kilcher и другие обозрощики статей, оказывающие на зумеров влияние больше, чем собственные научруки, прививают им рациональные, холодные взгляды на мир. Как правило, зумеры с ранних лет жаждут уехать из России, по уже обсосанным сто раз причинам. Отличаются большей толерантностью и репортят в статьях выбросы CO2 и gender bias. Молодежь перенимает западный манер написания статей. Ведут себя по большей части уверенно и нагло. Генерируют много еба́ных идей, и именно поэтому очень перспективны. Всё дальше уходят от обучения моделей в сторону подбора промптов. Пали жертвами моды на GenAI стартапы.
Зумер — тот, кто имеет хирш 1-2.
Волож, Парахин, где h100 в клауде?!
Нас 25 тысяч и мы идем разибраться!
amazon - спонсор моего отопления на эту зиму
Читать полностью…
лав дес трансформаторс - опержая события
Читать полностью…
#чтивонаночь по быстрому
месяца полтора назад я ходил в отпуск и удивился что диффузия очень тривиально заводиться с <внешним ранкером> + ppo/любой способ подкидывать неградиентную информацию о мире.
Такая схема в целом позволяет из коробки генерить красивое, а главное очень близкое к правде, фактически генерация не отличимая от фото.
Вокруг этого строиться свежая работа aligning t2i блабла, авторы говорят - ну давайте явно прокидывать CLIP cosine между тем что получилось и тем что должно было быть, ну и так учить.
Метрики вам особо ничего не скажут, а авторы не черепикали результаты, поэтому need to run pipeline.
папир
Завтра вечером будет Pytorch meetup, если вы занимаетесь или интересуетесь Deep Learning или хотите узнать про передовые разработки AI без хайпа а с техническими деталями и объяснениями приходите и зовите друзей.
Будут доклады про RLHF, про diffusion models, и применение Pytorch к физическим симуляция в квантовой химии (сопряжено с drug design). Также будет нетворкинг с напитками и едой.
научные статьи раньше: вот метрика, вот на таких данных меряем, вот статзначимость результатов
научные статьи сейчас: тред в твиттере со скринами
Мне кажется или в open Ai не вылезали с civit.ai?
THAT'S HUGEEE📱
Пойду за попкорном и пивом, Сбер прошел на emnlp, ждём ковровые бомбардировки в ревью, в прошлом году было весело.
Upd пойду рисовать бинго
заметки сентябрь/23
Последние релизы(mistral, phi1.5, llama) показывают очевидную классику: test set хорошие данные is all you need, что собственно довольно очевидно,
к слову, this huge для phi1.5 в первую очередь заключается в том что он не нарушая scaling laws показывает как учить более умные модели, при этом они будут дешевыми и быстрыми на инференс, а главное - такой подход не требует серьезных затрат, вам не нужно 2000к(два миллиона) карт на обучения 100t трансформера, вам нужно 10т очень чистых токенов и 175B моделька на несколько эпох.
существует много спекуляций на тему размера gpt4, у меня есть некоторые сомнения в том что на инфренс одной модели имеет смысл использовать 12dgx а100( для 1T размера), а главное - мы никак не можем это проверить, только инсайдеры.
опять же, уже есть 34b модели которые на ОТДЕЛЬНЫХ бенчах обгоняют gpt4, значит что в перспективе 3-4месяцев(выход мистраль 13B, 33b) мы увидим модели которые на нескольких или большинстве бенчей лучше gpt4 и в начале 24 года увидим модель которая фактически будет обгонять gpt4
При этом open ai по полной раскатывают политику закрытости ресерча - к новым релизам не выходит не то что технических статей, выходят буквально БЛОГИ формата: ну прошлая версия рекомендовала худеть, ныняшняя предлагает есть грибы, желательно псилоцебиновые, под ними лучше думается.
Мы считаем такое поведение безопасным, у нас все хорошо, ебитесь с моделями и думайте как нас догнать сами.
В целом это дает довольно очевидные бонусы для openai - они буквально отсекают конкурентов, а за счет того что их продукты распространяются по api - у нас буквально нет шансов на реверс инжиниринг!
Но при этом
1) я могу сходу найти с 10ток небезопасных моделей на HF, их не сложно сделать инстурктивными и при этом опасными, достаточно опасными чтобы обьяснить как смешать опилки с апельсиновым соком
2)мне иногда кажется что в офисах игнорируют civit.ai, притворяются будто его нет и совершенно точно нет comfy ui который обгоняет любое апи в правильных руках
дискасс
шел третий месяц, админ притворялся что не вышло 2.5 поколение t2i и точно ничего не произошло
Читать полностью…
Дорогие читатели!
Сегодня я сделала шпаргалку по самым известным научным конференциям уровня A* (по CORE2023), связанным с машинным обучением. Большими сойджеками выделены конференции с более высоким h5-индексом в Google Scholar, а маленькими - с h5-индексом поменьше. Забирайте на стену, чтобы не забыть, куда подавать статьи, чтобы потом делать самое сойджековское лицо в своем офисе!
#ML_в_мемах
❌ Ломать не строить конечно. Роскомнадзор опять массово блокирует Wireguard в России.
✅ Но как бывает приятно сливать бурную деятельность противника 🤣 Поработайте ещё немного в ведро, дорогие мои ЦМУ ССОП.
☝️ /channel/vpngen сегодня ночью выкатил поддержку Outline. Это реализация ShadowSocks от инкубатора Google. Имеет очень простые клиенты для всех основных систем. ShadowSocks в свою очередь — шифрованный и скрытный вариант старого доброго socks5, разработанный китайцами для обхода китайского файерволла. Outline можно как начать раздавать пользователям, так и получить конфиг через бота существующим администраторам. Наслаждайтесь.
☝️ Стараниями комьюнити и разработчиков Amnezia довольно провела серьёзную работу над ошибками в клиентах и выпустила новые рабочие версии, включая подписанную под Windows:
https://amnezia.org/en
☝️ VPN Generator /channel/vpngen также поддерживает протокол OpenVPN over Cloak с конфигурацией для клиента Amnezia. Можно как создать конфигурацию для пользователя, так и получить конфигурацию для существующего администратора через бот. Наслаждайтесь.
🤷♂️ Не всё же мне молчать и философствовать в канале :) И самолюбоваться :)
🫵 Лайк, шар, репост
Хз о чьёй он матери, но это очень смешно. От себя добавлю: зумеры любят vscode и интерактивные энвы, любят дебагеры к куберу и вот это всё.
Читать полностью…
Все премиум бустеры будут добавлены в отдельный ламповый чат + доступ к сходкам в разных городах!
/channel/lovedeathtransformers?boost
Роботы курьеры Яндекса куда то собрались, но выстроились в пробку.
Видео от подписчиков
👀 Распознавание патологий глаза
👉 FLAIR - моделька по типу клипа для распознавания 96-и классов патологий глаза. Обучена на 37 датасетах. Показывает высокие результаты при zero-shot подходе с "расшифровками" медицинских абревиатур. Для каждой аббревиатуры есть таблица с полным названием и 1-5 коротких экспертных описаний. Для анализа требуется изображение глаза в высоком разрешении.
@data_morning
Project Page | Paper | Code | Colab