4253
❤️☠️🤗 идейная миграция небытия
Никто
Абсолютно никто
Chinese chinchilla <1
"Шиншила коэффициент" это коэффициент минимального лосса к минимальному числу токенов к размеру модели. В норме это 1/20 те на 1В параметр модели нужно 20В токенов
Никогда не спрашивайте тигрят кто им платит и за что.
Читать полностью…
Видеоигры из фото и другие крутые доклады с ICML 2024
Прямо сейчас проходит международная конференция по машинному обучению ICML 2024. Александр Шишеня и Сергей Овчаренко из службы компьютерного зрения Яндекса выбрали интересные доклады, которые уже представили на мероприятии.
Туториал Physics of Language Models
Прорывной доклад первых двух дней о построении AGI на LLM. Авторы обнаружили два уровня рассуждения (reasoning) для моделей. На первом LLM могут выучивать графы причинно-следственных связей для сложных задач и делать топологическую сортировку для понимания порядка вычисления в этом графе. А на втором модель заранее просчитывает все промежуточные данные для построения ответа.
Ошибки случаются, но, благодаря linear probe, LLM с вероятностью 99% сама предсказывает, где промахнется. Исправить, правда, не сможет, поэтому рекомендуется добавлять в обучающую выборку CoT-примеры с ошибками и их исправлением.
Genie: Generative Interactive Environments
Доклад от DeepMind, сотрудники которого обучили две модели на датасете из видеоигр — в основном, 2D-платформерах. Одна модель кодирует возможные действия игрока в латентное дискретное пространство, а другая — предсказывает следующие фреймы по предыдущим. В итоге Genie способна генерировать видеоигровые уровни из текстовых промтов, рисунков и фотографий. Статья получила награду Best Paper Award.
Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization
Доклад об авторегрессионной модели, способной предсказывать текстовые токены и видео. Она обучена на next-token prediction с диффузионной моделью для генерации кадров в пиксельном пространстве и motion-векторы. С помощью DDIM-инверсии получают «шумную» версию последнего кадра и сопоставляют ее с предыдущими. Получившаяся модель умеет генерировать весьма долгие видео по промту или первому кадру.
ML Underhood
A Girl's Perspective on Bay Area Men
lownhq @ Meta
Hi everyone, as a gal, I am offering you my view on why many of you are not getting laid for years on end. First of all, most tech workers over here are bottom of the barrel in terms of sexual attraction anywhere in the world. Your job and salary and maybe education can compensate to a point, but they still don't fully address the attraction gap. If you moved elsewhere in the United States, you won't do much better. If you go to a 3rd world non-white country, you might do a lot better due to different standards of beauty. Second, being a millionaire SWE with a TC over 500k over here is not that big of a deal especially when the guy is too busy with work most of the time and boring outside of work. Girls want someone who makes their lives better and more interesting, not a drone with a bigger bank account. Third, there area lots of high quality men in the Bay Area and tech guys are at the bottom of the pyramid. There are men with generational wealth, corporate execs, successful startup founders, VCs, private equity guys, not to mention doctors, lawyers, and professors at Berkeley and Stanford. SWEs are just the minions who work for all these other people to put it bluntly. At the director level, tech guys start to have a chance to compete with other types of guys. I personally put an engineering director at first and second tier companies on the same level as a successful doctor or big law lawyer.
What I said above applies for women under the age of 35. Between the ages of 35 to 40, women will start to lower their standards especially if the man is younger than her. The market skews in favor of men starting around the age of 40 as women start thinking about menopause.
Yes, I know this is harsh, but I think knowing the truth can't hurt because then you can plan accordingly. The bar for men in the Bay Area is really high and it's not fair for you guys. But that's how the world is.
@blind_feed
Лютая хуйня, openai будут заливать инвест бабки, как тот же uber, у ребят есть шансы подмять все и инвесторы это не упостят
https://www.datacenterdynamics.com/en/news/openai-training-and-inference-costs-could-reach-7bn-for-2024-ai-startup-set-to-lose-5bn-report/
Записали на студии Яндекса видео с объяснением метода статьи и результатов.
Если кто-то будет завтра гулять по постер сессии на ICML - заходите, поболтаем.
На конференции есть три задачи:
- набухатся за счёт квантов
- не ходить на работу не беря отпуск
- приехать с рюкзаком, уехать с чемоданом мерча
Эм погодите, это что выходит gpt4о level в паблике? А что там с gpt4.5?
Читать полностью…
Everything is lookup table if you brave enough
Читать полностью…
Почему в России до сих пор нет Research Z?
Что за omutai(типа топится?)
Новый робот от китайцев из unitree теперь и с колесами!!
Читать полностью…
🚀 Если Вам интересно машинное обучение и/или математика - приглашаем Вас принять участие в проекте по применению методов МЛ/RL к теории групп/графов Кэли - напишите @alexander_v_c - если хотите принять участие, а также заходите на вводный вебинар (знаний теории групп не требуется):
👨🔬 Александр Червов (к.ф.-м.н) "Методы МЛ в теории групп - введение и обзор достигнутого"
⌚️ Понедельник 22 июля, 18.00 (по Москве)
Методы машинного обучения могут быть применены к ряду классических задач теории групп - разложение элемента по образующим, оценки диаметра. Мы приглашаем принять всех участие в данном проекте. Предварительное требование - знание Питона и наличие нескольких свободных часов в неделю. Если вы хотите улучшить свои знания по МЛ/RL и внести вклад в развитие науки - это отличный шанс .
В данном докладе мы простым языком объясним формулировки основных задач, и как задачи теории групп переводятся на язык машинного обучения. Предварительных знаний не требуется. Также, мы дадим обзор уже достигнутых результатов - в частности для группы порядка 4*10^19 (Rubik cube) нам уже удается находить решение задачи за минуты , а не 40 часов ГПУ как было в предыдущей работе "DeepCube".
План доклада:
1 Переформулировка основной задачи на простом языке матриц
2 Матрицы перестановок и группы типа кубика Рубика (см. ноутбук "Visualize allowed moves": https://www.kaggle.com/code/marksix/visualize-allowed-moves )
3 Графы Кэли и переформулировка основной задачи как поиск пути на графе
4 Случайные блуждания по графам - создание трейн сета для МЛ-модели
5 Подход к решению задач теории групп через машинное обучение. Оценка дистанции до цели через МЛ-модель и проблема наличия множественных локальных минимумов у этой оценки
6 Beam search. (Один из вариантов борьбы с застреваниями в локальных минимумах)
7 Бейзлайн реализация: МЛ+ Beam search - ноутбук: https://www.kaggle.com/code/alexandervc/baseline-1-for-permutations - решение кубика Рубика за пару минут
8 Cледующие шаги: RL-часть, улучшение нейросеток, улучшение трейн сета, улучшение beam search
Добавляйтесь в группу проекта: /channel/sberlogasci/10989 и пишите @alexander_v_c - если Вам интересно !
PS
См. также предыдущий вводный доклад:
/channel/sberlogasci/10989/15283 "Введение в методы поиска короткого пути на больших графах" (Кирилл Хоружий )
Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !
Неизданное (а хотелось бы, чтоб изданное) от Валентина Стрыкало
«Внутри меня»
«Осень»
«Без Меня»
«Гори»
«Ты не такая» (акустика)
«По трубам»
«Если будет снег»
Как меня кинули на 100к в работе с Exeed
История классическая, как роман Ф.М. Достоевского «Идиот». Краткое содержание: НИКОГДА, ни с кем не работайте без подписанного договора и предоплаты. Не надо этого делать. Даже если люди приятные, кажутся адекватными и не похожи на мошенников, не делайте этого!
А теперь к сути.
Мой клиент: продакшен студия ООО «Флэш»: https://www.rusprofile.ru/id/1247700175436 Позиционирует себя как серьезный продакшен. Настолько серьезный, что их сайта не существует https://flash.ooo/ Ну штош, может доделают его за счет тех денег, на которые меня шваркнули.(продолжение в вложениях)
@annak_ooo-Анна
забейте, symbolic solvers are agi enough(спасибо что не сравнили калькулятор с человеком), не читайте высеры дипмайнда, читайте супер базированные китайские работы где люди с очень большими яйцами показывают как надо.
серьезно, почитайте вечером, отличная китайская работа
:soyjack face
Естественная мужская потребность поставить печку в спешалти кофейне.
К слову отличный кофе наливают в the good coffe society
Eastern Europe research - мы считаемся на майнинг кластере, в лабе можно курить
Western Europe research - тканевый постер можно использовать как простынь
OpenAI грозит финансовый крах?
По данным нового отчета The Information, в 2024 компания может потерять до 5 миллиардов долларов. По данным их инсайдеров, по состоянию на март этого года OpenAI уже потратила почти $4 миллиарда на аренду серверов.
Плюсом к этому идут затраты на обучение (по оценкам, $3 млрд). Кстати, в начале года на это планировалось потратить всего $800 млн, но что-то пошло не по плану.
+ Зарплаты, которые составляют примерно $1.5 млрд. Учитывая, что общая выручка оценивается примерно в $4 млрд, несложная математика указывает на огромный дефицит. Похоже, Microsoft опять пора готовиться расчехлять кошелек.
Когда у тебя почти самый быстрорастущий бизнес в истории, а денег все равно нет 🔵
Новая модель мистраля неплохая, но они не оплачивают бар на своем afterparty так что мы такое не любим.
Скачать тут
Чем больше я общаюсь с openai челами, тем больше ржу со слов про agi за три года и agi achieved internally
Читать полностью…
Произошел релиз ллама 3
https://llama.meta.com/
- 128к токенов, какие то дистиляции и 405б версия
Гугл рассуждает что они опять придумали все первыми
Читать полностью…
Мы ищем стажеров!
👩🌾 shorties — это персональная программа, в которой мы выращиваем таланты до полноценных Research Engineer’ов или Research Scientist’ов в зависимости от ваших интересов.
🔭 Intern Research Scientist
Вы будете заниматься написанием статей на top-tier ИИ конференции (NeurIPS, ICLR, ICML) и участием в научном дискурсе: проведение экспериментов, проверка и генерация исследовательских идей, которые направлены на развитие научного знания.
🧪 Intern Research Engineer
Вы будете заниматься созданием новых frontier-технологий и применением Reinforcement Learning в реальных задачах.
Завтра выступаю на воркшопе ICML в 12:30 по мск, можно зарегистрироваться послушать бесплатно.
Towards Full Linguistic Diversity in Language Models
The 7th workshop on Neural Scaling Laws
🟣Расписание
🟣Регистрация на воркшоп
Чёт я жалею что не подписался как
Underground Eastern Europe AI startup
Я впервые с начала войны двигаю на конфу, если вы будете на icml - присоединяйтесь к чату сходки
/channel/+QfAm2S9Ll_FjZTYy
Слушаем охуительный "за границей" от "второй ка"
https://huggingface.co/AnatoliiPotapov/T-lite-0.1
https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1
https://t.ly/T-lite