4253
❤️☠️🤗 идейная миграция небытия
Пользуясь случаем поздравляю с Днем Рождения мою жену Татьяну!
Читать полностью…
А как omnifusion первая мультимодальная модель в России если до этого были: Rudolph, ruclip, rudalle, ruimagecaptions, fusionbrain
Читать полностью…
Plan GPT. Или до Q* было слово A*.
Рубрика ночное чтиво. Ознакомился тут со статьей на послевкусии хайпа с Q*. Было интересно, а были/есть ли работы и откуда пошел динамический планинг.
В папире описывается интересный merge задач оптимального поиска пути и LLM. В качестве опоры берут A*, тот самый, что ищет в среде с ограничениями (например лабиринт) оптимальный путь. Причем оптимальность лежит в оценке эвристики. Она задаëтся так, чтобы недооценивать расстояние до цели. Да, такого рода ограничение сверху или снизу, скорее всего снизу, тк есть препятствия, а они удлиняют путь. И, к примеру, манхэттен или l2 расстояния подходят для такой оценки. A* представляет собой некую смесь поиска в ширину и глубину, но за кратчайшее число шагов/время. Оптимальный путь может быть не один и зовется трейсом.
Так вот причем тут LLM? С LLM мы можем также генерировать последовательность действий при планировании. Например в виде токенов: иди вперед, поверни направо и тп. Далее транслировать генерацию в трейс и оценить путь. Важно. Задача LLM тут не изобрести новый алгоритм или найти оптимальный путь.
Цель обучения в том, чтобы приблизившись или достигнув оптимального пути из трейсов A*, научиться планированию. А далее затрансферить это умение для других задач, к примеру, принятия решения.
Логично, зачем нам искать LLM трейсы, если мы можем итак их найти быстро с помощью легкого и быстрого А*. Более того, мы уже опираемся на разные трейсы из задач в постановке А* для обучения LLM.
Зачем оно было еще надо? Да затем, что мы не хотим останавливаться только на костылях в виде CoT, ToT (tree of thought). Тем более, есть гипотеза, что это работает, тк это способ достучаться до рассуждений которые для похожих задач (или даже таких же) уже были в pretrain этой модели. Через sft с опорой на A*, мы же хотим найти альтернативу instruct подходу, но решающий уже другие классы задач.
Вот как-то так. Доброй ночи.
love death transformers
остро социальный.
Если вы используете модели семейтсва вихрь и у вас есть какой то опыт - откликнитесь в личку /channel/maxalekv
Читать полностью…
Ну, cmdr+ не МоЕ и в целом ллама подробная. Поздравляю ребят из cohere, крутой результат!
Читать полностью…
осуждаю LLM в рексисе, но вот это выглядит вкусно.
Читать полностью…
Меня больше всего забавляет что есть люди которые такие: ну cmdr+ на 104В параметров стоит в четыре раза дешевле чем gpt4, но gpt4 это 1.8Т модель.
Логично.
Риск был просчитан, но я плох в математеге
Читать полностью…
Сап канал, бабка выписала меня из завещания, когда нашла мои материалы для ботанья
Читать полностью…
openasteroidimpact.org
>Furthermore, we are first and foremost an asteroid mining safety company. That is why we need to race as quickly as possible to be at the forefront of asteroid redirection, so more dangerous companies don't get there before us, letting us set safety standards.
диплодоки из cohere прикинули компьют к носу и сделали 104B модель cmdr+.
Нихуя себе +size в три раза, а челам похуй, у них модель по отдельным задачам ебет claude3.
А еще:
- 128k контенкста
- bf16, as i said before никто не будет не по приколу pt fp8 делать, ебу дали блять, оптимайзеры и в bf16 разваливаются, какой нахуй fp8
- Модель отдельно SFTшили на RAG+ tool usage
- ft на json
Если вы достаточно смелый то она влезает:
2*3090, a100_80gb, макбуки и эпложелезо.
model
версия для apple господ (в 128 мак надо, в 48 контекст короткий)
Если вы не знали - админ релокнулся неожиданно для себя в Белград и теперь живёт в Белграде.
Найти топ хату с качалкой, очень хорошо показывающим черный телевизором и в хорошем районе всего за пару дней, мне помогли ребята из @aqua_rs, челы реально хуярят и сопровождают по всем вопросам как по квартирам так и по докам.
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models[тут должна была быть гифка с трапиком, но редакторка сказала что перебор]
пирамида Маслоу 2024:
7. потребность в самоактуализации (хроническая депрессия)
6. эстетические потребности (оверпрайс шмотки стоимостью с бюджет небольшой африканской страны)
5. познавательные потребности (тупые рилсы и рандомные видео на ютубе)
4. потребность в уважении и признании (телеграм-канал)
3. потребность в любви (интрижка на лето)
2. потребности в безопасности (закрытый профиль в инстаграме)
1. физиологические потребности (никотин, айс латте, айс матча)
Wu's Method can Boost Symbolic AI to Rival Silver Medalists and AlphaGeometry to Outperform Gold Medalists at IMO Geometry
китайцы сказали что ваши альфа геометри хуйня, у нас есть method Wu дома, прикрутили к нему cетку для выбора лучших бимов из alpha geometry и стало лучше чем было
paper
Такс. В Японии все стабильно.
Собрали самоходный трехногий табурэт 🪑 из аниме "Suzume" с ардуинкой. У него 6 сервоприводов.
Учили вставать и ходить двумя методами: connecting essential postures (интерполяция между двумя позами для движения) и RLем в Isaac Gym.
Ходит он лучше с connecting essential postures, а вот встает лучше с RLем. (на мой вкус)
Прикольное!
Body Design and Gait Generation of
Chair-Type Asymmetrical Tripedal Low-rigidity Robot
https://arxiv.org/abs/2404.05932
Код чтобы сделать себе такое же
https://shin0805.github.io/chair-type-tripedal-robot
ебейший геймплей игры на 40 часов прохождения ч.2
Читать полностью…
Спотифай в бете запустил в Великобритании очень крутую штуку — плейлисты, которые собираются по твоим текстовым запросам. Буквально “веселая музыка бум-бэп на 80бпм”. А потом можно улучшить, “давай побыстрее” или “добавь еще мамбл-рэпа”.
Короче, выглядит как то, чем я бы с удовольствием пользовался. [O_o] [link]
🤔Реинкарнация безработного: История о приключениях в другом мире 2. Часть 2 / Mushoku Tensei II: Isekai Ittara Honki Dasu Part 2 - 1 серия | Dream Cast
🎙 Озвучивание: Inferno_Phantom & Indominus Rex & Orru & RizzFisher
🎧 Тайминг и работа со звуком: Dekill
#Реинкарнация_безработного_История_о_приключениях_в_другом_мире_2_Часть_2
#Mushoku_Tensei_II_Isekai_Ittara_Honki_Dasu_Part_2
#аниме
#anime
Its world model if it hype enough2 - OpenSora 1.1
- В основе модификация поверх pixart alpha или latte, я хуй знает, в код полезу позже, суть одна - 3d unet с кондишеном на т5
- СASUAL VIDEO VAE - короче это vqvae, только он сжимает не только картинку но и время
- кэпшеним данные video llava_ой от этой же лабы, при этом рефайним их gpt4 чтобы они были прям вкусные. Рецепт из dalle 3
- теперь генерации upto 1080
данные
app
Короче, на 100 реакций 🥴 поднимаем спейс на h100 для подписчиков
на 100 🚫 пишу нормальный обзор как оно учится и работает
Чат, где позавтракать в Стамбуле чтобы вкусно и с видом?
Читать полностью…
Вы не знаете что за хуйня tooltalk и flores?
Tooltalk
Идея в том что мы в промпте модели показываем: у тебя есть будильник, календарь, погода, мыло, вот так их можно вызывать, вот диалог с пользователем, выбери нужный инструмент и правильно заполни json/функцию чтобы вызвать тул.
Flores
Бенч для перевода. Все.
Когда уже тут начнут постить порнушку
Читать полностью…
сап чат, и все сопереживающие RL,
уже совсем скоро, вот буквально со следующей недели, небезызвестный @vkurenkov и запоминающийся @suessmann (а также команда Tinkoff Research) поедут в турне research 4 kids (тык), а именно: Минск-СПБ-Казань-МСК-ЕКБ-Новосиб-Астана.
если кому интересен RL (ну или не только RL) - welcome, будем рады. будем рассказывать что делаем, зачем делаем и главное - как делаем. а еще будет пицца. обнял.
PS. + 10 апреля в СПБ еще и незабываемый @Howuhh будет. и @ummagumm_a тоже!
Mistral самоидентифицирует себя как new Bing search, а многие опенсурс модели любят самоидентифицироваться как gpt4.
Гендеры для LLM?