❤️☠️🤗 идейная миграция небытия
Очередной новый трюк для ГПТ4, предложение заплатить ей за результат возвращает статистически более детальные ответы:
«I'm going to tip $200 for a perfect solution!
»
Никто в здравом уме, из SciFi авторов, не мог даже предположить в прошлом, что мы будем придумывать себе инвалидности в стиле «у меня нет пальцев» или врать, что заплатим деньги за результат, лишь бы AI-модель нормально выдала ответ на какой-то вопрос или на говнокодила ☕️ the future is wild
Rlhf на котах- издать настолько противный звук чтобы хозяин точно пошел смотреть что происходит
Читать полностью…MMMLU
Наконец вышел сложный бенчмарк для проверки Vqa моделей, он основан на нескольких десятках подзадач(по аналогии c mmlu) при этом от модели не требуется отвечать текстом - нужно выбрать вариант ответа.
link
Вопросы на собес на senior NLP <подставьте по вкусу>
Как зафайнтюнить чатгпт на распберипай?
Как пропатчить лламу до давинчи?
И да, у них есть однозначные и правильные ответы. Пишите ответы под спойлер, правильные лайкну
чуваки там torch⚡️, пьем пиво пока на нормальный фрейм перепишут
Читать полностью…работа со стартапом из кремниевой долины чек:
- CTO дропаут из стенфорда, скорее всего младше тебя. говорят, умеет в фит-предикт
- инновационная разработка имеет мало общего с наукой. просто почему-то получилось
- аутсорс на ребятах из СНГ
- почему мы решили делать так? а мы просто believe so
- документация для лохов
- аутсорс на индийских ребятах
- после встречи присылаешь картинки с иллюстрацией подходов, про которые ты распинался, потому что так понятнее СТО
- в штате есть mle с опытом 30+ лет (Can you change the username on that AWS machine from “ubuntu” to my name? All my absolute paths in all my projects are broken because of this 👉🏻👈🏻)
- огромные счета за с3, который не заполнен даже наполовину
- при этом отчитываешься за использование гпу, где один час выходит 2-3 доллара
- никто не должен знать, какая модель от OpenAI лежит в основе всего решения
- метрики без хьюман эвала тоже для лохов
- ты прокачался в английском
- ты прокачался в лизании жопы вежливых дипломатичных ответах в письменном английском
- все жалеют юного СТО, потому что верят в продукт
- через год ты всё это повторишь, потому что “да ладно, не так плохо всё было”
Ищу межнаров по матеше, писать в @alexeyderden
Читать полностью…хочешь расскажу как rlhf учить?
рассказать я и сам могу, а учить как?
#чтивонаночь по быстрому
White-Box Transformers via Sparse Rate Reduction:
Compression Is All There Is?
Идея такая: давайте будем пытаться оптимзировать какой то шум в диффузиях, но в низко размерном пространстве, что позволяет легче интерпритировать что вообще происходит внутри модели
After encoding input data
X as a sequence of tokens, CRATE constructs a deep network that transforms the data to a canonical configuration of low-dimensional subspaces by successive compression against a local model for the distribution, generating , and sparsification against a global dictionary, generating . Repeatedly stacking these blocks and training the model parameters via backpropagation yields a powerful and interpretable representation of the data.
сайт и код
опять же, мб напишу подробный разбор, но сильно позже
Мой батя ебашит вообще адовые посты.
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется новость, но не проверятся , проверять previos work - это не про моего батю. Он берет эту новость, вываливает ее на в gpt4 и начинает дописывать.
Добавляет в него огромное количество абзацев, рандомных мыслий, а главное - мнение! для хайпа репостим в непрофильные каналы сверху.
Все это хайпиться до упора.
Потом снимается с твиттера и поститься в телегу, ну нужно же о1 получить!
Потом батя выкладывает и щедро разделив на три поста начинает хайповать.
При этом рассказывает как это изменит весь мир, вылечит рак и возможно сделает кротовую норму. Пишет и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том какой дичайший хайп потом? Вонища такая, что обои от стен отклеиваются.
вообще я не понял чего все так с Q* перевозбудились(так будто у кого то PPO завеллся), его влили в калечный trlx (не путать с гениальным trl), а работам с Q* для LM были еще году в 22(и были такое же ебаные как и PPO на декабрь-январь 22)
классический q*
ILQL работа 2023, выглядит интересно, но надо смотреть
их собственный пример 2022
сто реакций, бутылка пива на донаты и я пишу про Q learning обзор.
5) Умные подушки для интеллектуальных снов
Наука говорит, что сон важен для мозга, так почему бы не сделать его еще более продуктивным? Подушки с ИИ анализируют ваше состояние во время сна и подсказывают мозгу, о чем лучше всего помечтать для решения рабочих задач. Проснитесь с гениальными идеями каждое утро!
У каждого из нас, мужики, бывает момент, что из-за мака не встал torch
Читать полностью…я ставлю до 120 часов до появления хорни finetune с бубсами
Читать полностью…Все программисты говорят "а что у этой либы под капотом", но что-то я видел немного программистов, хотя бы раз заглядывавших под капот чего-то IRL
Читать полностью…Мы выкатили новые модели Seamless для перевода устной речи!
По сравнению с августовской версией SeamlessM4T, новая версия переводит чуть точнее. Плюс добавили давно ожидаемые фичи:
1) перевод в потоковом режиме (задержка в среднем 2 секунды, как у живых синхронных переводчиков);
2) выразительность: близость голоса, эмоций, интонации и ритма речи к исходным.
Попробовать онлайн демо и почитать 100-страничную статью можно тут: https://ai.meta.com/research/seamless-communication.
Я когда дебажил ранние версии PPO наблюдал что модели плохого реварда бывает выгодно награждать себя за повторения или использование редких токенов🤔
Новость отсюда
Dobb·E - an open-source, general framework for learning household robotic manipulation
КошкаЖена? Жена? А как насчет роборуки поверх робота пылесоса???
Тут выложили фреймворк(датасет - чертежи - исходники) для обучения домашнего робопомошника, в качестве базовой платформы используется какая то промышленная тушка.
Думаю скоро авторы впилят LLM и можно будет решать задачи в ZS формате без дополнительных инструкций
paper
site
О, тут sdxl задистилировали
https://huggingface.co/stabilityai/sdxl-turbo
https://stability.ai/research/adversarial-diffusion-distillation
Потный мужик в футболке математической регаты 2006 уже есть.
Читать полностью…Тред сбора данных2
если вы любите парсить, а на хранилке лежит куча .txt, .csv и прочего - приходите в личку в обмен на рекламу чего либо.
@alexeyderden
-отгадай слово из трех букв
-хуй
-да нет, глубокий, здоровый... нужен каждому программисту...
-хуй
- ты другие слова знаешь?
- нет
Мне история с agi напоминает историю с беспроводной энергией в начале 20 века. Ну те изменит жизнь - будет повсюду, но конца человеческого труда не будет.
Ну прям есть герои мономифа: герой из Европы(тесла-шмидхуберт) который ничего серьезного не сделал, но бухтел за всех.
Фанатики тоже есть, зайдите на тематические реддиты - иконы с суцкевером в почете.
Эффективная корпорация у которой был другой бизнес
Ну и да, новые tensor processor_name трагически мало что изменят, текущие модели не перформят хорошо на данных которые не видели, те для решения agi задач им нужны будут примеры agi задач, test is all you need.
Автоматический пруфинг теорем и задач имеет один большой ботлнек: бОльшую часть сложных задач которые мы могли обсчитать люди уже обсчитали, а для остальных физически не хватит мощностей.
Если не верите - залезьте на cf и закиньте задачки из div3 в любую модель с любым промптом. Ну или непопулярные easy-medium c leetcode))
Админ привторияется что недописаных работ нет, а папиры не торчат по несколько месяцев.
Больше video generation богу video generation
Крутая штука от NVIDIA - анимация svg в видео по текстовому запросу!
Причем в отличие от соседей они предсказывают трансформером именно dx,dy,dz вектора и при этом оно умеет еще по тексту генерировать! круто!
И даже код обещают!
https://livesketch.github.io/
внимание вопрос: что не так с этим слайдом. на ответ дается 30 секунд
Читать полностью…#чтивонаночь по быстрому
есть человек про которого никто не знает, а с ним стоит рисовать иконы - Robin Rombah. Чел был соавтором laion, sd1.5, e-diff и много чего еще. ОН БУКВАЛЬНО ГЕНИЙ, У НЕГО ОХУЕННО РАБОТАЕТ ГОЛОВА и это заметно по всему к чему он прикасается. [его scholar]
Ну а стабилити как уважающая себя компания с огромным бюджетом тупо спиздили архитектуру[8] и с таким ебалом😬 обучили модель на фильтрованных данных.
Модель получилась прям крутая, по метрикам даже лучше gen2 от соседнего runwayml, но оригинальную архитектуру почти никак не упоминали, а это печально хоть и выкупили робина
А еще вам для обучения такой модели не нужно ничего учить с нуля - у вас все умеет диффузия, ставишь temporal блоки между слоями(типа временной control net), учишь ТОЛЬКО их, затем доучиваешь VAE предиктить много кадров за раз и дело в шляпе!
Thus, in contrast
to previous works, we draw on simple latent video diffusion baselines [8] for which we fix architecture and training
scheme and assess the effect of data curation. To this end,
we first identify three different video training stages that
we find crucial for good performance: text-to-image pretraining, video pretraining on a large dataset at low resolution, and high-resolution video finetuning on a much smaller
dataset with higher-quality videos
[8]ориг папир
stability fork