4253
❤️☠️🤗 идейная миграция небытия
Ставки на 2024.
1) gpt 4 level опенсурс модель до середины Q3.
2) dalle3 level до середины q2, уже есть if XL, Леша-Миша если ты это читаешь, пожалуйста добавь vae блин и доучи, я точно знаю что ты делал так и это работало. Пожалуйста, нам очень надо генерировать писающих собак.
3) Удешевление генерации t2video, i2video, вероятно LCM, решит проблему скорости.
4) LCM в closed source докрутят до уровня текущих моделей, но будет real-time/near realtime.
5) DPO прикрутят ко все к чему можно, rlhf закопают окончательно (слава богу)
6) diffusion lm - подозреваю их наконец докрутят до божеского вида, но это по прежнему андеграунд будет
7) агенты будут работать только в фантазиях техно оптимистов, тут все стабильно
Мне тут нашептали, что издательство tinyBuild на прошлой неделе провело массовые увольнения своих сотрудников в Сербии. Это коснулось многих студий, где-то уволили около 10% людей, где-то почти 30%. Увольнения, по словам экс-сотрудников, происходили одним днем, по классике американских корпораций: звонок 1 на 1, постановление перед фактом увольнения, блокировка всех корпоративных аккаунтов.
Для текущих сотрудников, судя по всему, ухудшились и условия труда — компания перестала оплачивать курсы сербского языка.
Летом акции tinyBuild упали на 80% на фоне свежих финансовых отчетов, показывающих более низкие продажи в 2023 году по сравнению с прогнозами, а также понижение этих самых прогнозов по доходам на 2023 и 2024 годы.
Мой логичный вопрос: если видно, что корабль идет ко дну, зачем тянуть с увольнениями, и не предупреждать людей заранее, хотя бы за месяц, чтобы они успели привести в порядок свои дела?
Практика увольнений одним днем должна быть полностью искоренена, а компании, практикующие подобные методы ведения бизнеса, обязаны терять в своей репутации. Новые сотрудники подумают несколько раз перед тем, как устраиваться в подобные места.
Уволенным ребятам желаю поскорее найти новую работу. Оказаться безработным одним днем в чужой стране — огромный стресс. Если у кого есть дополнительные подробности, то можете писать, как обычно, мне — @RowenLaan
админы аи каналов: вот сеточка, вот у нас тут open ai чо то релизят, вот я лекцию читаю, даааа....
админ ldt: дакимакура с cуцкевером и sama. точно.
Ребята, привет, хочу поделиться новостями по insomnia.land
🫵🏻 Более 4к юзеров из 30 стран
🫵🏻 Более 20 моделей для генерации изображений
🫵🏻 Свои разработки, Realistic+ модель, минимализм, своя гиф модель
Но
Попробовали поднять раунд, один опытный инвестор (делал экзиты на $100mln) отказал нам в инвестициях, но мы получили оценку стартапа в миллион долларов 💪
Мы бутстрапим с основного бизнеса разработки на заказ, но денег ограничено, а свести юнит экономику и поднять раунд требуется еще примерно пол года по нашей оценке.
Венчур сейчас странно устроен. Но нам нужно быстрее скейлиться. Поэтому, я решил запустить раунд микро инвестиций 👀
Вы можете приобрести долю в нашем проекте за небольшую сумму
Потенциально, при раунде инвестиций вы можете получить 10х в уже ближайший год, тем более у нас есть первая оценка в лям 🤗
Писать мне
@cyber_oleg
Очередной новый трюк для ГПТ4, предложение заплатить ей за результат возвращает статистически более детальные ответы:
«I'm going to tip $200 for a perfect solution!»
Никто в здравом уме, из SciFi авторов, не мог даже предположить в прошлом, что мы будем придумывать себе инвалидности в стиле «у меня нет пальцев» или врать, что заплатим деньги за результат, лишь бы AI-модель нормально выдала ответ на какой-то вопрос или на говнокодила ☕️ the future is wild
Rlhf на котах- издать настолько противный звук чтобы хозяин точно пошел смотреть что происходит
Читать полностью…
MMMLU
Наконец вышел сложный бенчмарк для проверки Vqa моделей, он основан на нескольких десятках подзадач(по аналогии c mmlu) при этом от модели не требуется отвечать текстом - нужно выбрать вариант ответа.
link
Вопросы на собес на senior NLP <подставьте по вкусу>
Как зафайнтюнить чатгпт на распберипай?
Как пропатчить лламу до давинчи?
И да, у них есть однозначные и правильные ответы. Пишите ответы под спойлер, правильные лайкну
чуваки там torch⚡️, пьем пиво пока на нормальный фрейм перепишут
Читать полностью…
работа со стартапом из кремниевой долины чек:
- CTO дропаут из стенфорда, скорее всего младше тебя. говорят, умеет в фит-предикт
- инновационная разработка имеет мало общего с наукой. просто почему-то получилось
- аутсорс на ребятах из СНГ
- почему мы решили делать так? а мы просто believe so
- документация для лохов
- аутсорс на индийских ребятах
- после встречи присылаешь картинки с иллюстрацией подходов, про которые ты распинался, потому что так понятнее СТО
- в штате есть mle с опытом 30+ лет (Can you change the username on that AWS machine from “ubuntu” to my name? All my absolute paths in all my projects are broken because of this 👉🏻👈🏻)
- огромные счета за с3, который не заполнен даже наполовину
- при этом отчитываешься за использование гпу, где один час выходит 2-3 доллара
- никто не должен знать, какая модель от OpenAI лежит в основе всего решения
- метрики без хьюман эвала тоже для лохов
- ты прокачался в английском
- ты прокачался в лизании жопы вежливых дипломатичных ответах в письменном английском
- все жалеют юного СТО, потому что верят в продукт
- через год ты всё это повторишь, потому что “да ладно, не так плохо всё было”
Ищу межнаров по матеше, писать в @alexeyderden
Читать полностью…
хочешь расскажу как rlhf учить?
рассказать я и сам могу, а учить как?
#чтивонаночь по быстрому
White-Box Transformers via Sparse Rate Reduction:
Compression Is All There Is?
Идея такая: давайте будем пытаться оптимзировать какой то шум в диффузиях, но в низко размерном пространстве, что позволяет легче интерпритировать что вообще происходит внутри модели
After encoding input data
X as a sequence of tokens, CRATE constructs a deep network that transforms the data to a canonical configuration of low-dimensional subspaces by successive compression against a local model for the distribution, generating , and sparsification against a global dictionary, generating . Repeatedly stacking these blocks and training the model parameters via backpropagation yields a powerful and interpretable representation of the data.
сайт и код
опять же, мб напишу подробный разбор, но сильно позже
Чуваки, после аигедона останется одна модель - Bart.
Читать полностью…
10 графических алгоритмов
Вы будете ржать
Короче да, на любом посте где есть реакция сисек, реакция сисек побеждает.
пиздец, я открыл врата в ад
Гид по ресторанам от админа LoveDeathTransformers.
В этой части: Москва и Будапешт.
alexwortega/MgI6ccZSsLK">ссылка
How much does your code cost?
Three hundred bucks.
Все программисты говорят "а что у этой либы под капотом", но что-то я видел немного программистов, хотя бы раз заглядывавших под капот чего-то IRL
Читать полностью…
Мы выкатили новые модели Seamless для перевода устной речи!
По сравнению с августовской версией SeamlessM4T, новая версия переводит чуть точнее. Плюс добавили давно ожидаемые фичи:
1) перевод в потоковом режиме (задержка в среднем 2 секунды, как у живых синхронных переводчиков);
2) выразительность: близость голоса, эмоций, интонации и ритма речи к исходным.
Попробовать онлайн демо и почитать 100-страничную статью можно тут: https://ai.meta.com/research/seamless-communication.
Я когда дебажил ранние версии PPO наблюдал что модели плохого реварда бывает выгодно награждать себя за повторения или использование редких токенов🤔
Новость отсюда
Dobb·E - an open-source, general framework for learning household robotic manipulation
КошкаЖена? Жена? А как насчет роборуки поверх робота пылесоса???
Тут выложили фреймворк(датасет - чертежи - исходники) для обучения домашнего робопомошника, в качестве базовой платформы используется какая то промышленная тушка.
Думаю скоро авторы впилят LLM и можно будет решать задачи в ZS формате без дополнительных инструкций
paper
site
О, тут sdxl задистилировали
https://huggingface.co/stabilityai/sdxl-turbo
https://stability.ai/research/adversarial-diffusion-distillation
Потный мужик в футболке математической регаты 2006 уже есть.
Читать полностью…
Тред сбора данных2
если вы любите парсить, а на хранилке лежит куча .txt, .csv и прочего - приходите в личку в обмен на рекламу чего либо.
@alexeyderden
-отгадай слово из трех букв
-хуй
-да нет, глубокий, здоровый... нужен каждому программисту...
-хуй
- ты другие слова знаешь?
- нет
Мне история с agi напоминает историю с беспроводной энергией в начале 20 века. Ну те изменит жизнь - будет повсюду, но конца человеческого труда не будет.
Ну прям есть герои мономифа: герой из Европы(тесла-шмидхуберт) который ничего серьезного не сделал, но бухтел за всех.
Фанатики тоже есть, зайдите на тематические реддиты - иконы с суцкевером в почете.
Эффективная корпорация у которой был другой бизнес
Ну и да, новые tensor processor_name трагически мало что изменят, текущие модели не перформят хорошо на данных которые не видели, те для решения agi задач им нужны будут примеры agi задач, test is all you need.
Автоматический пруфинг теорем и задач имеет один большой ботлнек: бОльшую часть сложных задач которые мы могли обсчитать люди уже обсчитали, а для остальных физически не хватит мощностей.
Если не верите - залезьте на cf и закиньте задачки из div3 в любую модель с любым промптом. Ну или непопулярные easy-medium c leetcode))
Админ привторияется что недописаных работ нет, а папиры не торчат по несколько месяцев.