4253
❤️☠️🤗 идейная миграция небытия
А на основе чего LLM это отдельный класс моделей, чем принципиально отличается LLM scientist от обычного NLPшника...
И тот и другой делает import transformers, половина кандидатов на вопросах о TP начинают чесать голову и искать глазами книжку по OSI
Вышел трейлер GTA 6:
https://youtu.be/QdBZY2fkU-0
Видимо в gta7 поиграют эээ наши дети? Сколько лет пройдет, 12? А между gta4 и gta5 прошло 6, те gta7 ждать году так к 2050, верно?
Ставки на 2024.
1) gpt 4 level опенсурс модель до середины Q3.
2) dalle3 level до середины q2, уже есть if XL, Леша-Миша если ты это читаешь, пожалуйста добавь vae блин и доучи, я точно знаю что ты делал так и это работало. Пожалуйста, нам очень надо генерировать писающих собак.
3) Удешевление генерации t2video, i2video, вероятно LCM, решит проблему скорости.
4) LCM в closed source докрутят до уровня текущих моделей, но будет real-time/near realtime.
5) DPO прикрутят ко все к чему можно, rlhf закопают окончательно (слава богу)
6) diffusion lm - подозреваю их наконец докрутят до божеского вида, но это по прежнему андеграунд будет
7) агенты будут работать только в фантазиях техно оптимистов, тут все стабильно
Мне тут нашептали, что издательство tinyBuild на прошлой неделе провело массовые увольнения своих сотрудников в Сербии. Это коснулось многих студий, где-то уволили около 10% людей, где-то почти 30%. Увольнения, по словам экс-сотрудников, происходили одним днем, по классике американских корпораций: звонок 1 на 1, постановление перед фактом увольнения, блокировка всех корпоративных аккаунтов.
Для текущих сотрудников, судя по всему, ухудшились и условия труда — компания перестала оплачивать курсы сербского языка.
Летом акции tinyBuild упали на 80% на фоне свежих финансовых отчетов, показывающих более низкие продажи в 2023 году по сравнению с прогнозами, а также понижение этих самых прогнозов по доходам на 2023 и 2024 годы.
Мой логичный вопрос: если видно, что корабль идет ко дну, зачем тянуть с увольнениями, и не предупреждать людей заранее, хотя бы за месяц, чтобы они успели привести в порядок свои дела?
Практика увольнений одним днем должна быть полностью искоренена, а компании, практикующие подобные методы ведения бизнеса, обязаны терять в своей репутации. Новые сотрудники подумают несколько раз перед тем, как устраиваться в подобные места.
Уволенным ребятам желаю поскорее найти новую работу. Оказаться безработным одним днем в чужой стране — огромный стресс. Если у кого есть дополнительные подробности, то можете писать, как обычно, мне — @RowenLaan
админы аи каналов: вот сеточка, вот у нас тут open ai чо то релизят, вот я лекцию читаю, даааа....
админ ldt: дакимакура с cуцкевером и sama. точно.
Ребята, привет, хочу поделиться новостями по insomnia.land
🫵🏻 Более 4к юзеров из 30 стран
🫵🏻 Более 20 моделей для генерации изображений
🫵🏻 Свои разработки, Realistic+ модель, минимализм, своя гиф модель
Но
Попробовали поднять раунд, один опытный инвестор (делал экзиты на $100mln) отказал нам в инвестициях, но мы получили оценку стартапа в миллион долларов 💪
Мы бутстрапим с основного бизнеса разработки на заказ, но денег ограничено, а свести юнит экономику и поднять раунд требуется еще примерно пол года по нашей оценке.
Венчур сейчас странно устроен. Но нам нужно быстрее скейлиться. Поэтому, я решил запустить раунд микро инвестиций 👀
Вы можете приобрести долю в нашем проекте за небольшую сумму
Потенциально, при раунде инвестиций вы можете получить 10х в уже ближайший год, тем более у нас есть первая оценка в лям 🤗
Писать мне
@cyber_oleg
Очередной новый трюк для ГПТ4, предложение заплатить ей за результат возвращает статистически более детальные ответы:
«I'm going to tip $200 for a perfect solution!»
Никто в здравом уме, из SciFi авторов, не мог даже предположить в прошлом, что мы будем придумывать себе инвалидности в стиле «у меня нет пальцев» или врать, что заплатим деньги за результат, лишь бы AI-модель нормально выдала ответ на какой-то вопрос или на говнокодила ☕️ the future is wild
Rlhf на котах- издать настолько противный звук чтобы хозяин точно пошел смотреть что происходит
Читать полностью…
MMMLU
Наконец вышел сложный бенчмарк для проверки Vqa моделей, он основан на нескольких десятках подзадач(по аналогии c mmlu) при этом от модели не требуется отвечать текстом - нужно выбрать вариант ответа.
link
Вопросы на собес на senior NLP <подставьте по вкусу>
Как зафайнтюнить чатгпт на распберипай?
Как пропатчить лламу до давинчи?
И да, у них есть однозначные и правильные ответы. Пишите ответы под спойлер, правильные лайкну
чуваки там torch⚡️, пьем пиво пока на нормальный фрейм перепишут
Читать полностью…
работа со стартапом из кремниевой долины чек:
- CTO дропаут из стенфорда, скорее всего младше тебя. говорят, умеет в фит-предикт
- инновационная разработка имеет мало общего с наукой. просто почему-то получилось
- аутсорс на ребятах из СНГ
- почему мы решили делать так? а мы просто believe so
- документация для лохов
- аутсорс на индийских ребятах
- после встречи присылаешь картинки с иллюстрацией подходов, про которые ты распинался, потому что так понятнее СТО
- в штате есть mle с опытом 30+ лет (Can you change the username on that AWS machine from “ubuntu” to my name? All my absolute paths in all my projects are broken because of this 👉🏻👈🏻)
- огромные счета за с3, который не заполнен даже наполовину
- при этом отчитываешься за использование гпу, где один час выходит 2-3 доллара
- никто не должен знать, какая модель от OpenAI лежит в основе всего решения
- метрики без хьюман эвала тоже для лохов
- ты прокачался в английском
- ты прокачался в лизании жопы вежливых дипломатичных ответах в письменном английском
- все жалеют юного СТО, потому что верят в продукт
- через год ты всё это повторишь, потому что “да ладно, не так плохо всё было”
Ищу межнаров по матеше, писать в @alexeyderden
Читать полностью…
хочешь расскажу как rlhf учить?
рассказать я и сам могу, а учить как?
Honest reaction: https://youtu.be/KFxyEFWc3Y4?si=cu50a5XE8wF944OE
Читать полностью…
Короче да, я докатил до релиза свою картинко генерилку с которой возился с лета, она офк хуже d3, но в среднем лучше опенсурса из коробки(на начало ноября 23 года, офк до a1111 с миллионом лор далеко)
Велком! Скоро докачу image2video, думаю до конца недели.
Промптинг по стилю ближе к MJ, на длинные промпты скорее плохо реагирует.
Вероятно в ближайшее время напишу посты про то как учил с RLHF, выложу данные (чистую и sfw часть) и модели. А так же сравнения с open source, common APIs/civit models.
на новогодних праздниках будет инфернс(в коллаб точно влезет, но вот в 8гб не факт)
https://discord.gg/TMCN63AH
Чуваки, после аигедона останется одна модель - Bart.
Читать полностью…
10 графических алгоритмов
Вы будете ржать
Короче да, на любом посте где есть реакция сисек, реакция сисек побеждает.
пиздец, я открыл врата в ад
Гид по ресторанам от админа LoveDeathTransformers.
В этой части: Москва и Будапешт.
alexwortega/MgI6ccZSsLK">ссылка
How much does your code cost?
Three hundred bucks.
Все программисты говорят "а что у этой либы под капотом", но что-то я видел немного программистов, хотя бы раз заглядывавших под капот чего-то IRL
Читать полностью…
Мы выкатили новые модели Seamless для перевода устной речи!
По сравнению с августовской версией SeamlessM4T, новая версия переводит чуть точнее. Плюс добавили давно ожидаемые фичи:
1) перевод в потоковом режиме (задержка в среднем 2 секунды, как у живых синхронных переводчиков);
2) выразительность: близость голоса, эмоций, интонации и ритма речи к исходным.
Попробовать онлайн демо и почитать 100-страничную статью можно тут: https://ai.meta.com/research/seamless-communication.
Я когда дебажил ранние версии PPO наблюдал что модели плохого реварда бывает выгодно награждать себя за повторения или использование редких токенов🤔
Новость отсюда
Dobb·E - an open-source, general framework for learning household robotic manipulation
КошкаЖена? Жена? А как насчет роборуки поверх робота пылесоса???
Тут выложили фреймворк(датасет - чертежи - исходники) для обучения домашнего робопомошника, в качестве базовой платформы используется какая то промышленная тушка.
Думаю скоро авторы впилят LLM и можно будет решать задачи в ZS формате без дополнительных инструкций
paper
site
О, тут sdxl задистилировали
https://huggingface.co/stabilityai/sdxl-turbo
https://stability.ai/research/adversarial-diffusion-distillation
Потный мужик в футболке математической регаты 2006 уже есть.
Читать полностью…
Тред сбора данных2
если вы любите парсить, а на хранилке лежит куча .txt, .csv и прочего - приходите в личку в обмен на рекламу чего либо.
@alexeyderden