4253
❤️☠️🤗 идейная миграция небытия
что за хуйню openai сделали с билингом, я нихуя не понял
Читать полностью…
сходка в белграде.
воскресный вечер.
/channel/+YkSirBpXEs42NDgy
Чат накидайте книжек которые недавно прочитали и они вас тронули.
Я начну:
Серия - "Задача трёх тел" - прекрасная серия про то как один человек в нужном месте может всех спасти, а другой может все разрушить.
OpenAI: actually closed
StabilityAI: actually unstable
AIBrain: no brains
DataRobot: no robots
Databricks: no bricks
DeepNorth: located in the US and Germany
H2O.ai: no water
Snowflake: no snow
За последние 7 недель мы вместе с Каримом @karim_iskakov построили и запустили iOS приложение для автомонтажа коротких видео.
Как меня занесло в эту тему?
Карим является членом deYC, ко-фаундером Avatarify (13m+ users), работал в Samsung AI, имеет публикации про ИИ, и у него есть бот, который он с друзьями построил в 2021 году для автомонтажа видео.
С начала этого года бот стал вируситься и получил продакт-маркет фит (в следующем посте расскажу как мы это поняли)
На встрече в Москве Карим озвучил мысль, что он хотел бы когда-нибудь перенеси этот бот в мобильное приложение, ведь приложение может решать ту же проблему что и бот, но в 2 раза лучше.
Что услышал я?
Человек с невероятным опытом и готовым PMF ищет человека кто заэкзикьютит прилу. Примерно через 12 часов после встречи я написал Кариму, что нам срочно надо построить это приложение :)
Мы встретились, пожали руки, я стал CEO и руковожу продуктом и рекламой (но уже тоже начал разбираться в Swift и два моих PR уже в проде), а Карим CTO и предоставил алгоритм монтажа, аудиторию в 50к пользователей бота из России, а также лидит алгоритмическую часть монтажа и ресерча для AI эдитинга.
На следующий день после встречи мы разместили вакансию, через 2 дня наняли шикарного iOS разработчика ex core Prisma (Lensa), через 4 недели зарелизили бету.
И вот спустя 3 недели после беты можно сказать что первая продакшен-реди версия в бою :)
Встречайте Cutly - https://apps.apple.com/gb/app/reel-maker-short-video-cutly/id6477783184
Its not a world model if its not hype enough - open sora
Китайская версия Sora начала учиться чуть больше месяца назад, и за всего то 200 а100 дней и 400к видео начала генерировать вполне неплохие 2s видео!
А, это не финальный чекпоинт и это всего 16×512×512
repo
blog про ускорение обучения
Opus по бенчам хуже чем 4turbo намного лучше в реальной жизни.
Скрин от Илья А.
Не обгоняя модель в 4 раза меньше(?) Хз я не шарю. И тут ещё miqu не хватает
Читать полностью…
Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча
Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!
Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.
В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).
Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.
Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).
Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?
А, да, зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.
Рады анонсировать очередной Tinkoff Lab RL Event — митап, на котором лаборанты исследовательской лаборатории Тинькофф делятся опытом и рассказывают о своих научных проектах.
Если вы учитесь на технической специальности и интересуетесь задачами искусственного интеллекта, а аббревиатуры ML, DL и RL для вас уже как родные — ребята из Тинькофф ждут вас 25 марта в 19:00 в московском офисе Тинькофф.
Все подробности и регистрация тут: https://o.tinkoff.ru/tlab_RL
Daily reminder
17 числа, 12:00 - ближайший к вам избирательный участок.
Я ставлю подпись за Даванкова, ради этого даже не лень поехать в соседнюю страну, ибо в Грузии голосовать нельзя, ну и вы не поленитесь.
Всех жду
охренеть, обновил deepspeed и не рвется fp16!!
Читать полностью…
> я работаю в Сбере/Яндексе/бигтехе, получаю 1м+ в месяц, меня это не коснется.
Ну, только твои 1м+ в месяц похудеют ещё на 5% и твои годовые премии похудеют на 5%.
А продукты из азбуки которые ты покупаешь подоржают х2 с рублевой зп.
И шмотки которые ты покупаешь в Дубае подражают х2 для тебя с рублевой зп.
Можно прекрасно сидеть в пузыре и кушать гос деньги, это отличная стратегия выживания, до тех пор пока у государства есть лишние деньги и пока оно не захочет пустить ваши разработки на osint, умное принятие решений и прочее.
Можно конечно ничего не замечать и жить как получается, но оно тебе нужно уважаемый читатель?
Я педпочитаю делать хоть что то и тебе советую.
По бенчам хуже чем гпт4, но вероятно лучше всего опенсурса. Достойно для 35В модели!
Читать полностью…
Cerebrum-1.0-8x7b
- Instruct версия Mixtral с RLHF
Чуть чуть хуже чем gpt3.5 и gemeni pro по метрикам
model
"Задачу" тоже сейчас заканчиваю читать, тоже тронуло
из худлитры
- "Трилогия Желаний" Драйзера
- "Мистерии" Гамсуна + мини рассказ "Победительница"
- "Сомнение", "В чаще" Рюноске Акутагавы
- "Психолог в концлагере" Франкл
- "Источник" Айн Ренд (но "Атлант" - говно динозавра)
из более *фэнтези*,
- "Конец Вечности" Азимова
- "Рассказы пилота Пиркса" Лема
ещё насоветую не-худлитры, если не читал, тоже тронет
- "Человек и техника" Шпенглер
- "Тоннель Эго" Метценгер
- "Манифест Унабомбера"
остальные велком сюда /channel/bogdanisssimo/3
До Hf докатили Grok-1, жду когда gpu-rich админы захостят, у меня нет свободной ноды с а100
hf
Превратите свой пет-проект из хобби в карьеру
Написал свой долгожданный пост на ХАБР, где рассказал как делать достойные пет-проекты, который помогут вам быстро развиваться!
Затронул очень много тем:
🛠 о том как быстро набирать навыки и стоп флажках в обучении
🏆 какие пет-проекты успешные и почему они станут вашим будущим стартапом
🚀 какие есть этапы в пет-проектах и почему вам нужны пользователи
💪 как не потерять мотивацию
🔍 и оформить это в резюме!
ЧИТАТЬ ПО ССЫЛКЕ
Отдать голос за канал
/channel/boost/persecond300k
#EDUCATION
Красивая кривая? Мне тоже нравится, а ещё она нравится менеджерам инвесторам и прочим. Но она неверная, правильная кривая - та что я нарисовал красным.
а100 - 640tflops bf16
h100 - 1500tflops bf16
B100 - 3600tflops bf16
Не, фактически она верна, прирост в fp4 действительно есть, но есть нюанс - модели даже в fp8 никто не учит, максимум - инференс.
работодатель о котором он просит не беспокоиться vs ты
Читать полностью…
Pr кейсы, мемы и схемы
Вы хотите хайпануть, но выкладывать хорошую технологию не хочется?
Выход есть - хуевый релиз!! Берём LLM, желательно на такое число параметров чтобы для прода она была бесполезной.
Кладём рядом с кодом: Megatron, Jax, flax, mojo - чем ебанутее кодовая база - тем лучше.
Оставляем 0 инструкций по тому как этим пользоваться.
Вы прекрасны!! СМИ хайпуют, блогеры хайпуют, реальной технологии на руках не у кого как не было, так и нет.
Релиз grok выглядит как релиз gpt2
8 rout Moe, 314 или 344в, 86b в инференсе, больше ничего не ясно
А, ещё код на джаксе
Чёт вспомнилось классическое:
Чудное время, забавный век
Тогда был не в моде обычный человек
Волосы длинные, на ранце значки
С таким внешним видом мы в школу шли
Верните мой 2019!
Я буду снова с небритой головой
По митингам бегать, с друзьями гулять
Пить гараж и танцевать
КОД
Genstruct
Если вы когда то хотели сделать хороший инструкт сет вы упираетесь в одну простую проблему - нормальные датасеты лежат обычно в формате Plain Text:
Andrej Karpathy (born 23 October 1986[2]) is a Slovak-Canadian computer scientist who served as the director of artificial intelligence and Autopilot Vision at Tesla. He co-founded and formerly worked at OpenAI,[3][4][5] where he specialized in deep learning and computer vision.[6][7][1][8]
Education and early life
Karpathy was born in Bratislava, Czechoslovakia (now Slovakia)[9][10][11][12] and moved with his family to Toronto when he was 15.[13] He completed his Computer Science and Physics bachelor's degrees at University of Toronto in 2009[14] and his master's degree at University of British Columbia in 2011,[14] where he worked on physically-simulated figures (for example, a simulated runner or a simulated person in a crowd).
Karpathy received a PhD from Stanford University in 2016 under the supervision of Fei-Fei Li, focusing on the intersection of natural language processing and computer vision, and deep learning models suited for this task.[15][16]
АИ алармисты не тупые, твердо и чётко, или оптимисты я неуверен.
Хотя твит интересный конечно
Ссылка
Проект Open Language Data Initiative, про который я рассказывал недавно, заведует не только тестовым датасетом FLORES+, но и обучающим датасетом NLLB-seed.
Это 6К предложений из английской Википедии на разнообразные темы, часто на какую-то сложную научную тематику. Мои коллеги в своё время организовали перевод этого датасета на 39 малоресурсных языков, и показали, что включение этих текстов в обучающий датасет для модели-переводчика значительно улучшает её качество.
Сейчас проект oldi.org принимает переводы этого датасета и на другие языки тоже. Но проблема в том, что кроме английского, этот датасет сейчас существует только на редких языках, переводить с которых будет ещё сложнее чем с английского (хотя для переводов на тюркские языки, наверное, можно подглядывать в крымскотатарскую версию).
Чтобы решить эту проблему, я сделал бота @crowd_translate_bot для сбора и проверки человеческих переводов* с английского на русский (с тем, чтобы потом с русского было проще переводить на другие языки нашего региона). Будет здорово, если воспользуетесь этим ботом и поучаствуете в коллективном переводе датасета 🙃
* Хотя многие модели уже очень хорошо переводят между английским и русским, важно собирать именно человеческие переводы, потому что это всё-таки чуть надёжнее, и потому, что если собрать переводы от нескольких людей, они будут разнообразнее по стилю, чем машинно переведёные.
Нас тут 2К в этом чате, и если каждый третий из нас переведёт по 10 предложений (и проверит где-то по 25, включая намайненные мной возможные переводы из Википедии и двойную проверку переводов других людей), то перевод NLLB-Seed на русский будет собран, и можно будет переходить к более интересным языкам.
Large Language Models as Optimizers [2023]
Формулировка промпта серьёзно влияет на качество работы LLM. Именно здесь был найден тот самый "Take a deep breath and work on this problem step-by-step", дающий хорошую производительность. Попробуем разобраться в этой работе.
Авторы формулируют технику Optimization by PROmpting (OPRO), использующую LLM в качестве оптимизатора. На вход модели подаётся следующее:
1) Мета-промпт - описание, что и зачем оптимизируем. Вся полезная информация о задаче.
2) Пары "решение - скор". В ходе оптимизации будут генерироваться новые кандидаты. Все кандидаты сортируем по скору и добавляем топ лучших пар в этот вход
Далее мы запускаем эту штуку много раз и получаем всё более и более крутых кандидатов. Применять это можно в теории к чему угодно, хоть вместо градиентного спуска использовать. Но преимущество данного метода в том, что для него естественно языковое пространство, поэтому его используют для оптимизации промпта. Получается схема на картинке.
Из хорошего - промпт, генерируемый для определённой LLM на одном датасете, хорошо переносится на другой. Из плохого - промпты, хорошо работающие для одной LLM, не обязательно работают хорошо для другой LLM. Интересна природа таких отличий, ведь их претрейн должен быть +- похож, а вот дообучение на Human Feedback уже нет. Есть ли там хоть какая-то связь или это чистая случайность?
Возникает и другой вопрос - какова роль именно LLM в качестве оптимизатора? Вряд ли она в себе содержит представление о том, как разные конкретные LLM буду работать при разных промптах. Насколько такой оптимизатор является "умным", насколько он далёк от случайного перебора промптов?
Так или иначе, вновь мы видим доминацию оптимизации над человеческим проектированием. Возможно, какая-то большая и сложная оптимизация поверх LLM даст интересные плоды, но проблема в том, что сама LLM - очень большой вычислительный кусок, и его внутренности и обучение никак не оптимизируются. Но мы когда-нибудь заменим и их, тогда точно заживём.
@knowledge_accumulator
Привет!
Мы хотим сделать Россию лучше чем она есть сейчас, если вы сейчас в России или ваши родственники в России - пожалуйста, расскажите им что нужно проголосовать за кого то кроме Путина.
Расскажите им про то что после выборов повысят налоги, а мужчин мобилизуют на фронт.
Расскажите что продукты подражают, а пенсии уменьшаться.
Уже кто угодно будет лучше чем Путин, помните это. Нравятся коммунисты? Пожалуйста. Нравится Жириновский? Сомнительно, но Окай и такой имеется.
А ещё можно поставить на даванкова, попробовать накидать ему столько голосов сколько получится. Это в наших силах и даже если мы проебем - мы воспользуемся.
За Россию дамы и господа!
релиз слив? Фалс индекс?
Все поисковык роботы почему-то проиндексировали странную страницу c gpt4.5-t с knowledge cutoff на июнь 2024