4253
❤️☠️🤗 идейная миграция небытия
Я: мам может купим сексбота
Мама: у нас есть сексбот дома
сексбот дома:
Может ли MOE заняться сексом сразу с восьмью людьми?
Нет, в него не влезет восемь хуев, мы пытались
Вышла GGUF версия Grok
hf за линк спасибо labmember04
Cerebrum-1.0-8x7b
- Instruct версия Mixtral с RLHF
Чуть чуть хуже чем gpt3.5 и gemeni pro по метрикам
model
"Задачу" тоже сейчас заканчиваю читать, тоже тронуло
из худлитры
- "Трилогия Желаний" Драйзера
- "Мистерии" Гамсуна + мини рассказ "Победительница"
- "Сомнение", "В чаще" Рюноске Акутагавы
- "Психолог в концлагере" Франкл
- "Источник" Айн Ренд (но "Атлант" - говно динозавра)
из более *фэнтези*,
- "Конец Вечности" Азимова
- "Рассказы пилота Пиркса" Лема
ещё насоветую не-худлитры, если не читал, тоже тронет
- "Человек и техника" Шпенглер
- "Тоннель Эго" Метценгер
- "Манифест Унабомбера"
остальные велком сюда /channel/bogdanisssimo/3
До Hf докатили Grok-1, жду когда gpu-rich админы захостят, у меня нет свободной ноды с а100
hf
Превратите свой пет-проект из хобби в карьеру
Написал свой долгожданный пост на ХАБР, где рассказал как делать достойные пет-проекты, который помогут вам быстро развиваться!
Затронул очень много тем:
🛠 о том как быстро набирать навыки и стоп флажках в обучении
🏆 какие пет-проекты успешные и почему они станут вашим будущим стартапом
🚀 какие есть этапы в пет-проектах и почему вам нужны пользователи
💪 как не потерять мотивацию
🔍 и оформить это в резюме!
ЧИТАТЬ ПО ССЫЛКЕ
Отдать голос за канал
/channel/boost/persecond300k
#EDUCATION
Красивая кривая? Мне тоже нравится, а ещё она нравится менеджерам инвесторам и прочим. Но она неверная, правильная кривая - та что я нарисовал красным.
а100 - 640tflops bf16
h100 - 1500tflops bf16
B100 - 3600tflops bf16
Не, фактически она верна, прирост в fp4 действительно есть, но есть нюанс - модели даже в fp8 никто не учит, максимум - инференс.
работодатель о котором он просит не беспокоиться vs ты
Читать полностью…
Pr кейсы, мемы и схемы
Вы хотите хайпануть, но выкладывать хорошую технологию не хочется?
Выход есть - хуевый релиз!! Берём LLM, желательно на такое число параметров чтобы для прода она была бесполезной.
Кладём рядом с кодом: Megatron, Jax, flax, mojo - чем ебанутее кодовая база - тем лучше.
Оставляем 0 инструкций по тому как этим пользоваться.
Вы прекрасны!! СМИ хайпуют, блогеры хайпуют, реальной технологии на руках не у кого как не было, так и нет.
Релиз grok выглядит как релиз gpt2
8 rout Moe, 314 или 344в, 86b в инференсе, больше ничего не ясно
А, ещё код на джаксе
Чёт вспомнилось классическое:
Чудное время, забавный век
Тогда был не в моде обычный человек
Волосы длинные, на ранце значки
С таким внешним видом мы в школу шли
Верните мой 2019!
Я буду снова с небритой головой
По митингам бегать, с друзьями гулять
Пить гараж и танцевать
КОД
Genstruct
Если вы когда то хотели сделать хороший инструкт сет вы упираетесь в одну простую проблему - нормальные датасеты лежат обычно в формате Plain Text:
Andrej Karpathy (born 23 October 1986[2]) is a Slovak-Canadian computer scientist who served as the director of artificial intelligence and Autopilot Vision at Tesla. He co-founded and formerly worked at OpenAI,[3][4][5] where he specialized in deep learning and computer vision.[6][7][1][8]
Education and early life
Karpathy was born in Bratislava, Czechoslovakia (now Slovakia)[9][10][11][12] and moved with his family to Toronto when he was 15.[13] He completed his Computer Science and Physics bachelor's degrees at University of Toronto in 2009[14] and his master's degree at University of British Columbia in 2011,[14] where he worked on physically-simulated figures (for example, a simulated runner or a simulated person in a crowd).
Karpathy received a PhD from Stanford University in 2016 under the supervision of Fei-Fei Li, focusing on the intersection of natural language processing and computer vision, and deep learning models suited for this task.[15][16]
💉Is biotech a new IT?🧫
Я интересовалась биотехом с 9 класса. Именно тогда я наткнулась на сюжет в новостях о разработке биотехнологического препарата. Стала больше читать и узнала о существовании такой компании как BIOCAD. Затем все больше погружалась в тему, начала потихоньку читать про ДНК, антитела и грезить о том, что вот я стану специалистом в области молекулярной биологии и пойду работать в биотех-компанию.
Потом случилось мое первое знакомство с биотехом. Спойлер: с Биокадом. На ноябрьской химической смене в Сириусе. Я до сих пор благодарна Кириллу (привет, если ты это читаешь) за то, что на дне распределения придал мне решимости подать заявку именно на проект Биокада. С тех пор я знала что-то о молбиоле не только в теории, но и на практике.
Ни для кого не секрет, что в динамично развивающемся направлении учебный процесс не очень рационально строить только на учебниках — все слишком быстро меняется. Такими сферами сейчас являются биотех и IT. Я хочу поделиться с вами всеми материалами, которые мне дали 70% знаний о генной инженерии и молекулярной биологии, которые я имею. Итак, держите:
🧬ROAD MAP для развития в биотехе🧬
Здесь есть:
🔴бесплатные курсы по генной инженерии, молбиолу и биоинформатике в порядке с комментариями по прохождению
🔴список интернет-сообществ, которые помогут быть «в теме» и войти в комьюнити
🔴учебники
🔴раздел с информацией по методам анализа биомолекул (очень важно для тех, кто пойдет в фарму)
Когда-то я делала это на заказ для человека, который попросил меня дать материалы для погружения в биотех. Теперь я делюсь этим с вами🤍
Пересылайте тем, кому это потенциально может быть интересно. Я очень надеюсь, что кому-то это принесет пользу. Даже банально при подготовке к экзаменам.
В общем, лайк, шер и все прочее⭐️
Вебкамщицам к цифровой сингулярности приготовиться
https://x.com/dreamingtulpa/status/1772311202871312655?s=46&t=2mo-W_Ay5P2D-PKnXI2DOA
Канье очень активно рекламирует новую маечку за $20
Купить по ссылке
Я люблю когда в интернете пишут что хотят пользоваться продуктами которые строят инженеры, а не маркетологи.
Но я не знаю ни одного человека который писал бы: хочу пользоваться продуктами которые сделали речерчеры.
что за хуйню openai сделали с билингом, я нихуя не понял
Читать полностью…
сходка в белграде.
воскресный вечер.
/channel/+YkSirBpXEs42NDgy
Чат накидайте книжек которые недавно прочитали и они вас тронули.
Я начну:
Серия - "Задача трёх тел" - прекрасная серия про то как один человек в нужном месте может всех спасти, а другой может все разрушить.
OpenAI: actually closed
StabilityAI: actually unstable
AIBrain: no brains
DataRobot: no robots
Databricks: no bricks
DeepNorth: located in the US and Germany
H2O.ai: no water
Snowflake: no snow
За последние 7 недель мы вместе с Каримом @karim_iskakov построили и запустили iOS приложение для автомонтажа коротких видео.
Как меня занесло в эту тему?
Карим является членом deYC, ко-фаундером Avatarify (13m+ users), работал в Samsung AI, имеет публикации про ИИ, и у него есть бот, который он с друзьями построил в 2021 году для автомонтажа видео.
С начала этого года бот стал вируситься и получил продакт-маркет фит (в следующем посте расскажу как мы это поняли)
На встрече в Москве Карим озвучил мысль, что он хотел бы когда-нибудь перенеси этот бот в мобильное приложение, ведь приложение может решать ту же проблему что и бот, но в 2 раза лучше.
Что услышал я?
Человек с невероятным опытом и готовым PMF ищет человека кто заэкзикьютит прилу. Примерно через 12 часов после встречи я написал Кариму, что нам срочно надо построить это приложение :)
Мы встретились, пожали руки, я стал CEO и руковожу продуктом и рекламой (но уже тоже начал разбираться в Swift и два моих PR уже в проде), а Карим CTO и предоставил алгоритм монтажа, аудиторию в 50к пользователей бота из России, а также лидит алгоритмическую часть монтажа и ресерча для AI эдитинга.
На следующий день после встречи мы разместили вакансию, через 2 дня наняли шикарного iOS разработчика ex core Prisma (Lensa), через 4 недели зарелизили бету.
И вот спустя 3 недели после беты можно сказать что первая продакшен-реди версия в бою :)
Встречайте Cutly - https://apps.apple.com/gb/app/reel-maker-short-video-cutly/id6477783184
Its not a world model if its not hype enough - open sora
Китайская версия Sora начала учиться чуть больше месяца назад, и за всего то 200 а100 дней и 400к видео начала генерировать вполне неплохие 2s видео!
А, это не финальный чекпоинт и это всего 16×512×512
repo
blog про ускорение обучения
Opus по бенчам хуже чем 4turbo намного лучше в реальной жизни.
Скрин от Илья А.
Не обгоняя модель в 4 раза меньше(?) Хз я не шарю. И тут ещё miqu не хватает
Читать полностью…
Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча
Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!
Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.
В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).
Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.
Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).
Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?
А, да, зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.
Рады анонсировать очередной Tinkoff Lab RL Event — митап, на котором лаборанты исследовательской лаборатории Тинькофф делятся опытом и рассказывают о своих научных проектах.
Если вы учитесь на технической специальности и интересуетесь задачами искусственного интеллекта, а аббревиатуры ML, DL и RL для вас уже как родные — ребята из Тинькофф ждут вас 25 марта в 19:00 в московском офисе Тинькофф.
Все подробности и регистрация тут: https://o.tinkoff.ru/tlab_RL