4253
❤️☠️🤗 идейная миграция небытия
🤗 Aeonium-v1-Base-4B
Новая модель из серии Aeonium. Все то же самое, что и в 1B, только обучена на большем количестве токенов.
По результатам бенчмарка ruMMLU, это лучшая открытая языковая модель, обученная на русском языке с нуля.
Конечно, до SOTA еще далеко, но первый шаг уже сделан. Instuct-версия будет чуть позже.
@hikonon
TRULLY OPEN SOURCE LLM CLICKBAIT
Очередная open source LLM , но с плотностью открытыми данными (4.5т) адекватным data pipeline со spark, фильтры на fast_text.
Правда кодовая база на Megatron прости господи, но не Jax.
По перформансу:
Llama2 < x < mistral 7b
map-neo.github.io
При заказе от 2022рублей во ВкусВилл в подарок предоставляется прокси для Docker
Читать полностью…
ДОКЕР ПИДОРАСЫ ЕБУЧИЕ Я ВАМ В РОТ ССАЛ ЕБАНЫЕ ГАНДОНЫ ОБОССАННЫЕ КИТЫ Я ЕБАЛ АМЕРИКУ Я НЕНАВИЖУ ДОКЕР РАСХУЯРЬТЕ ЯДЕРНЫМИ РАКЕТАМИ ВСЕХ КТО ЗАКРЫВАЕТ ДОСТУП С РОССИЙСКИХ АЙПИШНИКОВ
КОГДА ЗАКРЫЛИ МАКДАК Я МОЛЧАЛ, Я ЗАВТРАКАЮ ВО ВКУСНО И ТОЧКА
КОГДА ЗАКРЫЛИ СПОТИФАЙ Я МОЛЧАЛ, Я СЛУШАЮ МУЗЫКУ В ЯНДЕКС МУЗЫКЕ
КОГДА ЗАКРЫЛИ ЗАРУ Я МОЛЧАЛ, Я НОШУ ОДЕЖДУ, СО ВРЕМЕН ШКОЛЫ
КОГДА ЗАКРЫЛИ ДОКЕР, ТО УЖЕ НИКТО НЕ СМОГ ЗА МЕНЯ ЗАСТУПИТЬСЯ....
Идет бомж по улице. Видит — валяется Тетрадь Смерти. Схватил ее и подтерся. А на следующий день умерла очень важная область - superalignment
Inspired by @rlabrats
Вы не просили, не ждали а мы по чуть чуть делаем.
Паблик чат по вихревым моделям
/channel/vikhrmodels
Короче, я решил угореть и сделать из 5.2 энкодер.
0 слой я не трогал, а вот следующие решил подвигать и перебрать.
Зачем?
Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Нам было весело.
В обещем идея простая - отставил первые три слоя + embedings, получился 900м обрезок который ну чуть больше e5 large, без контрастива где то около FredT5 large по Encodechke. Зачем вам эта информация? я хз, у меня были свободные часы в воскресенье
модель на хф
Grokked Transformers are Implicit Reasoners:
A Mechanistic Journey to the Edge of Generalization
Ну я кластер забыл выключить, 10**5 cтепов пробежали, ну теперь статью напишем
ой, да ладно вам выдумывать, какой еще man in finance, trust fund, 6.5, blue eyes?
забыли, где живете? у нас только юрфак, пахан намутил еще на приватизации, сын теперь кайфует, 180, карие глаза, лв авеню, лорики, пятерка в м-пакете, кофемания, лавандовый раф в мгимо
Klapphülle mit magnetischer Befestigung короче говоря флипкейс магнитый
Читать полностью…
Завтра экзамен по феменизму, если я приду в костюме senior ds мне зачтут?
Читать полностью…
Стоит ли дальше писать на русском или забить и писать на английском ?
Хз ощущение будто статьи на русском про нейронки читать особо некому
Релиз 5.* вихря
Арена на этих данных. Релиз арены выйдет ДАННЫЕ УДАЛЕНЫ
апвотить папир тут
модель
если вы случайно богатый дон или компания с кучей лишних карт - мы ждем вас @transformerslovedeatch
Авторы: @nlpwanderer @mlunderground
Юрген выдавал базу ещё в 1991, просто лекун и авторы трансформера все украли и не процитировали.
Архив
@saiga_igusev_bot можно добавлять в чаты! Картинки там не поддерживаются, но всю историю чата бот запоминает. Можно использовать для чего угодно: для суммаризации, для справки, для озвучивания мнения. Пока в тестовом режиме, собираю баги.
Читать полностью…
ладно последняя
контейнейры после ухода docker:
программисты реально расстроились из-за того, что вот эту хуйню запретили?
Читать полностью…
Чёт докер забанился в рф, ну закажите на флешке за 15 минут я хз.
Бтв если ваши железки стоят в РФ - заранее зазеркальте все что нужно или хотя бы прокси настройте.
Парень ты что ничего не знаешь SFT/DPO/PPO?
Хватит сидеть сложа руки! Иди и обучи свой первый alpaca chekpoint
хз, почитайте статью яндекса про алаймент, картинки для през для студентов я третий раз тырю из этой статьи и вам советую
Прекрасная украденная картинка с оптимальностью моделей. Лучшие модели - те что выше и правее. Короче Llama3 8b
Читать полностью…
удивительно, опять маленькие сетки на задачу лучше чем декодеры. никто не догадывался
Читать полностью…
что оно обновило одному ктулху известно
Читать полностью…
ой, да ладно вам выдумывать, какой еще research in ai aligment, faang, 600k/year, 10hi, 1000 h100?
забыли, где живете? у нас только мехмат, пахан препал еще на матмехе, сын теперь работает в сбере, публикации в скопусе , 35k/year а понтов на все 200, 1v100 16gb на коллабе, 10hi на классификации пяток носорога
каждый светлячок однажды перестает святить. Беригите моменты с близкими.
Читать полностью…
очень тихо microsoft зарелизи copilot в телеграмме, нужен не русский номер кажется.
Можно скинуть любой не русский номер и будет рабоатть
блогпост
@CopilotOfficialBot
Uni-MoE: Scaling Unified Multimodal LLMs with
Mixture of Experts
- У нас есть 4o дома.
- 4о дома.
Китайская MoE про то как через latent по образцу Llava сунуть все модальности в трансформер и радоватся. Так и живем
папер
Изучаем Liquid Neural Networks
Собрал все воедино, чтобы удобно было делиться с коллегами.
Знакомимся в таком порядке:
Вводная: https://www.youtube.com/watch?v=0FNkrjVIcuk
Подробно: https://www.youtube.com/watch?v=IlliqYiRhMU
Как пришли: https://www.youtube.com/watch?v=iRXZ5vQ6mGE
Знакомимся с Neural ODE: https://habr.com/ru/companies/ods/articles/442002/
Смотрим мои посты:
0) Имплементация Neural ODE с нуля
1) Разбор LTC
2) Тетрадки с имплементацией LTC с нуля
3) Разбор CfC
4) Тетрадки с имплементацией CfC с нуля (новое)
Надеюсь вам будет полезно и интересно.
@toshoseti
Приболел и застрял дома, поэтому сделал в этот раз более полезную GPT конкретно для ChatGPT приложений в режиме «аудио»:
Если вы искали работу, то вы наверное помните как это стрессово — во время интервью, HR может задать какие-то вопросы по CV, и хоть вы их и знаете, можете разнервничаться, запинаться — отсутствие практики сильно добавляет тревожности.
Многие с кем я говорил, кто работает в корпорациях из топа IT — часто говорили что «пройти собеседование» это навык, который можно практиковать и развивать, а сама работа отличается от того, что спрашивают на собеседованиях (так везде ☕️).
Чтобы помощь как-то людям, появилось целое направление HR-видео для кандидатов — они называются «Mock Interview» или «Интервью покабудки»:
Псевдо-собеседование записывается на камеру, иногда между реальным HR и реальным сотрудником из какой-то корпорации, потом выкладывается на Yotube и кандидатам это помогает понять как именно отвечать на вопросы и как готовиться к интервью.
Естественно, такое интервью — не адаптировано конкретно под ваше резюме, конкретно под ваш язык, или под вакансию на которую вы откликаетесь.
Поскольку мы уже живем в АИ-будущем, я подумал что это нужно исправить.
⚙️ Mock Interview Practice GPT:
1) Сохраняете вакансию и ваше CV в виде PDF или HTML страницы, или просто копируете как текст (только отметьте где что)
2) Открываете мою новую GPT «Mock Interview Practice»
3) Вставляете туда файлы / текст, и пишите ей в стиле «Спасибо что пригласили меня, давайте начнем»
4) GPT предложит вам включить «Voice Mode» (иконка 🎧 в аппе, в вебе этой функции нет) — обязательн включите его
5) Проходите интервью как в жизни — займет минут 15-20, в конце, попросите дать фидбек по тому, что улучшить и над чем поработать
6) Добро пожаловать в OpenAI, передавайте привет Сэму
GPT поддерживает все языки, в видео пример (и я болеющий)
Споpят химик, физик и специалист по искусственному интеллекту, какое самое великое изобретение.
Химик: - Таблица Менделеева.
Физик: - Теоpия относительности.
Специалист по искусственному интеллекту: - ТЕРМОС!
Химик и физик: - Что?
- Ну, смотрите сами: наливаем холодную воду, выливаем - опять холодная. Так?
- Да. Hу и?
- Hаливаем горячую, выливаем - опять горячая. Так?
- Hу?
- А откуда он знает???