4253
❤️☠️🤗 идейная миграция небытия
Способ на сообщение выше лучше, но дело ваше.
Читать полностью…
Приходит мужик к врачу:
-Доктор! Удалите мне пол мозга!
-Но... Это же невозможно! И очень опасно! Да и вообще, зачем вам это?
-Доктор, умоляю! Я так больше не могу! Я родился вундеркиндом, я закончил школу за 3 года, у меня нет друзей, нет девушки... Я постоянно решаю задачи, уравнения, доказываю теоремы... Я не могу, помогите мне! Удалите мне пол мозга!
Врач собрал консилиум, мужика обследовали - да, действительно, активность мозга такая, что он постоянно обрабатывает какую-то информацию, никогда не отдыхает. А если удалить половину мозга, то как раз оставшейся половины хватит на работу на уровне обычного человека. Провели операцию, удалили половину.
Мужик приходит через полгода:
-Доктор! Удалите мне ещё половину мозга!
-Но как?! Мы же вам уже удалили половину!
-Не помогло! Я теперь пишу стихи, поэмы, повести и романы! Я сочиняю музыку, пишу картины, ваяю статуи! Я так не могу, помогите! Удалите мне пол мозга!
Ну, делать нечего - удалили ещё половину от того что было.
Проходит опять полгода он приходит:
-Доктор, я так не могу! Помогите! Я теперь открываю новые химические элементы, новые законы физики, новые семейства растений в ботанике! Удалите мне весь мозг, пожалуйста!! Иначе я сойду с ума!
-Ну, я вас понимаю, конечно - ваша ситуация очень тяжелая.. Но я должен вас предупредить: если мы удалим вам весь оставшийся мозг вы станете LLM engineer...
Ищу ТТС исследователя
Нужно уметь:
- питонить 🐍
- пайторчить
- МЛить
Желательно уметь
- синтезировать речь
- распознавать речь
- работать с аудио
Условия:
- удалёнка
- маленькая зарплата
- 2х H100
Оформляю очень быстро, если решите задачку на leetcode и покажете что знаете как работать с обработкой сигнала, начнём работать ASAP.
Если будете хорошо работать - как премию куплю 4090 прямо вам домой.
Писать мне на @frappuccino_o
NCCL_IB_GID_INDEX=3
NCCL_SOCKET_IFNAME=1700000
CUDA_DEVICE_ORDER=PCI_BUS_ID
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8
Skill check failed
Человек, перевернувший Рим
Гай Юлий Цезарь — пожалуй, самый известный римлянин в истории. В ходе реконструкции внешности это было особенно заметно, ведь его бюстов великое множество и... Каждый будто изображает разного человека.
А всё дело в том, что большая часть сохранившихся скульптур является посмертной. Авторы достаточно вольно относились ко внешности диктатора, меняя её на основе собственных представлений. А может и фантазий, кто знает.
В любом случае, за основу мы взяли бюст Цезаря из Ватиканского музея, один из двух признанных портретов правителя.
Нейрокузня | DreamForge
Я всегда любил маленькие умные модели. Не очень сложно на большом масштабе получить хорошие результаты, а вот на маленьком - сложно.
Чуваки сделали 1.3b(mini llama based) в стиле llava модель, которая почти не уступает (3 цифра после запятой) 7b llava.
Hf
Я с Олей познакомился много лет назад в те времена когда из России брали на стажировки в фангу, сейчас конечно много чего изменилось, но советы по подготовке по прежнему актуальны, спойлер: можно притвориться проживающим в Казахстане/армении/.... и вы станете ультра хайп стажёром в топовой конторе, а там глядишь и employe станешь🤤
И даже если вы лох(как я) то этот опыт будет супер полезен, если что - всегда можно пойти на синиора в мясо деплоить кредитный скоринг за много денег
Плюсы:
- Оригинальный докерфайл.
- Все зависимости из requirements на месте.
- Память не течет.
- DDP запускается.
Минусы:
- Результаты не воспроизвелись (оно и ясно, код написан на китайском форке лайтнинга).
- Комментарии на английском, сын говорит только на русском 💪
Комментарии:
Запускал 7 летний сын, провозился несколько дней. Потребовалась моя помощь. Второй раз запускать не буду.
AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions [2023] - ещё одно AI-открытие уходящего года
Продолжаем тему оптимизации программ. Почти одновременно с FunSearch вышла другая работа от Deepmind, правда, не применяющая LLM, и поэтому попавшая только в Just Links. Идеологически она похожа на AutoML-Zero, про который я уже тоже писал пост.
Итак, мы умеем легко и быстро производить на компьютере 4 базовые арифметические операции. Однако, "трансцендентные" функции, например, экспоненту, нельзя легко посчитать. Компьютер их считает приближённо, например, с помощью ряда Тейлора. При этом, нам достаточно уметь приближать её на промежутке [0;1], т.к. в целую степень мы умеем легко возводить и таким образом получить любую степень.
Итак, задача - найти как можно более короткую / быструю программу, вычисляющую экспоненту на отрезке с заданной точностью. Авторы представляют программу в виде графа вычислений (см. картинку). Вершинами является вход x, выход f, константы и математические операции, в которые по направленным рёбрам попадают входные данные.
Генетический алгоритм поддерживает популяцию графов, случайно добавляет мутации в них - добавление вершин, удаление, замена ребра и т.д. Оптимизируется одновременно точность и скорость (кол-во операций или время исполнения). Так как у нас 2 важных критерия отбора, используется специальный алгоритм сортировки популяции, выбирающий программы, сбалансированные по-разному с точки зрения критериев.
В результате, алгоритм не оставляет камня на камне от бейзлайнов, созданных приматами. Количество операций сокращается примерно в 2 раза, но это не самое крутое. Алгоритм подбирает функции так, чтобы компилятор оптимизировал их наиболее выгодно, в итоге скорость возрастает в >3 раза.
И вновь кожанные мешки показывают свою несостоятельность в сложных многослойных задачах, которые нельзя разбить на изолированные кусочки. End-to-end алгоритмическая оптимизация не оставляет нам никаких шансов.
@knowledge_accumulator
Дед мороз пихает подарок админу в домоход
Читать полностью…
Ну все, закат эпохи MoE, а начиналось так красиво😭
Тут вышла новая модель, которая модифицирует Mistral не добавлением экспертов, как в MoE (мне до сих пор не понятно как это чудо тюнить и куда пихать), а копированием и задвоением слоев
Технология такая: копируем слои модели, обрезаем немного с верхушки и с конца (авторы объясняют это борьбой с неоднородностью слоев). Ну и стакаем вместе. Идея не супер новая, но работает, теперь в лидерборде модель в сумме на 11B параметров красуется выше, чем 47B Mistral в сумме
Еще непонятно почему авторы обрезают именно 8 слоев. Поясняют это буквально тем, что так надо. Но в общем и целом, красивое решение и можно проделывать с любой новой архитектурой, которая даст прирост
🙂Папир
по прежнему считаю эту картинку лучшей визуализацией текущего развития general ai
Читать полностью…
какими сервисами на основе genai вы пользуетесь вот прям ежедневно?
про меня:
у меня свой бот на gpt4 который имеет ретривалы в документацию hf/diffusers/torch
deepl
mj очень редко
друзья!
во-первых, вот красивое видео 👆
во-вторых, мы отстаем от шаблонов для ноушена блин, если вы еще не переходили по ссылке то пожалуйста сходите! https://www.producthunt.com/posts/spiritme-ai-scriptwriter
Всем привет! Хочу рассказать про ещё одну обученную мною модель под названием PavelGPT-7B-128K-v0.1-LoRA, на этот раз я взял скрипты Saiga (rulm) и модифицировал их таким образом, чтобы получить языковую модель типа INSTRUCT, но с данными оформленными в виде чата (для того чтобы её было легко использовать в связке с проектами типа text-generation-webui).
В качестве основы взял Yarn-Mistral-7b-128k, а датасеты собирал таким образом, чтобы модель могла не только решать базовые задачи, но и отгадывать загадки, а ещё решать несложные математические задачки, писать небольшие тексты, составлять оглавление и создавать простые скрипты.
Вот все ссылочки, которые могут пригодиться:
- скрипт обучения модели
- отчёт обучения на wandb
- тестовые ответы модели в карточке на huggingface
- скрипт запуска модели
PS. Мне давно хотелось сделать себе чуть более умного помощника для работы с документацией которую я храню в Obsidian и пока что впечатления от использования данной модели более приятные чем от предыдущих моих экспериментов.
Надеюсь вам данная моделька тоже окажется полезной :)
#ai #saiga #gpt
#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.
*Notion будет пополняться*
Notion русская версия
В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна
Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.
Хз, меня Саша попросил я нихуя не понял прикола.
Регулярно спрашиваю у Саши: а как ты сделал Х, почему так.
А ещё он торчит лекцию для better data community, давайте намекнем ему что стоит записать.
Рофловая соревка на 50k usd - наиболее быстрый алгоритм сборки кубика рубика
kaggle
Помните канал Ai abuzzer? Как то раз он не поделился дошироком с админом и где теперь этот ваш Ai abuzzer?
По мотивам
У меня есть 2 новости:
1. Я наконец дописала статью про отбор в DeepMind
2. Как раз вчера открылся набор на следующий год, читать подробности и подаваться тут, дедлайн 30 сентября
P.S. А если вам хочется на стажировку в Bloomberg, то податься уже можно тут
На работу я выхожу 15 января, а один из двух парттаймов завершился. Это значит, освободилось полдня на то, чтобы заниматься оверинженирингом петпроджектов. А именно — новую версию @ffmemesbot — и решил я ее делать опенсорсно. Так что подписывайтесь, ставьте звезды ⭐️
🔗 github.com/ffmemes/ff-backend
На днях мне написало порядка 10 людей и общими усилиями мы набросали в Miro как-то архитектуру бота. Решили начать разработку с сервиса storage, который будет собирать, хранить и фильтровать мемы, чтобы потом к нему прикрутить реком систему и “фронтенд” в виде тг бота.
За пару дней завел FastAPI и прикрутил Prefect Cloud с воркерами, воруя древние сниппеты кода у своего же стартапа. Будем стараться делать монолит, только ML штучки, возможно, в отдельные микросервисы уйдут, если разберусь с MLFlow.
Кстати, если вы знаете хорошие OCR либы / сервисы с щедрым free tier - поделитесь в комментах, плиз. Мне нужно текст с мемов на произвольном языке доставать, но почти всегда есть догадки, какой язык стоит детектировать.
А можно флексить что у меня миллионы просмотров?
Читать полностью…
Лол, в начале года работал над похожим Cloned Transformer - такая же логика: копируем средние слои в центре.
Учил на Habr + кусок ruLM, не анонсил в паблик уже не помню почему
Hf model
Альтернативная модель (код)
Градиентные бустинги обычно хорошо блендятся с нейронными сетями, поэтому начали пробовать их в отработанном пайплайне.
1. Трансформер. Результаты были плохие. Скор на валидации составлял 0.685, а время обучения на один фолд занимало два часа. Обучение было медленным и результаты неудовлетворительными.
2. Сеть Conv1D. Результаты были немного лучше, но все равно неудовлетворительными. За один день удалось создать модель, которая показывала такой же скор как трансформер (0.685) на валидации, но обучалась в 10 раз быстрее. Сосредоточились на этой модели и провели более ста экспериментов, чтобы добиться ее эффективной работы. Я не буду подробно описывать процесс подбора архитектуры, но если вам интересно, вы можете прочитать подробности в оригинальном посте по ссылке.
3. Идея итогового решения заключалась в использовании модели WaveNet, которую модифицировали, чтобы она создавала эмбеддинги для duration, text_fqid, room_fqid, fqid, event_name + name и предсказывала ответы для каждого стейджа.
- На первом этапе обучаем отдельную сеть на BCELoss для каждого стейджа, предсказывая все ответы этого стейджа. (В игре есть три блока с ответами, между которыми идет сама игра. Все ивенты с начала игры/прошлого ответного блока и называется стейджем).
- Затем замораживаем веса базовой модели (отрезая BCE-голову) и обучаем другую голову, которая получает на вход конкатенацию доступных эмбеддингов для всех стейджей. На первом этапе у нас есть только один 24-мерный эмбеддинг, на втором - два эмбеддинга, и на третьем - три эмбеддинга. Мы также обучаем эту структуру на BCE и подбираем лучший вариант, исходя из метрики F1 (которая является метрикой соревнования).
4. В итоге получили результат 0.70175 для одной модели, что сопоставимо с результатами градиентного бустинга.
Киберпанк ближе чем ты думаешь и это пугает.
Читать полностью…
сегодня я узнал
- в узбекистане есть завод кокаколы
- она вкуснее чем европийская, но чуть хуже китайская
Алаймент не нужен до тех пор пока модель не может посчитать сколько шариков поместиться в жопе у СЕО
Читать полностью…
Нашла канал журнала "КВАНТ":
/channel/kvant_magazine
В основном там выкладываются новые номера журналов и делаются репосты из других каналов, связанных с математикой - чаще всего с школьной олимпиадной. Есть и объявления о новых конкурсах по решению олимпиадных задач.
Примеры постов:
🌟 Сентябрьский выпуск "КВАНТа" этого года в pdf - /channel/kvant_magazine/135 . Не знала, что теперь pdf-ки так быстро выкладываются;
🌟 Декабрьский номер "Квантика" - /channel/kvant_magazine/123 (это журнал, напоминающий "КВАНТ", но меньше по объему и с намного более простыми задачами и статьями);
🌟 Кратко о том, какие новые математические этюды появились в этом году /channel/kvant_magazine/80 (репост);
🌟 Список избранных постов профессора Виктора Губы, собранных в его память (умер в этом месяце, к сожалению) - /channel/kvant_magazine/130 (репост). Там есть темы чуть посложнее; собираюсь почитать про Банаха-Тарского и трансцендентность.
🌟 Объявление о конкурсе для школьников (уже просроченное; привела для примера) - /channel/kvant_magazine/101
---
Журнал КВАНТ был одним из тех источников информации, с которых началось мое увлечение математикой. Где-то лет пятнадцать-семнадцать назад, когда была подростком, я выписывала этот журнал по почте (не электронной) и была очень рада каждый раз, когда он приходил. А ещё время от времени решала задачи из "Задачника КВАНТа" и отправляла их в редакцию на проверку. Однажды в ответ мне даже прислали маленькую брошюрку по математике за мои решения. Это очень приятное воспоминание. Рада, что журнал продолжают выпускать (а ведь ему уже больше 50 лет).
#математика