4253
❤️☠️🤗 идейная миграция небытия
Моя DS-карьера началась с Kaggle, а потом резко свернула ближе к Data Engineer / Product Analyst. Мои ML скиллы почти нигде мне не пригодились: я либо парсил и складывал, либо автоматизировал SQL. Конечно, у меня есть запатентованный ML-алгоритм, но там тупо Random Forrest. К тому же, ничего умнее пары эвристик на SQL не взлетело в @ffmemesbot. А больше нигде ML мне как будто не нужен был.
Какой же ностальгический кайф я ощутил, разбирая нестандартные ML приемы из лекции Станислава Семенова, которую он дал после 2 лет работы квантом и за год до основания своего хедж фонда. Тут не будет многоуровневого стейкинга, только примеры из реального мира. Можно догадаться из какого. 😮🤫
Как увеличить скор ваших ML моделей:
🔗 okhlopkov.com/kaggle-tricks-from-grandmaster-hft-quant/
почему есть виза таланта, но нет визы блогера?
Читать полностью…
эта статья про RLAIF появилась еще месяца два назад и лежала в одиночестве, случайно нашел и вот теперь публикую
alexwortega/YhZXJ6242Up">blog
На данный момент Операция Ночной Дозор продолжается - экзаминируют верхнюю часть картины.
Промежуточные результаты исследования опубликованы на сайте музея (как видно на флайере на фото у посетителя).
Но что же сейчас происходит с Ночным Дозором - и почему он в гигантской стеклянной коробке?
Читать полностью…
Клевый блогпост про optimum - самый простой способ ускорения инференса трансформеров, дающая х2 скорости!
Читать полностью…
Завтра с 9 утра до 14 постов не будет.
Читать полностью…
Считать pass@n на джунах которые ручками запускают код
Читать полностью…
Почему комментарии к постам так похожи на обсуждения в singularis?
Читать полностью…
Я проснулась после марафона чтения ШАДовской книжки с новыми методами PEFT нет, я еще не помешалась на адаптерах, но до этого не долго👨🔬
Compacter, 2021 обещает быть лучше по бенчам, чем мой излюбленный AdapterFusion от DeepMind , но в моем понимании в пределах погрешности. Тем не менее график и результаты – 2 первых вложения. При этом в чем еще плюсы: он также как AdapterFusion и soft prompts позволяет в мультитаск, а также решает проблемы reparametrization-based (хранение в памяти проекционных матриц и исходных. При чем мы говорим о времени до LoRA. В связи с этим, да, эта проблема еще не решена ею и существует); нестабильности и чувствительность к инициализации soft prompts; а также увеличению количества параметров на инференсе адаптеров
Небольшое отступление🙃
На первом скрине также видно, что подход сравнивали с методом BitFit (2021), который относится к селективным методам и соответсвенно подобно pruning обучает sparse представление весов сети. Так вот этот метод при оптимизации оставляет не замороженными только bias-terms и последний слой (3,4 скрины вложений)
Итак, за счет чего compacter сильно уменьшает сложность хранения в памяти и решает проблемы раннее существующих методов, описанных выше:
Начитавшись статьи PHM, в которой авторы предлагают эффективную состыковку матриц с применением суммы произведений Кронекера, которая позволяет уменьшить сложность на 1/n, авторы применяют этот подход к специфичным параметрам адаптера и их общим параметрам (а точнее к их проекционным матрицам). Красивую визуализацию этого процесса можно найти на 5-ом вложении. При чем, почему авторы в принципе акцентуируются на использовании общих параметров? так как при «глубокой» цепочке параметров, модель будет способна запоминать только верхнеуровневые статистики обучающих данных.
🖥Код Comapacter
🖥Код BitFit
ГО ЖЕСТКО ПОЛОЖИМ ИМ САЙТ!!!!
И накидаем лайков на PH, нешутитьпроpornhub
А где дисс шмидхуберта на сутскевера
бтв, если сильно захотите могу выложить свой лист того что стоит почитать из того что мало упоминается
И теперь комунисты в твиттере объясняют почему нейросети - хуйня!
Читать полностью…
Я вам принес с утра немного скепсиса. Нельзя ведь проснуться и не похейтить!
Тулза Reverie, которая может скопипастить муд из референсной картинки! И не просто сгенерить и перенести LUT, а настроить ваш directional light, skylight, перенести воздушную перспективу и т.д.
В интерфейсе мы видим landscape, weather, lighting, soundscape. Выглядит и звучит как😒
Создатель обещает выложить в релиз в этом году, что же, посмотрим! Там, конечно, не обошлось без AI.
Запустите yalm100b из transformers как раз вышла имплементация!
Читать полностью…
Вместе с @data_morning сделали датасет Habr_qa_sbs, он включает в себя best - ответ который набрал больше всего лайков и bad - тот который набрал 0 лайков или отрицательное число.
датасет
С 2019 года ведется гигантский проект - Operation Nights Watch - Операция Ночной Дозор.
Дело в том, что в 1715 году Ночной Дозор обрезали - тупо чтоб он вместился между двумя дверьми в мэрии Амстердама.
И почти спустя 300 лет было принято решение сделать реставрацию и восстановить обрезанные части - с помощью Искусственного Интеллекта.
Алгоритм обучался на скане копии работы, сделанной до обрезки (Геррита Лундеса - сейчас находится в Национальной Галлерее в Лондоне) - и скана оригинала. На фото - белые линии на картине Лундеса показывают обрезанные края.
В результате работы появились 3 новых фигуры (два мужчины и мальчик), а также изменились несколько других деталей.
Работа траслировалась музеем в живом режиме музеем.
Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!
DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.
Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).
Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.
Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)
Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.
Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).
Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)
Если остались вопросы, пишите нам на почту (dlphystech@gmail.com), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)
Вчера вышла интересная статья YaRN про еще один способ увеличения контекста в LLM (точнее в тех моделях, которые используют метод RoPE для позиционного кодирования, например, LLaMa-2) до 64k, 128k токенов. Направление сейчас популярное, ведь такая штука позволяет поместить в контекст среднюю книгу или же иметь очень длинную историю сообщений. В статье графики выглядят впечатляюще и самое крутое, что можно уже брать модельки с hugging face.
В отличие от предыдущих работ, где модифицировали только RoPE (Rotary Positional Encodings, по сути это поворот вектора в пространстве на некоторый угол, который зависит от позиции), авторы заметили, что изменения в позиционном кодировании сильно влияют на распределение attention скоров после софтмакса. Поэтому помимо прочего добавили температуру, которой можно это распределение контролировать. Причем сделано это по-хитрому, чтобы не менять код самого attention и соответственно использовать все существующие оптимизации. Как и другие методы, YaRN требует дообучения на данных с длинным контекстом, хотя и в небольшом количестве (~0.1% от данных претрейна). Единственный вопрос — сколько памяти требуется для инференса таких моделек.
Крайне уважаемые коллеги из Тинька будут читать завтра лекцию в коломенском про LLM, разработку и ИТ! Пригоняйте и вливайтесь в крутой нетворк!
ссылка
Serbian language model with Kosovo bias
Читать полностью…
Короче, если хотите сходку в Белграде то откликайтесь под постом, закину в чат
Читать полностью…
этот слайд моргенштерн что ли дизайнил
Читать полностью…
⬆vcsurf на producthunt
Спустя месяцы разработки, сервис наконец-то открыт для первых бета-пользователей.
С помощью vcsurf можно по деку/описанию стартапа: искать потенциальных инвесторов, конкурентов, фаундеров похожих стартапов, похожие умершие стартапы, новости и многое другое.
PH 🔗 — https://www.producthunt.com/posts/vc-surf
*Сейчас поддерживаются обзоры по международному и российскому рынкам
**Feedback — @air_korolev
int8 обожаю пиздец, это почти как обрезанный член, член есть, но ТОЧНО ЧТО ТО НЕ ТАК
Читать полностью…
инференс 13б llm на айфон это не военное приступление. Есть ещё отговорки почему ты не хочешь ее запускать?
Читать полностью…
Тут юнити выложили прикольную бету инструментов с LLM + t2i под названием Muse, выглядит очень круто!
Читать полностью…