4253
❤️☠️🤗 идейная миграция небытия
блять
мы бы знали что это такое, но мы не знаем что это такое
Линк
мне надо
сорри за шитпост в последние недели
Доля проходящих в idol группы 1:13, доля проходящих в топ вузы 1:20, совпадение что и те и другие носят юбки
Читать полностью…
Их мысли... Блять что у них за мысли....
Читать полностью…
#лабораторный_журнал
Главное изменение по итогу коммандировки на фабрику: зона ответственности расширяется.
Год назад была начата инициатива по созданию инфраструктуры и культуры данных в компании. Однако дело не двинулось дальше попыток нанять лида дата инжениринга, который бы эту инициативу толкал. В итоге мы как ML команда в какой-то момент уперлись в невозможность получить данные для наших проектов. В остальной части компании продолжила распространяться мерзость эксель таблиц, кривых скриптов и сделанных фронтендерами дашбордов (которые делались бы за пять минут например в Power BI).
Решили сменить тактику. Самая близкая к данным команда это моя команда. Плюс у меня был опыт проектирования Data Warehouse в Start.ru, так что я оказался человеком с наиболее релевантным опытом (хотя я вообще не спец в дата инжиниринге). Наконец, у нас получился неплохой процесс найма для позиции ML инженера, поэтому его несложно адаптировать под найм других позиций в дате.
Решили сделать так:
1. Наша команда берет на себя роль дата команды, выбирает наиболее простой и одновременно полезный дата-продукт, делает MVP дата инфраструктуры под него. Во-первых мы сдвинем дело с места, во-вторых в процессе лучше поймем требования.
2. Параллельно с этим вместо поиска суперлида ищем двух человек: дата аналитика в Италию и дата инженера в нашу команду.
3. При проектировании инфры обращаемся к опытному консультанту, чтобы компенсировать недостаток комптенеций в дата инжиниринге.
Таким образом я становлюсь на ближайшее время главным по данным и вместо моделек буду заниматься наймом, проектированием, настройкой DWH и всем прочим.
Я вам принес с утра немного скепсиса. Нельзя ведь проснуться и не похейтить!
Тулза Reverie, которая может скопипастить муд из референсной картинки! И не просто сгенерить и перенести LUT, а настроить ваш directional light, skylight, перенести воздушную перспективу и т.д.
В интерфейсе мы видим landscape, weather, lighting, soundscape. Выглядит и звучит как😒
Создатель обещает выложить в релиз в этом году, что же, посмотрим! Там, конечно, не обошлось без AI.
Запустите yalm100b из transformers как раз вышла имплементация!
Читать полностью…
Вместе с @data_morning сделали датасет Habr_qa_sbs, он включает в себя best - ответ который набрал больше всего лайков и bad - тот который набрал 0 лайков или отрицательное число.
датасет
С 2019 года ведется гигантский проект - Operation Nights Watch - Операция Ночной Дозор.
Дело в том, что в 1715 году Ночной Дозор обрезали - тупо чтоб он вместился между двумя дверьми в мэрии Амстердама.
И почти спустя 300 лет было принято решение сделать реставрацию и восстановить обрезанные части - с помощью Искусственного Интеллекта.
Алгоритм обучался на скане копии работы, сделанной до обрезки (Геррита Лундеса - сейчас находится в Национальной Галлерее в Лондоне) - и скана оригинала. На фото - белые линии на картине Лундеса показывают обрезанные края.
В результате работы появились 3 новых фигуры (два мужчины и мальчик), а также изменились несколько других деталей.
Работа траслировалась музеем в живом режиме музеем.
Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!
DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.
Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).
Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.
Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)
Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.
Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).
Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)
Если остались вопросы, пишите нам на почту (dlphystech@gmail.com), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)
Вчера вышла интересная статья YaRN про еще один способ увеличения контекста в LLM (точнее в тех моделях, которые используют метод RoPE для позиционного кодирования, например, LLaMa-2) до 64k, 128k токенов. Направление сейчас популярное, ведь такая штука позволяет поместить в контекст среднюю книгу или же иметь очень длинную историю сообщений. В статье графики выглядят впечатляюще и самое крутое, что можно уже брать модельки с hugging face.
В отличие от предыдущих работ, где модифицировали только RoPE (Rotary Positional Encodings, по сути это поворот вектора в пространстве на некоторый угол, который зависит от позиции), авторы заметили, что изменения в позиционном кодировании сильно влияют на распределение attention скоров после софтмакса. Поэтому помимо прочего добавили температуру, которой можно это распределение контролировать. Причем сделано это по-хитрому, чтобы не менять код самого attention и соответственно использовать все существующие оптимизации. Как и другие методы, YaRN требует дообучения на данных с длинным контекстом, хотя и в небольшом количестве (~0.1% от данных претрейна). Единственный вопрос — сколько памяти требуется для инференса таких моделек.
Крайне уважаемые коллеги из Тинька будут читать завтра лекцию в коломенском про LLM, разработку и ИТ! Пригоняйте и вливайтесь в крутой нетворк!
ссылка
Serbian language model with Kosovo bias
Читать полностью…
Санкции должны свергнуть режим!
Так же санкции: эээ, вам нельзя ввозить шампуни и айфоны в Европу. А ещё на автомобилях въезжать.
Чуваки очень грустно
https://evalovernite.substack.com/p/ai-benchmarks-puzzle
Читать полностью…
Emergent abilitiys моделей сильно коррелируют с легалайзом
Читать полностью…
Моя DS-карьера началась с Kaggle, а потом резко свернула ближе к Data Engineer / Product Analyst. Мои ML скиллы почти нигде мне не пригодились: я либо парсил и складывал, либо автоматизировал SQL. Конечно, у меня есть запатентованный ML-алгоритм, но там тупо Random Forrest. К тому же, ничего умнее пары эвристик на SQL не взлетело в @ffmemesbot. А больше нигде ML мне как будто не нужен был.
Какой же ностальгический кайф я ощутил, разбирая нестандартные ML приемы из лекции Станислава Семенова, которую он дал после 2 лет работы квантом и за год до основания своего хедж фонда. Тут не будет многоуровневого стейкинга, только примеры из реального мира. Можно догадаться из какого. 😮🤫
Как увеличить скор ваших ML моделей:
🔗 okhlopkov.com/kaggle-tricks-from-grandmaster-hft-quant/
почему есть виза таланта, но нет визы блогера?
Читать полностью…
эта статья про RLAIF появилась еще месяца два назад и лежала в одиночестве, случайно нашел и вот теперь публикую
alexwortega/YhZXJ6242Up">blog
На данный момент Операция Ночной Дозор продолжается - экзаминируют верхнюю часть картины.
Промежуточные результаты исследования опубликованы на сайте музея (как видно на флайере на фото у посетителя).
Но что же сейчас происходит с Ночным Дозором - и почему он в гигантской стеклянной коробке?
Читать полностью…
Клевый блогпост про optimum - самый простой способ ускорения инференса трансформеров, дающая х2 скорости!
Читать полностью…
Завтра с 9 утра до 14 постов не будет.
Читать полностью…
Считать pass@n на джунах которые ручками запускают код
Читать полностью…