6052
Меня зовут Андрей Кузнецов Руковожу лабораторией FusionBrain в AIRI, один из создателей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87
Как пандемия позитивно складывается на некоторых отраслях: с 2020 года 2й альбом уже🤘
11й альбом с приходом нового барабанщика прямо отличным получился!
Запустился второй сезон конкурса Красоты кода — легендарного состязания программистов от Сбера на самый обаятельный и привлекательный код!
В этом сезоне:
⚡️ Пять дисциплин: Frontend, Backend, Mobile, DevOps и AI
⚡️ Три номинации в каждой дисциплине и две общие номинации
⚡️ Призы: iPhone 16, колонка SberBoom и приглашение на оффлайн конференцию HighLoad++ в Москве
Финал на HighLoad++ 2-3 декабря!
Вся-вся информация ✨ вот тут ✨
Я буду экспертом в жюри и верю, что красота спасёт мир 😎
💪Даёшь большие LLM в каждый чайник
На днях группа ученых из MBZUAI и UESTC выложила тех репорт фреймворка TPI-LLM, который позволяет запускать большие LLM на смартфонах значительно быстрее аналогичных фреймворков (на 80-90%). По памяти тоже выбили рекордные 3.1 Gb для модели LLaMA 2-70B. LLaMA 3.1-70B «кушает» уже 11.3 Gb (но кого сейчас это пугает на смартфонах)
👉Код выложили тут
👉Тех репорт на arXiv
1️⃣Начинается первый день основной конференции ECCV’24
Почти 7000 очных участников, 75 воркшопов, 30 демо, 650+ speed mentoring для студентов и много других красивых цифр (а еще очень модный свет)
Больше статистики на фотках☝️
@complete_ai
Из того, что запомнилось особенно за сегодня на ECCV’24 — доклад лидера команды Wayve (которые в том году выпускали статью про свою модель Gaia-1 для генерации видео в стиле видеорегистратора — эдакая модель мира).
Сначала он рассказал про модели описания сцены Lingo, а также датасет LingoQA. Вторая версия (выпустили в апреле этого года) Lingo-2 умеет также решать задачу определения 3D положения объектов (граундинг), что добавляет к качеству текстовых описаний и ответам на вопросы.
И далее перешел к довольно свежей модели CarLLaVA, выпущенной в июне. Входные кадры с фронтальной камеры делятся на 2 части, кодируются визуальным энкодером LLaVA-Next, фичи объединяются и далее через проектор по классике добавляются в LLM. В итоге получается супер SoTA на CARLA челлендже (отрыв от прошлогодней соты — 458%). Видео демка тут
@complete_ai
Новый рекорд исследователей AIRI в этом году — сразу 17 статей принято на NeurIPS🔥
Поздравляем всех авторов!
Всем привет!
Срочная и классная новость!
Мои коллеги из DeepSchool уже завтра проведут трёхдневный мастер-класс по 3D Computer Vision, где вы сможете научить беспилотную машину ориентироваться в пространстве 🚘
Мастер-класс будет состоять из трёх лекций, они пройдут 17, 18 и 20 сентября (вт, ср и пт).
На лекциях вы:
✔️ научитесь восстанавливать 3D-сцену по данным с камеры и лидара
✔️ узнаете, как ориентировать робота в пространстве
✔️ освоите симулятор Carla для синтеза данных
✔️ поймёте теорию, стоящую за SLAM-алгоритмами
Первая лекция начнётся уже сегодня в 19:00(мск). Не пропустите 💪
Всё подробности и регистрация тут!
Всем привет 🫡
Мои коллеги из DevCrowd проводят исследование рынка специалистов DS/ML/AI, как нынче в этой сфере живётся. Исследование планируется проводить каждый год, чтобы понимать, стало ли житься ещё лучше 😎
Вам нужно только немного рассказать о себе: чем занимаетесь, где учитесь, работаете; и — вуаля — вы внесёте свой маленький вклад в наше общее AI-дело. Исследование поможет сравнить свои ожидания с рынком, построить карьерный план и узнать, что происходит с индустрией в России. Выйдет оно совсем скоро на сайте DevCrowd.
Опрос займёт всего 15 минут!
⚡️Новый релиз лаборатории FusionBrain в конце рабочей недели
Представляем вам Guide-and-Rescale — новый способ редактирования изображений с помощью диффузионных моделей, принятый на Core A* конференцию ECCV 2024! Наш метод позволяет менять объекты на картинке, стиль изображения или эмоции на лице по текстовому описанию, сохраняя структуру и детали, которые не должны меняться.
По ссылкам ниже можно найти демо и код👇
🟢GitHub
🟢Google Colab
🟢Hugging Face
Также мы закинули статью на Daily Papers и надеемся на вашу поддержку🤝
Будем рады вашим отзывам, звёздам и апвоутам! ⭐️
Саму работу читайте на arXiv и на хабре.
За деталями можно залетать в канал Айбека, который как раз руководит научной группой Controllable GenAI в лабе, разработавшей этот подход
⚡⚡⚡Вот и пожаловал релиз Qwen2-VL
https://qwenlm.github.io/blog/qwen2-vl/
Две ключевых фишки подсветили, как и на выступлении на ACL:
1) работа с динамическим разрешением входных изображений (без даунсэмплинга картинок по умолчанию), а энкодер ViT-600M работает как для картинок, так и для видео на входе
2) мультимодальные ROPE, чтобы можно было работать с пространсовенно-временной информацией
We opensource Qwen2-VL-2B and Qwen2-VL-7B with Apache 2.0 license, and we release the API of Qwen2-VL-72B
👋Всем привет!
В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️
В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда Controllable Generative AI под началом Айбека Аланова, которая нацелена усилить генеративное направление 💪 (между прочим он руководит ещё и Центром глубинного обучения и байесовских методов в НИУ ВШЭ). Айбек занимается исследованиями в области генеративных моделей и публикуется вместе с командой на топовых международных конференциях:
🟢все статьи можно почитать тут
🟢избранные свежие работы: StyleDomain на ICCV 2023 и StyleFeatureEditor на CVPR 2024
Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉
👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯
⚡️ Machine learning - самый крупный обучающий ресурс в Telegram, посвященный машинному обучению
По контенту:
1. Разбираем самые интересные модели
2. Составляем ежедневные дайджесты главных релизов и новостей
3. Полезные курсы
4. 2300 реальных задач с собесов с разбором
5. Учебники для скачивания.
Целая папка для всех, кто изучает мл
И многое другое.
Это первоисточник всего, что появляется в платных курсах и популярных ресурсах по МО и ИИ.
Подписывайтесь, такие знания в 2024-м году на вес золота: @ai_machinelearning_big_data
⚡⚡⚡Свежайший крутой апдейт от OpenAI
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Today, we’re launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.
Fine-tuned models remain entirely under your control, with full ownership of your business data, including all inputs and outputs. This ensures your data is never shared or used to train other modelsПобежали скорее что-нибудь тюнить🏃 Читать полностью…
👋Всем привет!
Сегодня мы стартовали Летнюю школу AIRI на базе ПИШ ИТМО в Санкт-Петербурге! Из почти 1000 заявок отобрали 80 лучших, и вот они здесь, с горящими глазами, блестящими навыками и готовые постигать знания на лекциях по 6 направлениям, а также оттачивать навыки в ходе проектной работы.
Супер интенсив, уникальные знания, крутые спикеры и эксперты, 🔝 студенты технических направлений со всей России💪
Желаю всем удачи!
Всем привет!
Наверняка среди моих подписчиков есть те, кто интересуется робототехникой и применением ИИ для решения задач планирования и манипуляции. Хочу отдельно подсветить, что у нас сейчас в активной фазе соревнование AIJ Contest, где есть задача Embodied AI.
Там как раз есть 2 задачи в рамках трека. Подключайтесь, чтобы побороться за призовые места💪
-> Ссылка на описание соревнования👇
https://dsworks.ru/champ/aij2024-embodied-ai
-> Чтобы быстрее влететь в сореву, есть вебинар, который мы записывали пару недель назад
https://vk.com/video-22522055_456244521
Помимо ECCV’24 прошлая неделя запомнилась ещё двумя крайне знаменательными событиями:
✅ Один из ключевых исследователей в лаборатории FusionBrain, защитил PhD в Сколтехе. Руководителями работы выступили Александр Панченко и ваш покорный слуга
✅ У нас успешно приняли статью «Kandinsky 3: text-to-image synthesis for multifunctional generative framework» на демо трек Core A* конфы EMNLP’24, которая пройдет в середине ноября в Майями🎉
🏁 Конференция ECCV’24 подошла к концу
За последние дни у меня в основном аккумулировались разные интересные постеры, которые сейчас хочу тематически разложить, сделать в облаке папку и пошарить её всем подписчикам — это будет своего рода персонализированная фильтрация всего того контента, который привлёк моё внимание и близок темам, которыми мы занимаемся в лаборатории:
1) мультимодальность и видео, визуальные энкодеры
2) генерация и редактирование изображений и видео
3) embodied AI, VLM в робототехнике
4) генеративное проектирование в задачах синтеза CAD объектов различных форматов
5) эффективные методы представления визуальной информации (отдельно от самих энкодеров)
Если получится сделать мини семинар с разбором интересных статей и просто обзором конференции, то его тоже распространю всем😉
А пока, предлагаю улыбнуться нескольким забавным постерам и необычным участника, которых я заметил за эти дни☝️
🥇 Экономный исследователь
🥈 «Я-свой-постер-оставлю-навечно-тут»
🥉 «Не жалею краску в плоттере»
Встретились на ECCV’24 с Артёмом @ai_newz
Обсудили развитие GenAI в мире, новые направления исследований, которые привлекают больше всего внимания на конференции и самые обсуждаемые проблемы в генеративном ИИ
Рад очной встрече с Артёмом и тому, что такие мероприятия как ECCV объединяют исследователей со всего мира и создают плодотворную площадку для коммуникации💪
На фотке радостно передаём привет подписчикам наших каналов👋
⚡️Второй день воркшопов на ECCV’24 также оставил у меня в памяти несколько интересных инсайтов. Я постарался уделить время воркшопам по GenAI для видео, а также внутренним знаниям о визуальных концептах в генеративных моделях.
Из первого был интересный доклад профессора из University of Massachusetts Chuang Gan (H-index=69), который рассказывал о комбинации видео и дифференцируемой физики как способе построения моделей мира. Видео сами по себе не способны быть достоверным предсказанием каких-либо событий, но добавляя обуславливание на законы физики можно научить модель «прогнозировать будущее». Также он показал модель 3D-VLA, у которой помимо понимания видео на входе есть промежуточный блок с диффузией, который генерирует «воображение», то есть несколько шагов вперед относительно текущего состояния, чтобы лучше прогнозировать следующее действие.
Во втором воркшопе доклад бесспорного классика для многих специалистов в компьютерном зрении David Forsyth (H-index=88) был коротким, но максимально полезным. Он посвятил выступление открытым вопросам в части интерпретируемости моделей генерации изображений и как внутри моделей «располагаются» разные концепты, а также какими «знаниями» располагают модели синтеза изображений. А также почему с генерацией одних типов объектов модели справляются, а с другими нет. Ответами на эти вопросы сейчас занимаются многие ученые, поэтому это скорее был визионерский доклад о вызовах в области понимания «внутрянки» архитектур. Подсветил некоторые работы в этом направлении и исследовательские задачи на ближайшее время💪
В комментариях выложу фото избранных слайдов по обоим докладам👇
@complete_ai
🏆Стартует первый этап профиля «Искусственный интеллект» Национальной технологической олимпиады
Задача в этом году посвящена биоразнообразию и устойчивому развитию. Участникам предстоит внести свой вклад в спасение животных: разработать алгоритмы для классификации животных на изображениях, создать системы идентификации и научиться детектить редкие виды. Стать и разработчиком, и биологом, и просто неравнодушным ❤️
Призы для победителей:
✔️ Денежные сертификаты на образование (призовой фонд 4 млн рублей)
✔️ Стажировка в Сбере
✔️ Менторская поддержка от крутых AI-экспертов
✔️ Льготы на поступление в ведущие вузы России
📅 Регистрация открыта до 21 октября. Успевайте!
Все подробности по ссылке
Кейс разрабатывался при участии команды SberAI, ученых Института экологии и эволюции им. А.Н. Северцова и Национального парка «Сайлюгемский».
👨🏫 Век живи — век учись
Сегодня на конференции Practical ML Conf мы провели мастер класс по методам файнтюнинга диффузионных моделей — это чтобы за небольшое время и на малом объёме данных и вычислительных ресурсов сделать из генеративной модели кастомную конфетку😏
Рассказали и показали какими способами можно файнтюнить модели (LoRA, IP Adapter и др.), какие плюсы и минусы у каждого подхода. Всё это проходило в live режиме, и участники могли сами попробовать разные сценарии работы.
📆На следующей неделе мы отдельно проведём запись мастер класса, и я им сразу поделюсь с вами: там будет и про SD, и про Kandinsky😉
А давайте-ка устроим конкурс на ближайшие выходные за самую крутую генерацию😏
🏆Победителя выберем по максимуму положительных реакций в начале следующей недели. В качестве приза устроим персональную экскурсию в Институт AIRI (если вы в Москве), а также задарим мерча (отправим почтой, куда деваться😅)
🖼️Генерировать картинки тут
Ваши прекрасные генерации отправляйте в комментах к этой записи👇
UPD: Присылайте сразу в формате — исходная картинка, текстовый промпт для редактирования и результат
🎉Торжественно завершили Летнюю школу AIRI 2024
Ребята прошли очень напряженный интенсив в части лекционной нагрузки, параллельно прокачивали проекты и сегодня их защищали. Это был крутой путь, выбирать среди представленных 25+ проектов всего 3 лучших было сложно, но мы справились💪
Всем участникам желаю удачи, ПИШ ИТМО большое спасибо за площадку и помощь в организации, ну а мы немного выдохнем, соберём обратную связь, порефлексируем и начнём продумывать Школу в 2025 году!
В следующих постах расскажу про тройку лидеров😉
Всем привет!
29 августа в 18:00 мск я буду на секретно-секретной закрытой встрече сообщества AiConf
На онлайн-встрече будем обсуждать насущное:
✅ Как развивается внутри data science?
✅ Какие интересные прикладные задача стоят перед лидерами индустрии?
✅ Перспективы для senior'ов
✅ Где же всё-таки получать практически навыки?
Участники встречи мои коллеги из Альфа-Банка, Яндекса, МТС и других компаний.
Встреча пройдёт в формате открытой дискуссии, участие бесплатное.
Регистрируйтесь и скоро увидимся 🤝
Разгоняют новость, что во Франции Дурова приняли, с формулировкой "создатель сервиса зашифрованных сообщений", чтож запасаемся попкорном)
UPD: Его там серьезно набутыливают на 20 лет 😞
ℹ️Делюсь интересным мероприятием на тему RAG, где будет участвовать мой хороший знакомый и отличный специалист в области NLP — Валентин Малых.
Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.
Информация о событии👇
/channel/valuableai/53
В Сбер-команду моего хорошего друга Глеба Михеева (да, и он теперь в Сбере😏) требуется Data Science уровня middle/middle+, который примет участие в разработке планировщика с многошаговым вызовом функций, поэтапным обогащением данных и корректировкой плана 💪
Команда Глеба занимается разработкой цифровых ассистентов на LLM. Задачи NLP и CV уровня R&D для особо искушённых 😏
Что надо делать:
- Исследовать возможности LLM в части реализации многошаговых функций
- Строить пайплайны работы с LLM для обработки запросов пользователей
- Реализовывать системы метрик для сбора обратной связи и определение зон развития пайплайнов и моделей
- Формировать и проверять технические и продуктовые гипотезы
- Готовить планы и проверки результатов обучения LLM
Требования:
- Делайте хорошо, а плохо не делайте
- ML/DL/NLP
- Python + pandas, scikit-learn, catboost, pytorch
- Опыт использования MLFlow, Argo Workflows, Airflow, JupiterHub, k8s
👉С резюме и вопросами пишите в личку Глебу: @glebmikheev
На просторах интернета нашел забавный тест, который позволяет посоревноваться с современными языковыми моделями в навыке предсказывания следующего слова в тексте💪
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал 4/15 баллов. Пишите свои результаты в комментариях😏