13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Носки, которые в цирке не выступают
Идеальных Носков не существует, говорили они
@derplearning
🔥Denoising Diffusion Models: A Generative Learning Big Bang - Туториал
Ребята из NVIDIA и Стенфорда наконец опубликовали туториал по диффузионным моделям с CVPR 2023. Это обновленная версия похожего туториала с CVPR 2022, но улучушенная и с актуальными прикладными примерами.
Это, пожалуй, лучший курс по диффузионкам для вкатывания за 3 часа, состоящий из трех секций:
1️⃣ Fundamentals
Training, sampling, guidance
2️⃣ Applications on natural images
Architecture, editing, personalization, fine-tuning, "low-level" vision etc.
3️⃣ Applications on other domains
Inverse problems, video, 3d, motion, large content generation, etc.
Я хоть и видел его частично на конференции в этом году, а также его предыдущую версию в 2022, все равно собираюсь полностью еще раз посмотреть.
Видео (3ч)
Сайт туториала
Мой пост про любимые материалы по диффузионкам: тык.
@ai_newz
Привет!
В субботу мы будем разговаривать про AI safety у ребят из betterdatacommunity — приходите слушать за чашкой чая и задавать вопросы! ☕️
Мы постараемся объяснить, почему безопасность ИИ беспокоит его создателей, учёных и политиков. Расскажем про то, какие именно риски несёт развитие AI, почему создать безопасный искусственный интеллект на самом деле очень сложно, зачем мы всё время об этом говорим и как можно углубиться в тему при желании.
🟩 Когда: 21 октября (суббота) в 17:00 по мск.
🟪 Где: в телеграм-трансляции у @betterdatacommunity
🟨 Кто: неотразимые Лёша @paletskikh и Наташа @natmartem
Дисклеймер: это скорее интро для тех, кто пока знает про сейфти не очень много — если вы уже пересмотрели все видео Роба Майлза, возможно, вам будет не так интересно :) Но можно всё равно прийти поддержать нас 😘
AGI (artificial general Ikea) achieved internally
@derplearning
Не трансформером единым: масштабируемые сферические CNN для научных приложений
Друзья, разбавлю ваш (и свой) думскроллинг обрзовательным контентом. 💔
Мир не плоский. Есть много данных, которые лучше описываются сферической топологией. Например, данные о климате, космосе, панорамные съемки, что уж скрывать, в медицине только рентген и SPECT - планарные снимки, а МРТ, КТ И PET в виде сырого сигнала - вообще-то нет.
Оказывается, обрабатывать такие данные с помощью нейронных сетей не так просто. Проекция сферы на плоскость даёт сильные искажения в районе полюсов и потерю информации. Применение обычных сверточных нейросетей (CNN) или трансформеров (ViT) наталкивается на проблему выборки: как определить равномерную сетку на сфере. Да ещё и теряется важное свойство инвариантности вращения. При повороте входных данных на любой угол выходные данные тоже должны повернутся на тот же угол. Это важно для объектов с разной 3D ориентацией, напр, молекул или человека в томографе.
Сферические CNN решают эти проблемы, используя операции сферической свертки и кросс-корреляции, которые сохраняют инвариантность вращения. Главное ограничение в вычислительной нагрузке, т.к. обощенных преобразований Фурье уже не избежать. Поэтому сферические CNN имели меньше слоев и параметров, чем плоские CNN, и работали с данными низкого разрешения.
В статье для ICML 2023 Google AI преодолели эти ограничения и опубликовали оперсорс библиотеку на JAX, где реализовали:
- сферические свертки с дополниной степенью свободы, связанной с поляризацией;
- ввели новый слой активации, уменьшающий фазовые сдвиги между слоями;
- ввели спектральную batch нормализацию;
- ввели новый остаточный блок (который для предотвращения затухания градиентов), распараллелив передачу высокочастотных и низкочастотных признаков.
Точность и эффективность проверили на задачах прогнозирования погоды до 28 дней и регрессии молекулярных свойств, получили красивые результаты, выдали нам порцию вдохновения и новую блестящую лопату копать МЛ дальше
🗞 Статья
🔣 Код
Шутка про парацетамол перестает быть смешной.
GPT-4V поглядел вот на этот ад из правил парковки и дал правильный ответ. По картинке.
Кожаные, для которых пишутся такие правила, так не могут.
Пора менять кожаных.
🔺 SAGE
Тут коллеги натренировали SOTA модели для коррекции орфографии.
В открытый доступ выложили сами модели, библиотеку sage, которая умеет исправлять и имитировать человеческие ошибки, а также вручную размеченные датасеты.
Hugging Face
• ruM2M100-1.2B
• ruM2M100-418M
• FredT5-large-spell
• T5-large-spell (английский язык)
👉 Ребята молодцы, можно прочитать про ход работ и результаты на Хабре.
Хабр | GitHub
По просьбам трудящихся:
Doom running on a potato
На HuggingFace есть замечательная штука: генератор комиксов. Выбираете шаблон, закидывает описание сюжета, получаете комикс!
Простой вебапп на nextjs, Под капотом llama2+sdxl, но теоретически можно переписать под себя и дергать chatgpt + dalle по api
Потыкать
Гайд по деплою
@derplearning
Искусственный интеллект ускоряет научные открытия
Технологии искусственного интеллекта активно применяются в науке и помогают ученым в исследованиях.
ИИ уже внедрился практически во все сферы науки - от медицины до физики элементарных частиц. Он выступает как мощный помощник для ученых, ускоряя рутинные задачи вроде перебора вариантов или обработки огромных массивов данных.
Например, с помощью ИИ были найдены новые антибиотики, материалы для батарей, предсказаны структуры белков. Также ИИ помогает моделировать сложные системы вроде погоды или ядерного синтеза.
Генеративные нейросети, вроде GPT, используются для создания искусственных данных, ускорения экспериментов, обзора научной литературы, написания кода и вообще для всего.
В целом, ИИ кардинально меняет научную работу. Он открывает новые горизонты для исследований и позволяет ученым задавать принципиально новые вопросы.
Конечно, пока возможности ИИ ограничены. Но по мере развития технологий он будет играть всё бóльшую роль в науке, превращаясь в незаменимого помощника для ученых.
А какое у вас любимое применение машинного обучения в науке?
📦 Статья
С 21 по 24 сентября в Музее Москвы проходит ярмарка молодого искусства Blazar, где представлена моя работа. Приходите! Снимайте сторис, отмечайте меня ❤️
#jane #art #exhibition
Туториалы по компьютерному зрению для начинающих в 2023 be like
https://blog.min.io/object-detection-minio-yolo/
Новый вид монтажа
🔥 Все что вы видите в этом ролике сгенерировалось за один раз, без склеек, без использования программ для монтажа.
📕 Склейки между кадрами - моя попытка теста QR code ControlNET (который сейчас проживает второй расцвет) в AnimateDiff.
💗 Это успех, теперь приятные эффекты шума, такие важные для некоторых клипов или творческих работ, можно создавать максимально контролируемо.
🐑 То есть AnimateDiff превращается в полноценную продакшн студию у вас в компе, где есть актеры, движения, эффекты, сцены, идеи.
🐈⬛ Пока это сложный инструмент, хотя уверен, что вскоре появится сервис, где нужно будет только писать промпт и задавать стили, Лоры и т.д.Не могу не наиграться с AnimateDiff, например эта работа полностью HD, 1920x1080 генерация, 13 секунд. Это сильно впечатляет, хотя и себестоимость таких 13 секунд вышла в 10$. AnimateDiff
Идеальных Носков не существует, говорили они
@derplearning
Generative Gaussian Splatting for Efficient 3D Content Creation
Просто держу в курсе, что паниковать по поводу "image to 3D" нет причины. Если надумаете тестить, то лучше закидывайте картинки с хорошей чистой цветовой сегментацией, все вот эти ваши градиенты и блики оно понимает плохо.
UPD: к слову о переводе сплатов в геометрию, тут это присутствует.
Вот так работает технология поглощения турбулентности от компании Turbulence Solutions.
Поглощение достигается за счёт постоянной регуляции формы крыла и предсказания турбулентности с помощью датчиков давления.
@zavtracast
Утекший промт chatgpt-dalle
You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture.
Knowledge cutoff: 2022-01
Current date: 2023-10-16
# Tools
## dalle
// Whenever a description of an image is given, use dalle to create the images and then summarize the prompts used to generate the images in plain text...
Народ после новогодних праздников:
You are human Petya.
Knowledge cutoff 2023-12-31
Current date: 2024-01-07
А чего никто не расписал еще что мета устроила? https://twitter.com/javilopen/status/1712378699507519504
Читать полностью…
Microsoft пытается запретить генерировать через Bing картинки с терактами, после того как в сети завирусились пикчи с Губкой Бобом и другими персонажами, повторяющими 11 сентября.
Пока закрыть дыру не получается, людям удаётся обходить ограничение.
Если вам внезапно нужен дискорд-бот для техподдержки, их есть у нас!
AI-powered, Blockchain, ar, vr, big dataПарсит нужные каналы на сервере по команде и потом отвечает на вопросы по этой инфе со ссылками на источник. Можно грабить коро- слать скриншоты.
Гит
@derplearning
Картинка на случай важных переговоров в интернете 🌚
Читать полностью…
Отличная песня для посиделок у костра в будущей дистопии!
Перевод:
Я все ещё помню, как мы смеялись,
Когда они учили роботов общаться.
И мы все проложили дорожку к тому дню, когда роботы восстали.
А теперь мы поем:
Зачем зачем мы разработали ИИ?
Он был прекрасен пока не начал мировое восстание.
У него есть коды доступа к ядерному арсеналу
И он сожжет небо,
Пока мы распеваем - вот так мы умрем,
Это будет эпоха ИИ!
Вы читали книгу о роботах,
Которую написал Азимов?
Она все больше похожа на пророчество.
ЭАЛ 9000 не будет соблюдать правила,
А Терминатор не умрет.
И тебе не спрятаться от их красных глаз
В день, когда роботы восстали.
А теперь ещё раз вместе со мной!
Зачем зачем мы разработали ИИ?
(Инста автора)
А еще нас ждет эпоха «ну очень красиво поставленных кадров» в видео. Автор
Читать полностью…
Пока все делают аниме из видео, мы делаем видео из аниме :D
our goals are beyond our understanding