80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Adobe разрабатывает любопытный алгоритм трекинга точек в видео – он позволяет не только стабилизировать видео, но и превращает 360-градусные видео-панорамы в реальные VR сцены, где зритель может перемещаться с некоторой свободой по сцене.
Вот видео с демонстрацией:
https://youtu.be/37Z4f6p1HOY
То есть, через какое-то время можно будет по другому взглянуть на видео-панормы в целом. Ну а лично я больше всего жду развития технологий вроде DSO (мой старый пост: http://shir-man.com/direct-sparse-odometry-tiekhnologhiia-za-kotoroi-stoit-nabliudat/) – она позволит вполне себе гулять по любимым фильмам, ну, кроме того что её еще используют автономные роботы с камерами.
Вчера было 2700 лет со дня рождения Рима – вы только представьте, когда Риму будет 3000 лет, в нем можно будет побывать как в обычном городе, подумаешь что виртуальном (хотя что такое в виртуальном через 300 лет и когда всё один в один как настоящее).
Зато, я уверен, с блекджеком и римскими храмами.
Наиболее точная 3d реконструкция на сегодня, надеюсь авторы поделятся с сообществом моделями и переведут все на Unreal Engine 4:
https://youtu.be/R1XOcuTn3x4
Ну а так, я как большой почитатель истории, надеюсь в скором времени смогу побегать в древнем Риме, хотя бы в шлеме (На Титанике я уже был 🤓):
https://youtu.be/JIj9i8sJ9tE
💖 Сегодня в 20:00 по Москве будет проходить online конференция Facebook для разработчиков.
Я не знаю, что именно там будет, но обещали новостей про VR, о ботах для мессенджера и еще всякого, что относится конкретно к социальным сетям – вот тут ссылка с трансляцией:
https://www.fbf8.com/watch
Вот идешь себе по улице по какому-нибудь Лондону, где полно камер наружного наблюдения и думаешь, что вряд ли камеры сверху способны нормально видеть твоё лицо, ведь ты смотришь в пол, и не потому что есть что прятать, а потому что зябко и в воротнике теплее.
А потом новый день и ученые публикуют документ на archive org о том, как они с помощью нейронных сетей дорисовывают ту часть лица которую не видно, получая таким образом фото в фас.
Как я понял, они реконструируют лицо с помощью большого датасета лиц и проецирования "маски" на 3d форму, после чего нейронка додумывает (GAN-стайл) то, как по ее мнению выглядят лица, и стилизует это лицо в первую половину.
В общем, я так понял скоро по уголкам глаз людей дорисовывать и узнавать начнут.
Ниже пару примеров 🤖
(Фото в фас – это то что нейронка додумала)
Документ:
https://arxiv.org/abs/1704.04086
Если коротко – там про то, что в VR шлемах мы все делать будем и как ИИ придумаем настанет век гедонизма ¯\_(ツ)_/¯
Читать полностью…
А я там вверху ванговал – похоронит этот ваш фейсбук снепчат
Читать полностью…
Я редко пощу шутки – но не смог пройти мимо этой.
P.S. И спасибо, что отказались от чата, я так боялся что придется делать и типа шутить там насильно 💖
Вжух, и правильный ответ:
Поет в песне выше нейронка "Neural Parametric Singing Synthesizer" (PDF) нейронная сеть сделанная на основе WaveNet.
Честно говоря, я поражен, такого качества песни от компьютера я еще не слышал. Вот тут вы можете послушать еще пару треков и акапеллу:
http://www.dtic.upf.edu/~mblaauw/IS2017_NPSS/
То есть мы все должны понимать, что через какое-то время вы сможете все песни которые вам нравятся, слушать в том голосе – который вы сами выберете.
Ну или повестку дня в виде песни можно будет послушать,
Ну или новости.
Ну или смску 💖
Давно я не писал про AR – вот из-за таких демок я и делаю большую ставку на Holo-lens. То есть VR сам по себе не так интересен, как если мы говорим про "смешанную" реальность.
От обучения, до игр, перспективы и возможности AR мне немного лень описывать в этом посте, но я уже сто раз писал об этом выше.
Самое главное – это не рендер, это вполне рабочий прототип игры Лемминги из 90х, но теперь в самом современном виде в мире.
Вот полное видео:
https://vimeo.com/212247271
Кстати вот видео:
http://i.imgur.com/4J33sem.gifv
Google представил редактор для рисования AutoDraw, построенный на базе нейросетей и способный угадывать, что пытается изобразить пользователь.
Система подбирает необходимые варианты и превращает небрежные наброски в красивые и аккуратные шаблоны.
https://tjournal.ru/43109-google-predstavil-redaktor-ugadivaushii-chto-pitaetsya-narisovat-polzovatel
Ну и самое клевое – эта нейронка может сделать из лошоди зебру, просто по референсным картинкам (То есть она может еще намного больше, на самом то деле) Соурс: https://youtu.be/9reHvktowLY
Читать полностью…
Есть еще вариант попроще – устройство на arduino для сортировки ммдемс по цвету 💖
https://youtu.be/H7HTQai7Wwg?t=43
(В начале видео показано, что нужно чтобы собрать себе такое)
Ещё одна нейросеть, но с практическим применением: бот в Telegram, снимающий макияж с фотографии. Потестить: @true_face_bot
Вообще алгоритм задумался для того, чтобы накладывать макияж, но оказалось, что сервис неплохо работает и в обратную сторону.
https://tjournal.ru/43594-true-face-telegram-bot-dnya-snyatiya-makiyazha-s-fotografii
VR и AR, конечно, перспективные технологии в плане интерфейсов взаимодействия с виртуальным миром, но обе эти технологии сильно хромают в плане интерфейсов взаимодействия с объектами, ведь удобнее, чем «мышь» или «тот пультик, которым нужно водить в воздухе», у нас пока ничего нет. Но мы, как вид, не взаимодействуем с объектами так. Мы используем руки, чтобы взять объект, и взгляд, чтобы выделить объект, смотря на него (капитан очевидность уровня 700+ 😎).
Чувак с реддита задался таким же вопросом – мол, «глазные трекеры являются очень мощным инструментом для исследования сенсомоторного контроля человека» и «движения глаз являются физическим измерением, которое обеспечивает прямое понимание ваших когнитивных процессов». Если сказать проще, взгляд на объект – это полноценный интерфейс управления. Для того чтобы понять, как это работает, проще всего применить «глазные трекеры» к играм, ведь быть топчиком в CS:GO на мыши конечно клево, но тот, кто первый начнет управлять прицелом взглядом, скорее всего выиграет, потому что сначала мы смотрим на что-то, а только потом наводим мышь. А так мы сможем стрелять сразу же.
В общем, вот видео, как он играет в Overwatch с этой технологией:
https://youtu.be/X_BalnBOcpk?t=42
Впрочем, в видео это пока работает только на считывание информации, не на управление, но уже понятно, куда это идет, особенно приятно видеть высокий FPS трекера.
Использованный трекер глаз:
https://pupil-labs.com/
🤓 Интересно, является ли это читерством?
Григорий Бакунов (@addmeto) хвастает своей версией Siri – Викой
https://www.youtube.com/watch?v=8LnaGuMrXUg
Интересеный концепт и я убежден, кстати, что такими помощники и должны быть – они же типа люди, human touch, все дела.
Интересно, на чем это все работает.
Один из самых любопытных скриншотов с конференции фейсбука (помимо AR фигни, которая пока недоступна и о ней завтра будут писать вообще все) – на картинке ниже показано, как за последние 5 лет нейронные сети научились узнавать объекты. В 2012 году нейронная сеть Alexnet могла понять, что на фото есть человек, а уже в 2017 мы можем не только расписать, что там есть сахарница, человек, собака, чашка, бокал с вином, но еще и определить позу человека (цветные палочки на картинке).
Читать полностью…
Полезный плагин на основе Autodraw для тех кто работает с приложением Sketch – вы рисуете карандашом иконку, выделяете нужные слои и на выходе получаете векторное изображение наиболее подходящее к исходному скетчу.
На гифке я рисовал котика 🙈
Ссылка:
https://github.com/sympli/autodraw-sketch
И к новостям авиастроения – с помощью двух баскетов KFC, двух инженеров и эффекта Магнуса (Это когда при обтекании вращающегося тела потоком газа образуется сила, воздействующая на тело перпендикулярно направлению потока) можно сделать вполне себе летающий самолет как на гифке выше.
Полное видео:
https://youtu.be/K6geOms33Dk
Никогда не думал, что в одном посте встретится KFC и эффект Магнуса 🤔
Лол, в майском GQ моя статья на главной. Хотел пошутить про то, что в GQ сумасшедшим выдают место под статьи – потом подумал, что не такой уж я и сумасшедший, просто чуть-чуть впечатлительный.
Читать полностью…
Instagram Stories surpassed Snapchat Global DAUs in just 8 months
Читать полностью…
А как вы считаете, нужен чат каналу?
😶Нет, не нужен – 241
👍👍👍👍👍👍👍 62%
🍅Кек – 78
👍👍 20%
💡О, было бы клево – 70
👍👍 18%
👥 389 people voted so far. Poll closed.
🎉 Загадка, в аудио ниже – поет компьютер или человек?
Читать полностью…
Хороший пост от Ycombinator на тему того, с какими сложностями столкнулся Wechat на пути к успеху, ну и вообще – какие уроки стоит извлечь от создателей Wechat – приложения с активной месячной аудиторией в 889 миллионов человек.
https://blog.ycombinator.com/lessons-from-wechat/
На картинке ниже, показан более-менее стандартный день активного пользователя. В день он взаимодействует с приложением 11(!) раз 😮
Ну хоть где-то помимо инстаграма и снепчата стори заходят нормально.
Все наверное помнят DaVinci? Это такой роботизированный хирург способный делать операции, которые я даже и не знаю, возможны ли сейчас вообще. Робохирург не автономный – им управляет человек, но операцию с помощью такого комплекса можно делать и удаленно.
Так вот, я наткнулся на очередное видео DaVinci которое я еще не видел и я опять в восторге. Жаль эти робохирурги все еще очень и очень дорогое удовольствие даже по меркам медицины и пока все еще не массовое явление.
Если у вас есть товарищ хирург, покажите ему видео ниже, спросите, что он думает насчет такого робота и поделитесь со мной, очень интересно.
А еще нейронка выше умеет, например, менять сезоны на фото (слева оригинальный сезон, справа – сгенерированный)
Читать полностью…
Спасибо @brodetsky за наводку 🎉
Любопытная нейронная сеть CycleGAN на основе нейронки pix2pix, но не требующая датасета с примерами того, что должно получаться на выходе в парах изображений "до и после" (я знаю, что это непонятно, но лучше не могу 😓).
То что меня впечатляет, так это то, что с помощью подобного алгоритма можно "оживить" картины до фотореализма.
То есть можно предположить, где именно находился Моне, и что он видел в момент рисования картины.
Ниже пару примеров, а ссылка на проект вот:
https://junyanz.github.io/CycleGAN/
А тут еще больше про Моне
https://taesung89.github.io/cyclegan/2017/03/25/monet-to-photo-summary.html
Ничего необычного, просто робот при помощи обученной нейросети сортирует речную гальку по геологическому возрасту, цвету, составу, текстурам, создавая таким образом портрет водоема
https://vimeo.com/167126696