28277
Канал, который делает пынь. Бложек: https://vas3k.blog Написать мне: @to_vas3k_bot (рекламу не продаю)
И вот эти самые поиски линий называются «свёртками», а сама такая архитектура является важнейшей в Deep Learning’е и называется Свёрточные Нейросети или Convolutional Neural Networks.
В моём описании опущены некоторые детали типа понижения размерности на каждом шаге, чтобы избавиться от шумов и поворотов, и последнего шага — где собственно на наборе таких сверток и нейросеть начинает понимать котик это или хот-дог.
Иначе бы тут получилась целая глава. Кому интересно поподробнее и наглядно, как обычно прикладываю рекомендуемое видео от Дмитрия Коробченко из NVIDIA. Ссылка на конкретный таймстамп, если не пробросится — примерно с 17:48: https://youtu.be/mk6CCruAxHg?t=1069
Меня всегда смущал баззворд «Deep Learning». Чем это отличается от нейросетей, которые известны чуть ли не с середины прошлого века? Оказалось, что практически ничем.
Просто пару лет назад нашлись отчаянные исследователи, которые подумали накупить побольше игровых видеокарт и (пройдя фаллаут на максималках) сделать такие огромные нейросети, о которых раньше даже по пьяни подумать боялись.
Бум производительности видеокарт был лишь одной из причин. С каждой новой связью в сети, её сложность возрастала на порядки. На обучение классическими методами ушла бы целая вечность. Ребятам пришлось постараться и подвезти новых математических методов под это дело, но главным прорывом стало понимание того, что оказывается можно обучать сеть не только на входных данных, но и на результате работы самих этих сетей.
Но суть от этого не изменилась. Те же нейроны (по сути маленькие функции), те же связи между ними с весами (которые и надо обучать), подаём данные на вход, суммируем всё красиво внутри, смотрим на выход.
Нейросети вообще стали эпик лайфхаком для тех, кто не хочет погружаться в машинлернинг и помнить где какой метод регрессии подойдет. Сделал сеть, скормил данные и желаемые результаты, она как-то там внутри на них обучилась, а ты сиди тока жифорсы ей подноси.
Конечно это займет чуть больше времени, но это же роботы вкалывают, их не жалко. А результат так же можно сложить хоть циферками в текстовый файлик и загрузить даже в телефон. Теперь даже клавиатура на айфоне использует нейросеть, чтобы подсказывать слова.
С приходом диплернинга суть вообще не изменилась. Поменялось лишь отношение — теперь мы можем обучаться на том, чему обучилась предыдущая сеть или её слой. Именно это и означает слово «глубокие» в названии.
Вот об этом и поговорим дальше. А если вы ничего не знаете про нейросети, но заинтересовались — у меня для вас отличное видео от Вячеслава Ковалевского и Глеба Бочкарева, где всё это объясняется на простых жизненных примерах и без матана. Побольше бы таких: https://www.youtube.com/watch?v=AZG0j0pNY-4
Ну и пошарьте мой канальчик у себя, хочу больше подписчиков!
Не майню, но последние пару дней играюсь в нейросеточки и примерно так же ору про радеон вместо видеокарты в новых макбуках.
На предыдущий пост неожиданно много народу пришло, приятно. А что если устроить тут неделю впечатлений от диплёрнинга в чате? Поделюсь своими дилетантскими впечатлениями и с чего начинать. Ставь класс за сходимость градиентов.
Тут новый выпуск рассылки. Роскомнадзор, Яндекс.Дзен, Евротрип и инстаграм Бритни Спирс.
Снова думал мало будет, а некоторые темы пришлось даже выкидывать. Как смочь в рассылку каждую неделю, а не раз в две? http://mailchi.mp/0472984678cf/8
Простите, но чот ржу (со звуком)
https://coub.com/view/u3vws
И я тот еще AppleScript'ер, но чот не вижу разницы между тем, что не работало и что работает (if был ни при чем). Магия Apple! Эмейзинг!
Читать полностью…
Кстати картинка взята из вышедшего на днях ежегодного отчета Kleiner Perkins про тренды интернете. Огромная 355-страничная презентация рассказывает про вещи, которым вы будете удивляться в твиторе через год, когда они дойдут до сюда.
Потому вот ссылка, но не читайте её, а то весь год будет скучно, очевидно и не о чем понегодовать потом http://www.kpcb.com/internet-trends
Всё думал поделиться или нет с вами годным лонгридом из закрытого источника (спасибо NoPayWall). Решил поделиться, хоть он и о политике. Снова про версус-батл Усманова и Навального, но мне там показалось примечательным другое.
Даже в таких срачах я стараюсь оценивать доводы и мотивацию обоих сторон. И вот версия автора колонки на мой взгляд очень примечательна. Особенно про «экономику пацанских понятий» и «психологию стаи, где вожаки опекают слабых». Сам наблюдаю такое в некоторых областях своей жизни. В общем меня зацепило, может зацепит и вас http://telegra.ph/Republic---Bremya-silnyh-Pochemu-Alisher-Usmanov-perestal-ponimat-Rossiyu-05-29
В ответ на рассылку поступило много запросов выложить больше постапокалиптичных фоток с Канонерки. Готовлю постик.
А кто пропустил последний выпуск рассылки вастрика, вот вам линк: http://mailchi.mp/9ec70e47ec57/30
Ответочка всем негодующим “почему в метро на английском названия не переводят”. Вот попробуйте разберитесь в этом аду
Читать полностью…
Советские хрущобы, пристроенные к немецким домам, готические кирхи с надписями «Российская Православная Церковь», табличка «улица Пионерская» поверх затёртого «Кирхенштрассе».
Долгожданный пост про Кёнигсберг-Калининград, где 70 лет назад переписали историю и теперь это абсолютно сюрреалистичное место.
Фото и видео с дрона тоже в наличии: http://vas3k.ru/events/konigsberg/
Судя по реакции в твиторе, многие не знали. Как и я до этого времени. В Safari есть маленькая галочка, заметно улучшающая самочувствие и делающая волосы шелковистыми. В Chrome, подсказали, тоже такая есть (можно найти поиском «push» в настройках).
Читать полностью…
Теперь про ошибки и косяки. Как человек вообще не связанный с видеоблогерами, конечно я не знал ни одного инсайда. Да и не о разоблачении инсайдов был пост.
Но даже при поиске взаимосвязей встречались человеческие ошибки, как например связь между двумя агентствами, которые основал один человек — на первый взгляд кажется очевидной. Но только потом мне на email написали читатели, которые рассказали, что хоть человек один, но основал второе он после ухода из первого. И тут скорее не связь, а конкуренция. Такие косяки я сразу изменял на схеме, но репостили по прежнему старые версии.
Самый громкий косяк вышел с Поперечным и стрелочкой к ВСП групп. Эта связь действительно была ошибочна сделана по каким-то левым совместным фоткам в пабликах. На новой схеме она уже исправлена, но узнал об этом только из статьи на TJ.
По поводу остальных в комментах и на почту мне написало много народу с подтверждениями. Всем благодарочка, но расширять схему дальше не буду. Этим уже начали заниматься другие блогеры, у меня как-то нет интереса дальше копаться в чужом белье. Я лишь показал как можно, в этом и был весь интерес.
Федеральная программа «я вообще не понимаю что происходит» началась на the-flow.ru, это как вилладж только про рэп, ггг. Даже интересно как они так быстро нашли пост, в твиторе меня кто-то из редакции читает что-ли?
Зная аудиторию таких популярных изданий, было ожидаемо, что нарисованные на скорую руку картиночки сразу окрестили «разоблачением», хотя я несколько абзацев потратил на объяснение, что это лишь пример поиска информации к старому посту в блоге.
Стрелочки все тоже прочитали как «доказательства», хотя обозначали они совсем не то. Теория шести рукопожатий. Весело было читать обвинения в том, что это она, когда это и есть она. Так даже написано, ну! Я вот вообще не вижу никакого «зашквара» в ТНТ, СТС или Камеди Продакшн. Если кто-то видит — это личные выводы каждого.
«Ничего нового» — а как может быть новой информация, которая публично опубликована в десятках тех же интервью или гуглится по фамилиям участников.
Но были и годные мемасы, поорал, спасибо.
Вчерашний выпуск рассылки для пропустивших. Боты против хрущёвок, эффект Барнума и диско-туалет в #домдурачок http://mailchi.mp/20ed223a78cd/639kpd66f5
Читать полностью…
Доброго понедельника. Продолжим?
Вот, предположим, вам захотелось как в сериале Silicon Valley сделать приложение, определяющее хот-дог это или не хот-дог. Или банально искать котиков на картинках. Как?
Первое, что приходит в голову — взять 1000 фотографий котиков и попытаться как-то описать его глупой машине. Вот глазки, вот ушки, вот урчальник — это котик. Только назовём это как-нибудь типа «handcrafting признаков». Чтобы все знали, что мы тут не глупостями занимаемся, а датасаенсом.
И на самом деле да, так раньше и делали.
Одна проблема: качество откровенно позорное. Котики уши прижал, голову наклонил и всё — уже не котик. Как в том же Silicon Valley, когда выяснилось, что приложение определяет пенисы лучше, чем хот-доги.
Нужен другой подход. Наши handcrafted-признаки мы всё равно описывали на понятном машине языке. Мол, вот тут две линии треугольничком — наверное ухо. Два кружочка — наверное глаза. То есть любые признаки были наборами контрастных границ на изображении.
Тогда зачем огород городить, берем эти самые границы. Делим всё изображение на блоки, например, 8x8 пикселей и в каждом из них находим какая линия наиболее контрастна. Какие захотим — горизонтальная [-], вертикальная [|], диагональная [/], да хоть крестовая [x].
Получаем того же самого котика, разложенного на отрезки, на которых теперь можно и городить обучение. Берем эти линии для тысячи котиков и обучаем сеть искать среди них характерные сочетания (треугольные ушки, например). А между этими сочетаниями искать еще сочетания. Так еще и еще раз.
Но как определить «правильные» сочетания? Да никак, тут-то вкалывают роботы. Нейросеть сама делает миллионы предположений, ошибается, корректируется, а на выходе получает то, что надо — характерные признаки котиков. Только намного более точные.
Если визуализировать каждый такой «слой» получится что-то типа этой картинки. На каждом этапе признаки становятся нагляднее и характернее:
Давайте про нейросети короче. Рассказ будет с целью скорее заинтересовать, надеюсь, никто не надеется научиться чему-то через телеграм? Так что гуманитарии можете не пугаться — никакого матана, только кулстори.
У меня неистово бомбит от того, как объясняют диплернинг в популярных источниках. Такое ощущение, что они там все сговорились говорить об этом настолько сложно, чтобы никто нихрена не понял и зарплаты датасаентистов так и оставались топовыми в США.
Нет, настоящий датасаенс действительно заумная и сложная наука, в которую могут тыщ пять выпускников Стенфорда и МФТИ в мире. Но тут как и в любой области: перебрать двигатель современного автомобиля могут единичные механики, но это не отменяет, что ездить на машине может почти каждый.
На дворе ТУ-КЕЙ-17-й, щас не нужно знать как с помощью ложки и зажигалки сделать градиентный бустинг, чтобы распознавать котиков на фотографии. Появилась гора готовых моделей на гитхабе, разработанных этими самыми датасаентистами, их можно просто взять и решать свои задачи.
Даже не надо бежать на авито за подержанным GeForce 1080 Ti, видеокарта вашего макбука научится котикам за ночь.
Об этих вещах будем говорить.
Прикрепляю в чат лик Андрея Себранта, заряженный на нейросети, машинлёрнинг и быструю сходимость градиентов.
Если есть увлекающиеся Deep Learning'ами и всяким нейросетями в чате, заходите в личку: /channel/vas3k
Есть одна идейка как сделать весело, нужны подходы.
Кому хочется «похакатонить» на эти темы, тоже приходите.
Чуть не пропустил сегодняшнее важное событие. После 10 лет переговоров сегодня в Евросоюзе наконец-то отменили мобильный роуминг.
Всегда было дико наблюдать, как при полном отсутствии границ и мизерных государствах операторы продолжали брать какие-то нереальные деньги за роуминг. Причем даже если это был один и тот же оператор в разных странах. Дичь.
Теперь же жителям ЕС и понаезжающим в евротрипы, будет намного удобнее. За небольшим исключением.
В законе была статья, позволяющая некоторым операторам «компенсировать свои издержки». Ну и короче Норвегия, Словакия, Финляндия, Эстония и (та-да) Литва этой лазейкой воспользовались. Для симок из этих стран поборы за роуминг остаются, кек.
С одной стороны их можно понять. Это страны с самыми дешевыми тарифами на связь, все боятся «sim-туризма» и всего такого. С другой — ну как-то странно, эта проблема могла быть решена более красиво. Десять лет обсуждать и не придумать решения?
В любом случае это большое и приятное событие, которое точно затронет всех. Поздравляю!
Объявлена неделя WWDC, количество постов про Apple увеличилось вдвое.
Помните вчера показали Apple HomePod, умную колонку для дома а-ля Google Home и Amazon Echo?
Так вот вам другое видео. 2006 год, Стив Джобс анонсирует домашнюю колонку «iPod Hi-Fi». И, самое забавное, даже по той же самой цене — $349.
Какая душевная презентация. И никаких беременных азиаток. Прошло между прочим 11 лет!
https://www.youtube.com/watch?v=p6FKKpMH5eA
Внезапно (даже для себя) зачинил Valyrics для Apple Music. WWDC, наверное, вдохновила и ваши многочисленные просьбы. Короче качайте 1.4: http://valyrics.vas3k.ru
Читать полностью…
Смартфоны не убивают десктоп, они убивают ваше оставшееся свободное время
Читать полностью…
Обещанные фотки с Канонерского острова. Постапокалипсис в Санкт-Петербурге http://vas3k.ru/events/kanonerka/
Кстати прикрутил фичу, чтобы картинки зумились прям на странице. Норм? (хайрезы всё также доступны по ПКМ → Открыть ссылку в новой вкладке)
Простите, но разглядывая предыдущую картинку просто не могу перестать орать
Читать полностью…
Ребята на московской сходке спрашивали когда будут новые батлы. А чот и правда, пора бы. Специально по мотивам прошлой недели, которую я провел в двух столицах
http://infield.vas3k.ru/battle/moscow_vs_petersburg/
Телеканал МУЗ-ТВ был создан под выборы президента 1996 года. Создатели канала Борис Зосимов и Сергей Лисовский занимались кампанией Ельцина "Голосуй или проиграешь" и сделали себе отличную площадку для пиара.
https://www.youtube.com/watch?v=TgrmUmvdzYg
Еще раз — первый музыкальный канал в России был открыт для того, чтобы рекламировать Ельцина среди молодежи.
Это моя любимая байка, я очень люблю ее всем рассказывать и смотреть на реакцию людей. "Ваше детство придумали для выборов". Пиздец.
Давайте перенесемся в наше время.
У меня такое ощущение, что политтехнологии не изменились. Раз выборы будут в следующем году, значит совсем скоро в России откроется аналог МУЗ-ТВ — суперпопулярный проект для молодежи.
Что такое МУЗ-ТВ в наше время? — Это видеоблоггеры с ютуба.
Именно ютуб надо покорить, чтобы перед выборами пиарить в нем кого надо. Значит совсем скоро на ютубе должно появиться крутейшее молодежное шоу, сделанное профессионалами, собирающее миллион подписчиков за неделю, полное мемасов...
wait
OH SHI—
Много просили стату посещений за первый день, положил выше (или ниже, хз куда телеграм положит). Ну и собрал еще интересных ссылочек в одном месте.
+ Вилладж тоже был одним из первых, но включил максимальную желтизну в заголовке и описании: http://www.the-village.ru/village/city/situation/265790-youtube
+ Лента.ру написала своё расследование. Тоже годно, но некоторые в нашем чате высказались, что как-то немного ангажировано. Кстати переходов с Ленты было раз в 10 меньше, чем с TJ, хотя казалось бы https://lenta.ru/articles/2017/05/12/business_blog/
+ RapNews первыми из видеоблогеров сняли ролик, правда в основном о той части с рэперами. Правильно сказали, эта часть была притянута «чисто показать мастерство»: https://youtu.be/Pr6MLndYnp8?t=69
+Милая незнакомая мне блогерша ElnaOna дополнила еще связей (каким мимишным голосом она произносит «вастрик.ру», сохраню и нарежу себе на джинглы) https://youtu.be/DKOnhAUQRgg?t=67
+ Если даже Дружко отлично пошутил по поводу схемы в шоу, догадайтесь, кто высказался с самой язвительной критикой? Внезапно — ФБК. Мол Поперечного нашего обидели, а он за Навального голосовать будет и вообще нормальный. Дык никто и не спорил. Ошибочная связь с Даней была как раз в сторону от «Спасибо, Евы», а теперь осталась только туда. Ведь было же. Короче до этого я часто вдохновлялся расследованиями и хвалил ФБК, а после таких выпадов чето хммм. Так Победим! https://youtu.be/5jCjRBl3y4w?t=3808
И уже вечером жахнул tjournal. Как говорится «я знал, что рано или поздно мы попадём и на TJ». Но они приятно удивили, первыми проведя фактчекинг по поводу всего нарисованного. Уже было понятно, что от хайпа и клейма «разоблачающее расследование» никуда не деться, но читать, что «tjournal взял интервью у Усачева по поводу поста на вастрик.ру» — было прям ААА ШТО.
https://tjournal.ru/44160-prichinno-sledstvennie-videoblogi
Но описали всё годно, без лишних эмоций, сдобрив собственными инсайдами и знаниями о происходящем. Увожение, такой и должна быть журналистика. Даже заменили одну из картинок по моей просьбе на обновленную, так как в первой версии был неприятный косяк. И да, ошибок они нашли тоже достаточно, но про это чуть дальше.
А за ссылки на меня и челленжи отдельное спасибо :)
Топ-2 за неделю, не нассано!
— Смотрите, я сделал хайп
— Ты же обосрался
— Нет, это хайп!
Пост про видеоблогеров описал круг хайпа по интернету и дошел до самого Дружко Шоу. Сценаристы Дружко смешно обыграли инфоповод, ладно, зачет.
Серьезно, я как-то совсем не ожидал такой реакции на пост. Если бы я мог заранее представить такое, потратил бы на схему чуть больше пары вечеров. А то как-то совсем неловко вышло.
https://www.youtube.com/watch?v=WrTfyHbpG7g
Вот короче хер знает как описать чувства, когда тебя за день репостит the-flow, the-village, kanobu, hip-hop.ru и еще куча пабликов ВК. А tjournal приходит к Усачеву и Эльфу Торговцу брать комментарий "что вы думаете по поводу поста на вастрикру". ААААА, ШТО.
Еще пара изданий уже отписалась в личку, что завтра хочет новость.
Но в двух словах: это напряженно. Вам это не надо, поцаны. Хайпить на хайпе - хуево, даже если вы в каждом втором предложении писали "ну вот же, источники".
Посмотрим что будет завтра.
http://vas3k.ru/365/2017-05-10/