2278
Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.
Интересное в мире интернета:
- Ben Evans - https://goo.gl/5nou2g
-- В Китае творится безумие с райдшерингом велосипедов - https://goo.gl/yUPJLn
-- Детекция фич на лице с использованием Deep Learning - https://goo.gl/HeT131 + open_cv - все не просто, а безумно просто
-- Интеграция Алексы и Кортаны - https://goo.gl/r5MEux
-- AR SDK от Гугла - https://goo.gl/TT9Epw
-- Новые изменения андроида под капотом - https://goo.gl/xDaTLU
#internet
Интересное в мире ML
- Помните криповых котов pix2pix? Это видео pix2pix
https://goo.gl/PCXPWA - похоже на кошмары
- Import AI - https://goo.gl/5hEzLX
-- Скоро будут финалисты второго AI-Grant - https://goo.gl/CEANHX - https://goo.gl/kwm2yA
-- Прикладные советы что делать если ваша модель не работает
--- Раз https://goo.gl/d3jRbp
--- Два https://goo.gl/XLRtuQ
-- Распознавание лиц в масках - https://goo.gl/eZYBJT
-- Еще раз про новый переводчик - аналог Гугл переводчика - https://goo.gl/fjDDp9
#data_science
Скорее всего это следствие юзабилити, но в принципе наличие таких постов прикольно
- https://goo.gl/t8EYQF
- Ну и аналог Гугл-переводчика - https://www.deepl.com/translator
#internet
#neural_nets
Подборка с канала на тему
"Математические и статистические иллюстрации"
==============================
Было:
1 Кост функции при градиентном спуске /channel/snakers4/48
2 Простая регрессия /channel/snakers4/61
3 Линии уровня кост функции при градиентном спуске /channel/snakers4/63
4 Классификация /channel/snakers4/96
5 Классификация /channel/snakers4/98
6 Лего - цена набора и число деталей /channel/snakers4/260
7 Перемножение матриц - иллюстрация /channel/snakers4/314
8 Статистика из мира танков /channel/snakers4/337
9 Распространение при заражении /channel/snakers4/439
10 Лучшие в мире визуализации по математике - https://www.youtube.com/channel/UCYO_jab_esuFRV4b17AJtAw/videos
11 Классные визуализации про производные - /channel/snakers4/861
12 Суть экспоненты - /channel/snakers4/866
13 2-minute papers канал на Ютубе - /channel/snakers4/931
14 Лайтовый, но крутой канал про машинное обучение - /channel/snakers4/957
15 Число пи, зета функция Римана, теория чисел и все в одном месте - /channel/snakers4/974
16 Простые математические визуализации /channel/snakers4/1000
17 Пифагоровы числа - /channel/snakers4/1006
18 Великолепная серия видео про комплексные числа и функции /channel/snakers4/1031
19 Начало серии видео про мат. основы DS - /channel/snakers4/1089
==============================
Новое
20 Площадь многоугольников - /channel/snakers4/1063
21 Визуализация того как работают решающие деревья - /channel/snakers4/1228
22 Mathologer про многомерные фигуры - /channel/snakers4/1234
23 Интуиции по работе с многомерными пространствами - /channel/snakers4/1299
24 Полностью онлайн книга по линейной алгебре - супер - /channel/snakers4/1335
25 Как учиться быстрее - /channel/snakers4/1351
==============================
#digest
На Каггле было соревнование про спутники. Я за ним не следил ибо решил, что оверкилл для моего уровня.
Топовые решения как правило с точки зрения читабельности кода и понятности (в том числе статей по итогу) - жесткое месиво - по понятными причинам, конечно.
Но тут какой-то чел разобрал топовые решения и якобы потратил в 4 раза меньше расчетов. Интересное чтение.
https://goo.gl/zAVrZN
#neural_nets
Еще одно видео про самообразование и сигмоиды в обучении
- https://www.youtube.com/watch?v=nxWfZP6eslM
Ubuntu MATE 17.10 Beta 1 Released
🔸 https://goo.gl/QTC3TX
Видео - пояснение того, как работают FCN (fully connected networks - предшественники юнета)
- https://goo.gl/Ep7tKB
Занятно =)
Насколько я понимаю, bleeding edge сейчас в машинном зрении - это определение объектов попиксельно в режиме реального времени.
#data_science
Если вы меняете свой профиль или изучаете что-то новое / сложное и сомневаетесь в своих силах - просто прочитайте эту статью
- http://blog.shotwell.ca/2017/08/29/advice-for-non-traditional-data-scientists/
Возможно вы найдете в ней знакомые вам паттерны)
Смеха ради прогнал Squeeze-net на fashion mnist - все равно занимает 5 минут времени - получается из коробки 90% точности при тренировке за пару минут (1 секунда на эпоху).
Если вы только начинаете учиться нейросетям и keras - может будет полезно в сочетании с cyclical learning rate.
- Датасет - https://goo.gl/RrqNm3
- http://resources.spark-in.me/squeeze_net_mnist.html
- resources.spark-in.me/squeeze_net_mnist.ipynb
Также если вам нужен пример Squeeze-net - тоже может пригодиться.
Занятно сравнить - лучшие бенчмарки авторов датасета занимают часы тренировки при слегка худшей точности (89%).
#data_science
Интересное в мире ML/DS:
-Import AI - https://goo.gl/ASUWB5
-- Обзор текущего состояния в RL - https://goo.gl/UnLNj4
-- Распознавание людей по походке - https://goo.gl/VV6tqS
-- Железо от Microsoft для машинного обучения в разработке - https://goo.gl/vQvSwa
-- Тут в презентации есть про современное железо в целом - https://goo.gl/ijCnwL
-- MNIST для моды - https://goo.gl/RrqNm3
-- Microsoft добились ошибки 5% в распознавании речи - https://goo.gl/6162uy
-- Для сравнения текущие скоры:
2017: Microsoft: 5.1%*
2017: IBM: 5.5%
2016: Microsoft: 5.9%
2016: Microsoft: 6.3%
2016: IBM: 6.9%
#data_science
Читая документацию Keras натолкнулся на такую вещь как Tensorboard.
Занятная презентация про его возможности.
- https://goo.gl/NxiTtG
- https://goo.gl/dTbrx9
Это софт от Гугла, который позволяет визуализировать и анализировать модель на tensforflow.
#data_science
Пара забавных ссылок из разряда пока "космические корабли бороздят"
- Полигон для беспилотных авто в Корее - https://goo.gl/ncoZQy
- Виртуальный мир Гугла для тренировки своих беспилотных авто - https://goo.gl/7Ez67E
На всякий случай еще раз порекоммендую книгу по линейной алгребре, которая отличается своей полной онлайновостью и интерактивностью.
Очень полезно, для тех, что совсем не в теме. Для тех, кто в теме - красивые картинки.
По уровню извращений - все заканчивается на собственных значениях.
http://immersivemath.com/ila/index.html
#data_science
Знакомый поделился классным гайдом по PyTorch, который объясняет в чем его фишка. Если вы не пользуетесь Keras и ищете на чем потренироваться - то вам как раз подойдет.
https://habrahabr.ru/post/334380/
#data_science
#neural_nets
Новый гайд по установке open-cv на Raspbian, кому актуально
- http://www.pyimagesearch.com/2017/09/04/raspbian-stretch-install-opencv-3-python-on-your-raspberry-pi/
#data_science
Отличная статья в блоге про текущие проблемы прикладных исследований в сфере AI
- https://goo.gl/bMcU9H
- http://timdettmers.com/2017/08/31/deep-learning-research-directions/
#data_science
И да, если вам нравится наш канал, вы можете:
1 Дать нам на чай тут - http://yasobe.ru/na/spark_in_me
2 Оценить канал тут - /channel/tchannelsbot?start=snakers4
3 Написать чего не хватает в чат - https://goo.gl/IS6Kzz
4 Написать в личку @snakers41
Для всех, кто недавно присоеденился к каналу, вот что у нас есть
- У нас есть сайт https://spark-in.me (авторы на сайт - welcome)
- Гайд как пользоваться нашим каналом - https://spark-in.me/post/how-to-use-channel
- У нас есть курируемый лист курсов в сфере ML тут http://goo.gl/5VGU5A и тут http://author.spark-in.me/course-list.html (там есть сортировка)
- Была еще email рассылка - но ее лень стало воскрешать
- На канале постоянно делаются подборки и помечаются тегом #digest
- На канале есть ряд тегов (см. статью выше)
Офигенная фишка для самообразования - плагин Youtube Playback Speed Control для Google Chrome позволяет смотреть видео на Youtube на тройной скорости.
Читать полностью…
Натолкнулся на тематический сборник статей по теме Semantic Segmentation using Fully Convolutional Networks over the years
- Раз https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmentation-over-the-years.html
- Два - https://github.com/mrgloom/awesome-semantic-segmentation
#neural_nets
Занятный метод обучения попиксельных моделей если нет денег на разметку
- Обучаем модель рамках
- Делаем прогнозы
- Обучаемся на прогнозах
- Повторяем
- https://goo.gl/ot1xnW
- https://arxiv.org/abs/1503.01640
#neural_nets
ЦР ВШЭ про экономику стран СНГ
- Отчет - https://goo.gl/v8WHmm
- Беларусь плавное восстановление экономики
-- https://goo.gl/nYw2Rp
- Беларусь - реальные располагаемые доходы перестали падать
-- https://goo.gl/GWCXDm
- Украина - замедление роста
-- https://goo.gl/hdPmeM
- Украина - займы МВФ
-- https://goo.gl/GPeHzk
#statistics
Еще прочитала недавно очень хороший и ободряющий пост про изучение нового (правда, про Data Science, но к языкам тоже подходит). Например, совет про то, что надо сфокусироваться на собственной траектории.
We naturally compare ourselves to others and tend to judge our own skills in terms of other people’s skills. The problem with this is that as our understanding improves, we tend to change our measures of comparison to more and more accomplished people. This is especially a problem when we compare our own general understanding of an area to that of specialists. For instance, you might have a good general understanding of neural networks, but if you compare yourself to someone who studies them full time, your understanding will obviously be pretty paltry. This kind of comparative thinking leads to always feeling insufficient, because no matter who you are or how much you know, there is always somebody who will know more.
A better approach is to focus on trajectory. Ask whether you are making progress rather than whether you are relatively successful. Think about what you knew yesterday and feel good if you learned a bit more today. Over time that approach will lead to much better understanding with much less suffering.
Очень, ОЧЕНЬ хороший совет. О чем-то подобном говорила и Барбара Оукли (сосредоточиться на процессе, а не на результате), но она не затрагивала проблему перфекционизма, который заставляет нас все время сравнивать себя с другими.
Я прохожу сейчас это с другой областью знаний, которой занимаюсь всего 8 месяцев от силы, но и с языками это очень хорошо помню.
Помню, когда устроилась на работу в один московский инвестбанк, и английский я на тот момент учила года 1.5, но уже владела им на неплохом уровне – мне пришлось писать аналитически-рекламные меморандумы на английском, и моя коллега, выпускница МГИМО, их редактировала. Я помню, что очень страдала от того, как она наслаждалась подчеркиванием моих ошибок, а следовало бы радоваться, что я после 1.5 лет изучения языка с нуля способна производить 50-60-страничные связные тексты, пусть и с ошибками и не всегда корректными речевыми сочетаниями.
И когда переехала в Испанию – чувствовала себя очень неадекватной на фоне своей семьи, где каждый способен с легкостью переключаться между 3-4-5 языками, и очень страдала по этому поводу, а следовало бы радоваться тому, как я быстро нагоняю людей, которые в мультиязычной среде существуют всю свою жизнь, и в итоге уже практически догнала. И каждый день надо было радоваться тому, что я все больше понимаю, все лучше вникаю, и какая я молодец.
Я просто хотела подчеркнуть, что вы, вот именно вы, каждый из вас – вы герой уже потому, что каждый день узнаете немного больше про тот язык, который решились изучать (или что-то другое). Каждая прочитанная книга, каждое выученное правило, каждое занятие с репетитором или в школе, каждая новая серия в оригинале – продвигают вас из состояния, где вы не понимали ничего, туда, где вы уже намного лучше понимаете, читаете, говорите, пишете.
И не надо сравнивать себя с носителями. Не надо сравнивать себя с людьми, которые целенаправленно учили языки в университете 5 лет, с людьми, которые жили за границей, которые зарабатывают себе этим на существование. Со специалистами из цитаты, в общем. Сравнивайте себя – с собой.
Вы уже так много добились, а впереди еще больше.
Для совсем жестких извращенцев - нашел статью про то, как использовать Cython для очень быстрой работы функций. По сути C, который вызывается кодом на питоне. Может пригодится.
- http://www.pyimagesearch.com/2017/08/28/fast-optimized-for-pixel-loops-with-opencv-and-python/
- http://www.perrygeo.com/parallelizing-numpy-array-loops-with-cython-and-mpi.html
#python
Интересное в мире Интернета:
- Ben Evans - https://goo.gl/MJSzrv
-- Очередной отчет Stack Overflow про географию разрабов - в этот раз про мобильную разработку - https://goo.gl/KW2NVY
-- Бэн Эванс про машины с автопилотом - https://goo.gl/RF714A
-- Uber выбрал CEO - https://goo.gl/8BHHdA
-- Подкаст про автономные автомобили - https://goo.gl/eWZsbJ
-- Apple отказывается от своих амбиций в построении автомобилей с автопилотом - https://goo.gl/aWViXH
-- Новые фичи Android 8 - какое-то все..лайтовое по сравнению с прошлыми крупными релизами - https://goo.gl/4Pvdxv
-- Забавные кейсы применения QR в Китае - https://goo.gl/ntzcx4
-- Как работает генерация голоса в Siri - https://goo.gl/c81vG8
-- Еще раз про полигоны Гугла для тестирования своих наработок в беспилотных авто - https://goo.gl/65q6EA
#internet
Попробовал bokeh. Сильная вещь
-http://bokeh.pydata.org/en/latest/docs/user_guide/quickstart.html
- http://bokeh.pydata.org/en/latest/
- http://nbviewer.jupyter.org/github/bokeh/bokeh-notebooks/blob/master/index.ipynb
По сути суть такова - если вы хотите красивые гибкие, высоко- и низкоуровневые визуализации в питоне и не хотите знать ничего про JS - вам туда.
Карты тоже можно строить из коробки. С ноутбуками тоже из коробки работает.
#data_science
По форумам и интернету блуждает кусочек кода, чтобы тренировать модели с использованием keras+tf сразу на нескольких GPU.
Реально работает и помогает, если боттлнек - в памяти карты и у вас большие картинки.
Собираю полезные ссылки в одном месте:
- Самое полное обсуждение на эту тему - https://goo.gl/QJbGyz
- Работающий сниппет кода https://goo.gl/qnq2Zh (у меня запускается и дает почти линейный прирост для keras 2+ и tf 1.2+)
- "Курс" effective tensorflow который адекватно помогает понять с какого конца браться за tf - https://goo.gl/UEX9iC
- Статья простым языком на эту тему -https://goo.gl/NPVHHb (код из нее устарел)
-
Прочитав это все, можно понять на уровне смысла, как работает такая простое распределение расчетов не будучи экспертом по tf.
#data_science
#deep_learning
Добрался до 7 лекции в первом цикле fast.ai. Вот факты, которые показались мне нетривиальными / достойными упоминания:
- Для задач классификации изображений может быть полезно использовать global average pooling вместо flatter слоя (этот совет явно был дан до использования U-NET)
- 50%+ соревнований содержат leakage и существенная часть участников пытается ими пользоваться (что не создает реально работающие модели)
- По разным оценкам в бизнесе процент leakage как правило гораздо выше, т.к. данные готовятся менее тщательно
- Сети Inception net и Resnet имеют меньше параметров и точнее, чем VGG-16 сети, но они менее хорошо изучены в плане использования для transfer learning
- Пара подходов для участия в соревнованиях:
— Очевидное - использование фич из заранее натренированных моделей
— Разметка части данных для выделения зоны интереса
— Использование метаданных как входа для модели
— Нетривиальный подход - использовать метаданные как выход для модели
- Более сложные подходы - использование attention моделей для классификации картинок
#data_science