11059
Канал Виктора Кантора про Data Science, образование и карьеру в сфере анализа данных. По вопросам сотрудничества: @mariekap РКН: 5140322136
Про рынок Big Data. Часть 2
💬 В прошлый раз мы закончили на монетизации ML-сервисов на основе данных, так что теперь немного о грустном. Если не брать амбициозные отчеты с оценками вроде «Около 1% от этой отрасли составляют вот такие алгоритмы», а брать конкретные примеры контрактов и заказов, которые делаются, и сформировать представление о размере рынка из этого, то мы выясним, что рынок скорингов, если туда не относить рекламу (а скоринг на склонность к какому-то действию клиента тоже можно назвать «скорингом», хотя на самом деле это таргетирование рекламы), находится в пределах ₽ 10 миллиардов. Рынок геоналитики тоже явно в этих же диапазонах, можно взять даже значительно меньшие размеры.
💬 Если речь о рекламном рынке, то уже несколько лет назад диджитал реклама составляла больше ₽ 240 миллиардов в год. К тому же, современная диджитал реклама в принципе не может существовать без таргетирования. Сейчас появляется все больше применений: генеративная реклама, генерация текстов, баннеров, оптимизация рекламы с помощью AI (например, когда речь идет об умном управлении ставками в аукционе) и многие другие вещи.
💬 Таким образом, мы приходим к очень интересному выводу. На самом деле человечество пока что придумало не так много способов заработать на машинлернинге, помимо рекламы. Я бы даже сказал, что доля всего, кроме рекламы, пренебрежительно мала. В будущем сравнимой вещью могут стать контентные сервисы, потому что они без рекомендаций не живут, и здесь применение машинлернинга действительно обоснованно. Оно в целом уместно везде, где нужно отфильтровать или проанализировать такое количество объектов, справиться с которым человеку за разумное время просто не под силу. Но в случае с контентными сервисами нужно думать, откуда собственно брать контент, как дифференцироваться и отсюда вытекает, что ML это небольшая добавка, а бизнес все равно в первую очередь медийный. Для примера, тот миллиард долларов, который в 2016 году по заявлениям Netflix зарабатывался ими в год с помощью рекомендательных систем, составлял всего 4% выручки (если мне не изменяет память, не делал сейчас фактчек)
💬 В итоге, наиболее денежное направление для построения бизнеса практически чисто на ML сейчас действительно реклама. Будут ли еще какие-то направления? Скорее всего, большим рынком (но состоящим по большей части из внутренних эффектов), будет управление ценами на основе данных. Будут ли компании готовы за такое решение платить сколько-нибудь большие деньги? Хороший вопрос, но он пока без ответа. Получить же многомиллиардную выручку на внешнем рынке пока можно только через рекламу.
💬 Что же делать в такой ситуации? На мой взгляд, поступать в этом случае нужно очень просто: переориентировать применение машинлернинга на внутреннее применение в вашей большой компании. Если же вы маленький стартап, то можно посмотреть на большие компании, выяснить, где у них больше всего денег можно сэкономить, и в эту сторону копать.
На Дубай обрушились сильные дожди, власти призвали жителей оставаться дома.
Некоторые трассы перекрыли, в аэропорту ряд рейсов были перенаправлены или отложены, затопило одну из станций метро. Также а ОАЭ отменили все футбольные матчи, запланированные на вторник.
🪶 Другие видео этого дня — в Telegram РБК
Нужна ваша помощь💪🏻
Как вы помните, в феврале мы с партнером и командой проводили кастдев для определения основных образовательных потребностей аудитории канала, чтобы впоследствии понять, будет ли актуален запуск курсов.
Так вот, мы проанализировали полученную информацию и всё-таки решили запустить школу по машинному обучению.
Я хочу, чтобы вы приняли непосредственное участие в создании нашей школы, поэтому⬇️
Я решил провести небольшой интерактив:
В комментариях под этим постом пишите идеи для названия ML-школы💡
Возможно, именно ваше название в итоге станет официальным :)
Жду от вас интересных и креативных идей👇🏻👇🏻👇🏻
Большие деньги в преподавании
Те, кто говорят, что в преподавании нельзя заработать большие деньги - получите, распишитесь 💪
Принимал гос экзамен у студентов зимой, и награда нашла героя 🏆
Но, кроме шуток, я принял всего у двух студентов и только ту часть экзамена, что по машинному обучению, так что считаю все справедливо :)
#уже_не_новость
Бывший генсек ООН Пан Ги Мун, певица и активистка Энни Леннокс, ученый Джеффри Хинтон, миллиардер Ричард Брэнсон и внук физика-ядерщика Роберта Оппенгеймера подписали письмо против бесконтрольного развития ИИ-технологий.
📰 Кризис ИИ в документе сравнивается с климатическим кризисом, опасностью применения ядерного оружия и глобальной пандемией.
💬 Подобная истерия вокруг ИИ и опасений, что произойдет что-то невероятное, мне всегда казалась очень надуманной, пока я не заметил, что к ней присоединился Джеффри Хинтон. Ему, конечно, много лет, можно списать такое поведение на разные обстоятельства. Однако, все эти годы Хинтон демонстрирует невероятную ясность рассудка и продолжает быть ключевым человеком в deep learning (еще с тех пор, когда он так даже не назывался). Это и наводит на мысль, что ситуация действительно тревожная. В ближайшем будущем, вероятно, очень много сил будет брошено на AI-alignment, контроль искусственного интеллекта и другие меры, чтобы уберечь человечество от жестких негативных последствий развития ИИ.
💬 Как мне кажется, бунт искусственного интеллекта будет выглядеть не так, как это показано в фильмах, а скорее так, как мы это видим на практике. То есть, с одной стороны, это будет выкручивание параметров алгоритмов: например, ценообразования на какие-то вещи или персональных рекомендаций таким образом, что мы не сочтем это этичным. Но это будет оптимально с точки зрения оптимизируемого функционала для ИИ. И второе проявление "бунта" ИИ — откровенное введение клиента в заблуждение. Как это, например, происходит сейчас в первых экспериментах с использованием LLM'ок вместо сотрудников техподдержки (если кратко: врут беспощадно).
🎲 Сегодня очередная пятница, а значит — время квиза. Картинка известная, просьба к тем, кто её уже видел целиком, подождать с ответом: интересно, угадает ли кто-то «по-честному» :) Свои варианты пишите в комментариях
Читать полностью…
#уже_не_новость
Уже месяц все обсуждают, что компания Open AI ищет примерно семь триллионов долларов ($ 7 000 000 000 000) инвестиций на проект по производству чипов для искусственного интеллекта.
📰 Напомню контекст: глава компании Сэм Альтман считает подобный проект чрезвычайно амбициозной технологической инициативой и уже встречался с потенциальными инвесторами. Об этом и о колоссальном объеме требуемых инвестиций, сообщил в феврале The Wall Street Journal.
💬 Во всех подобных инициативах мне, конечно, безумно нравятся объемы рынка AI в Штатах и то, что можно потратить много миллионов долларов на одну итерацию обучения какой-нибудь нейросети, а после шокировать весь мир результатом.
💬 Конечно, в России мы имеем дело с более короткими горизонтами планирования и с большей турбулентностью. Поэтому сжигать деньги в топке без четкого понимания, как же мы на этом заработаем, у нас гораздо меньше возможностей.
💬 Однако двигаться в правильном направлении мы тоже можем, просто чуть более коммерчески обоснованно. Например, когда в 2020 году MTS AI инвестировал в компанию Kneron, занимающуюся разработкой чипов для AI (вот кстати более поздний рассказ сотрудника MTS AI про свой опыт знакомства с чипами), многие не понимали, что это за причуда со стороны МТС. На деле же это было вполне взвешенной долгосрочной ставкой на чипы, но и с точки зрения коммерческой целесообразности это оказалось неплохой венчурной сделкой. Так что не стоит думать, что какими-то темами (чипами или еще чем-то прорывным) можно заниматься только имея 7 триллионов долларов от инвесторов. Но с ними бесспорно веселей :)
А вы что думаете насчет чипов и триллионных инвестиций?
🎲В пятницу мысли уже не о рабочих созвонах и встречах, поэтому предлагаю немного развлечься.
Раз в неделю по пятницам я буду публиковать для вас вопрос по ML. Ваша задача - найти правильный ответ и написать в комментариях.
Поехали? Первый вопрос на картинке выше. А за вопрос спасибо его автору, Chief Data Scientist'у Big Data МТС Никите Зелинскому :)
Сегодня в рубрике #уже_не_новость я прокомментирую слова главы Банка Англии Эндрю Бейли о том, стоит ли переживать о сокращении рабочих мест из-за развития ИИ.
📰 Глава Банка Англии Эндрю Бейли опроверг опасения, что ИИ приведет к массовой безработице. «Экономики адаптируются, рабочие места адаптируются, и мы учимся с этим работать. Я думаю, от людей с машинами будет лучший результат, чем от машин в одиночку», — сказал в интервью BBC Бейли, работавший историком экономики до назначения на свой нынешний пост.
💬 Наконец-то становится все больше сторонников той же точки зрения, которой придерживаюсь и я: на одного робота будет приходиться в среднем где-нибудь 1,1-1,5 поддерживающих его работу живых сотрудника, и так мы будем жить достаточно долго. Сокращения сотрудников, конечно же, возможны. И даже не просто возможны, а точно будут. Но это все приведет лишь к тому, что люди из одних специальностей перераспределятся в другие. Те, кто будут не готовы переучиться, будут, конечно, страдать. К слову, недавно были новости о том, что Google планирует новые сокращения разработчиков из-за развития ИИ.
💬 Но так или иначе мы действительно не столкнемся с массовой безработицей. Просто те, кто раньше, например, писал код сам, теперь должен будет уметь писать код с помощью AI. И таких людей все равно будут продолжать нанимать.
Карьера вместо карьера. Часть 3: преподавание и начало работы в компаниях.
И вот я в магистратуре. И мне есть, что защищать по чистой математике, но уже очень хочется делать что-то прикладное, полезное уже сейчас, а не через 10, 20 или 50 лет. Поэтому я буквально за семестр до защиты магистерского диплома, имея фактически готовую работу по случайным дистанционным графам, полностью переключился на ML.
Как так вообще произошло? Еще на третьем курсе у нас был предмет «Инновационный практикум». Его суть — запустить свой стартап без отрыва от учёбы. Звучит, конечно, очень амбициозно. По правде говоря, большинство проектов не выживали после курса, потому что в серьёзный проект нужно действительно серьёзно вкладываться. Хотя были и успешные примеры, которые потом существовали долгое время, поднимали инвестиции и продолжали развиваться.
В случае моего проекта всё было не только полезным опытом, но и относительно удачным: мы просуществовали еще несколько лет после сдачи курса. Правда, моя роль больше сводилась не к созданию моделей, а к поднятию инвестиций — оказалось, что я очень неплохо выступал.
Параллельно я пытался решать алгоритмические задачи, которые были в проекте. И когда спустя два года мучений (как раз в начале магистратуры) я наконец начал прогрессировать, то окончательно решил углубляться в область ML.
Решающим поворотом стало появление ML как предмета в ВУЗе. Я настолько успешно изучил его и сдал, что меня позвали вести семинары в следующем семестре. Я стал преподавать общекурсовой предмет на Физтехе и параллельно вел спецкурс по машинному обучению для всех желающих. Сначала спецкурс был ассистированием нашему заведующему кафедрой, но постепенно начал вести целиком я, и курс стал всем известным DMIA (Data Mining in Action). DMIA заслуживает отдельных постов, и они точно будут.
Все это привело к тому, что ML в моей жизни стало очень много, и мне захотелось заниматься им профессионально. В какой-то момент я начал заниматься ML на работе в компании ABBYY, потом пришёл в Яндекс, где с этим было связано ещё большее количество задач в Yandex Data Factory — подразделении, строившем модели на заказ для других компаний. Но о работе в крупных компаниях — в следующий раз :)
#мойпуть
Kantor.AI
🌷 Дорогие дамы, поздравляю вас с 8 Марта — праздником весны и любви!
Этот день полностью ваш, как, впрочем, и остальные 364 дня в году. Но сегодня особенно хочется отметить, что вы наполняете нашу жизнь радостью и красотой. Благодаря женщинам атмосфера в IT становится доброжелательнее, а общение — приятнее. Благодаря вам появляется больше красивых и нетривиальных решений в бизнесе. Ну и в конце концов, дамы всегда вдохновляют нас, мужчин, на новые достижения.
Специалистов-женщин становится всё больше не только в IT-компаниях, и, я думаю, в будущем это число будет расти. Мне повезло работать в компании, в которой огромное количество женщин, в том числе топ-менеджеров.
Так что если вы чего-то боялись, милые дамы, то не стоит. Вам везде рады! Пусть ни одно препятствие не встанет на вашем пути, будете вы двигаться к карьерным свершениям или к другим личным победам.
С праздником, дорогие, и пусть каждый день в году будет для вас как 8 Марта!
⌚ Как я успеваю руководить, работать и ещё преподавать? Вопрос подписчика
Возможно когда-то вы уже замечали одно совпадение:
24х7=168
8х21=168
24 на 7 — понятная аналогия. 8 на 21 — это восьмичасовой рабочий день и 21 рабочий день в месяц.
Выходит, что за неделю мы получаем то же количество часов, что и за рабочий месяц. Конечно, в реальности сложно быть продуктивным 24 на 7 — в день надо поспать хотя бы 6 часов. Но даже если отнять эти 6 часов из 24 — в день остаётся 18 часов на свершение подвигов (и это довольно много).
Остаётся вопрос — как же воспользоваться этим временем? Как что-то создавать и реализовывать, много думать и при этом не перегореть?
🔋 Мы знаем, что для мыслительного процесса есть ограниченное количество часов в неделю: мозг не может работать на 100% постоянно. Для его разгрузки мы заполняем оставшееся время той деятельностью, которая использует ваш мозг по-другому.
Например, занятия спортом и переключают, и дают больше энергии в течение недели. Изучать языки или что-то по профессии - тоже подойдет. Преподавание - вообще супер: не нужно придумывать что-то с нуля, нужно донести то, что уже знаешь. Это все абсолютно разные форматы деятельности. А как известно, смена деятельности — это лучший отдых. И если разделить наши часы на разные форматы работы, то активным временем будет не период с 10 до 18 часов, а весь день.
📈 Я не рекомендую начинать с большого количества активностей. Включайте их постепенно. Начните с пары тренировок в спортзале. Позже добавите ещё. Дальше включите изучение чего-то нового. И распределяйте активности так, чтобы у вас оставалось время на работу, которая тоже может делиться на разные форматы.
💡 Ещё один лайфхак: подключайтесь к задаче в то время, которое вы уделили ей в расписании. На высоком уровне в карьере или бизнесе просто необходимо уметь мгновенно включаться в задачу.
Итак, мне помогают 3 вещи:
1. Чередовать форматы и занимать весь день
2. Наращивать активности постепенно
3. Быстро переключаться и сохранять регулярность
#вопрос_подписчика
🖋 Overfitting - термин с двумя интерпретациями
Не все явления машинного обучения имеют одно значение. Например, есть такое центральное понятие — «явление переобучения», по-английски — overfitting. Оно означает, что мы отлично работаем на тех данных, на которых обучался алгоритм, но на новых данных, пришедших к нам из жизни, мы почему-то работаем не очень хорошо.
И у явления переобучения есть как минимум два разных понимания.
1️⃣ Первое — конкретная модель с конкретными параметрами имеет низкую обобщающую способность, т.е. на обучающей выборке качество высокое, а на валидационной или тестовой выборке качество заметно ниже
2️⃣ Есть и второе. Мы можем сказать, что переобучение — это некий процесс, когда наша модель начинает слишком подстраиваться под обучающую выборку. И наступает он тогда, когда при усложнении модели качество на обучающей выборке продолжает расти, а на валидационной или тестовой — падать.
Первое определение приводит к тому, что в большинстве случаев мы имеем дело с уже переобученной моделью. Качество на обучающей выборке около 100%, а качество на валидационной выборке всегда будет существенно меньше. В частности, всегда переобученными получаются леса и градиентный бустинг над деревьями.
Если смотреть с точки зрения второго способа, то переобученным мы будем называть только тот градиентный бустинг, который при добавлении следующих деревьев становится хуже на валидационной выборке.
Пример алгоритма ML, выводимого 3+ способами.
Возобновляю образовательно-развивательные посты. Рассказывать буду не как что-то работает, а интересные (мне 😂) факты про алгоритмы. Например, знали ли вы, что к логистической регрессии - простому, но очень популярному алгоритму машинного обучения, можно прийти как минимум тремя разными способами:
1️⃣ Просто рассмотрев бинарный линейный классификатор с логистическими потерями и каким-нибудь регуляризатором (или без него, но так обычно не делают).
2️⃣ Из соображений максимизации расстояния Кульбака-Лейблера между распределением, которое мы получаем для вероятности принадлежности к классу, и равномерным распределением.
3️⃣ Из соображений максимизации энтропии.
Все три варианта возникли исторически, в разные моменты к одному и тому же алгоритму приходили разные люди.
🖋️ Пример из моего опыта: в одной компании, где я работал, люди не имели академического образования по машинному обучению. И при этом построили свой аналог логистической регрессии, даже не зная про логистические потери — просто вручную придумали функцию потерь с нужными свойствами, гладко «сшив» экспоненту и прямую.
Спустя годы после этого, когда я рассказал авторам того алгоритма о логистической регрессии, они были приятно удивлены и обрадованы, что сами смогли изобрести то же самое.
Но вообще способов «вывести» логистическую регрессию гораздо больше, пишите в комментариях, кто какие еще знает :)
Подсказка: как минимум можно получить её и как байесовский классификатор
Фото не прикрепилось, тем временем начался шторм уже здесь и самолет прикольно качает :) Но пока стоим
Читать полностью…
Слетал на конфу 🤦♂️
Летел сегодня с сотрудниками в Дубай на конференцию Machines Can See, попал в шторм, который тут раз в год.
Итог: самолет сел в запасном аэропорту Абу-Даби (по сообщению пилота единственный открытый аэропорт на момент посадки), всех пассажиров оставили сидеть внутри, сказали тут выпустить не могут, надо в самолете ждать, пока откроют основной аэропорт, и перелетать 😕 Кондиционеры сдохли, люди паникуют. Выйти подышать можно на трап (см. фото), но шторм нас тут тоже настигает.
Дороги все затопило, на конфу кажется уже не попаду, но те кто сейчас в Дубае говорят радуйся, что живы. Всё бы ничего но вот буквально вчера и позавчера было очень настойчивое желание никуда не лететь. Доверяйте своей интуиции :)
Про общение с руководством в большой компании
💬 Тема отношений с начальством в корпоративной среде всегда важна. С одной стороны, часто кажется, что выгодно будет просто соглашаться, всячески показывать лояльность и даже в некотором смысле выбирать заискивающее поведение. С другой стороны, интуитивно может казаться, что людям, наделенным какой-никакой властью, очень не хватает прямого и честного общения. И поэтому складывается впечатление, что, если вы будете взаимодействовать с ними так же, как вы взаимодействовали бы с человеком на одном с вами уровне, это будет некий эксклюзив.
💬 На самом деле и то и другое несколько далеко от здравого смысла. Потому что, во-первых, чрезмерные проявления лояльности и заискивания нормальных людей раздражают. А во-вторых, это дисконтирует стоимость ваших слов.
💬 Но и взаимодействовать с руководителем так, будто вы с ним на одном уровне, тоже неприемлемо. Будем объективны: босс отвечает за решение гораздо большего количества сложных вопросов, ему или ей необходимо учитывать гораздо больше информации. Поэтому проявление уважительного отношения к тем проблемам, которые решает руководитель, вполне уместно и даже необходимо.
💬 Правильный стиль общения с начальством, на мой взгляд, похож на стиль, которому нас учили в общении со старшими: в детстве нам говорили, что, если человек дожил до какого-то возраста, он уже заслуживает некоторого уважения. В случае же с руководителем речь идёт о том, что, если он уже достиг определённого уровня в компании и при этом справляется с определённого уровня проблемами и задачами, некоторые из которых вы даже не знаете, то можно было бы проявлять уважение в немного большем объёме.
💬 Конечно же, не нужно уважение к людям привязывать только к цвету штанов, количеству регалий или денег на счёте. Однако логично уважать тех, кто добился в вашей сфере достижений, которые вы считаете достойными. Ваш руководитель в идеале должен быть таким человеком. Если ваш босс не такой, крайне рекомендую поискать работу, где ваш руководитель будет вас вдохновлять, так жить будет намного проще :)
Поговорим про рынок Big Data
Это будет большой рассказ, который я разделю на две части.
Как компании заработать на Big Data на внешнем рынке? С этим большим нетривиальным вопросом я столкнулся три года назад, когда стал директором Big Data МТС. Оказывается, возможностей не так уж и много.
💬 Самая базовая и очевидная вещь, лежащая на поверхности, — продажа инфраструктуры. Ведь, как известно, во время золотой лихорадки нужно продавать кирки. Под продажей инфраструктуры можно понимать прямые продажи железа, например, но для этого нужно его производить. Быть просто спекулянтом, который перекупает, — не супервыигрышная долгосрочная стратегия.
Делать и продавать свое облако - нормальный вариант, но конечно дорогой и долгий.
💬 Еще приходят на ум инструменты для работы с данными. Тут есть несколько поучительных и разных примеров: яндексовый ClickHouse и всем известное Tableau. Необязательно разработка должна быть очень интеллектуальной в плане алгоритмов. Это вполне может быть достаточно базовый инструмент, но важный для работы с данными. Более «приземленные» инструменты даже в большей степени обладают шансом стать единорогом.
💬 Следующее направление — напрямую продавать какие-то данные. Но эта история максимально неинтересная и неприбыльная, в масштабах крупной компании это не имеет смысла. Если кто-то покупает у вас ваши данные, значит, он нашел способ из них извлечь достаточно выгоды, чтобы окупить затраты на эту закупку и заработать. Т.е. вы теряете бизнес, который мог быть вашим.
Кроме того, продажа данных несет в себе огромные репутационные риски: людям не нравится, когда их данные можно легко купить. В итоге отдельный пласт работ в этом случае — как продавать данные так, чтобы они все-таки были в достаточной степени анонимизированы и агрегированы, чтобы исключить возможность шпионить за клиентами, чьи данные вы продали. Все это огромный объем работ ради того, чтобы заработать три копейки.
💬 Можно конечно на основе своих данных делать собственные сервисы и продавать уже их. Наиболее распространенные примеры в этом случае будут связаны с геоаналитикой и компаниями, которые располагают геоданными. Кроме того, это могут быть варианты, связанные с прогнозированием разных рисковых событий, т.е. банковские скоринги и антифрод.
Также это могут быть разработки, касающиеся таргетирования рекламы. Реклама уже не один год, даже не одно десятилетие кормит тех, кто умеет строить ML-модели. Ну, и сюда же можно отнести все то, что касается оптимизации, планирования расходов: например, планирования размещения магазинов или оптимизации логистики. Это тоже часто относится к геоаналитике, если речь об оффлайновых географически распределенных объектах вроде магазинов или базовых станций мобильной сети.
Остановимся здесь, а в следующем посте поговорим непосредственно об объемах рынка.
Как справляться с состоянием стресса
1⃣ Первое, что необходимо сделать, — признать, что вам тяжело. Возможно, вы находитесь под давлением. Возможно, вы испытываете страх, который может даже переходить в панику, чувствуете злость, ярость или обиду. Не отрицайте и не отвергайте эти чувства, признайте их и далее действуйте в зависимости от того, какие именно это чувства.
2⃣ Вторая вещь, которая помогает пройти тяжёлые времена, — это, конечно же, общение с друзьями и близкими. Нужно не бояться обратиться к ним, если вам тяжело. Проведите время вместе, поделитесь своими переживаниями. Сам факт того, что вы не будете держать это всё в себе, очень сильно поможет. Некоторым людям в подобных ситуациях даже проще делиться своими переживаниями с более широкой публикой, например в социальных сетях. Мне такие вещи даются тяжело и гораздо проще получать помощь от близких.
3⃣ Третья вещь, которую необходимо понимать: на проживание чувств необходимо время. Есть ситуации, которые нужно просто проживать, как бы неприятно это ни было. Эти переживания не бесконечны, и однажды что-то изменится. Да, тяжело принять факт, что ты бессилен повлиять на это, но я совершенно уверен, что не нужно всё усугублять.
Как обычно, любое плохое состояние усугубляют нехватка двигательной активности, плохое питание, недостаток сна и общения с людьми. Поэтому, переживая стресс, ко всем этим пунктам необходимо относиться внимательно. Очень легко на них забить, но лучше от этого не станет. Если вам хочется побыть наедине с собой — побудьте, но слишком этим увлекайтесь. Помните, что человеку нужен человек.
4⃣ Четвёртая вещь, которую стоит помнить, столкнувшись со стрессом и переполняющими эмоциями: когда вы что-то чувствуете, вы живой. Когда вы живой, вы продолжаете что-то делать, а значит, ваши чувства — огромный ресурс. Вы злитесь? На этой злости можно свернуть горы. Вам грустно? Эта грусть может стать основой для огромного сочувствия и сострадания, чтобы превращать их в добрые дела. Вам страшно? Победив этот страх, вы обретёте отвагу.
❤️ Помните, что все ваши чувства не имеют в себе ничего зазорного. Не нужно бояться чувствовать. Нужно искать в этом новые силы.
Как студент удивил меня выводом метода на экзамене
💬 Есть один важный метод для машинного обучения — метод главных компонент. Он обязательно есть во всех курсах, но в то же время я почти ни разу не видел, чтобы благодаря применению этого метода получилось бы построить модель радикально лучше, чем без него. Было буквально несколько примеров за 15 лет, но метод все-таки очень показательный.
✍Этот метод вообще про то, как из большого количества признаков сделать меньшее количество признаков, при этом не просто отобрав, а даже повернув координаты в пространстве признаков таким образом, чтобы они стали более информативны. Классический вывод метода главных компонент, который мне, например, известен из лекций Воронцова, занимает примерно полстраницы или, может быть, страницу. Он требует умения дифференцировать по матрицам как переменным. Одно дело, когда матрица — это какие-то готовые значения. И другое — когда вы рассматриваете функцию, которая сама по себе матрица или скаляр, и зависит от матрицы. Это не что-то нереально сложное, этому достаточно легко научиться. Тут вопрос в том, как именно вы определяете эту производную по матрице. Я, например, не стесняюсь давать такого рода упражнения своим студентам на Физтехе. А в других местах уже жалею людей :)
💬 В этом году я читал лекции второкурсникам МФТИ с нашего совместного с «Яндексом» факультета - Высшей школы программной инженерии (ВШПИ). Потом они сдавали экзамен по машинному обучению, и одним из пунктов на экзамене был вопрос по выбору. Это такая давняя физтеховская традиция, берущая начало с экзаменов по физике. По ней один билет студент тянет, а один билет готовит заранее, выбирая более сложную тему, требующую предварительной подготовки. В случае с физикой можно даже взять экспериментальный вопрос, который нужно будет заранее готовить в лаборатории. На выбранную заранее тему студент должен быть в состоянии поддерживать беседу на одном уровне с преподавателем, зачастую кандидатом или доктором наук, иногда академиком. То есть, нужно разобраться в теме очень глубоко.
💬 Я попробовал такую же вещь сделать на своем курсе машинного обучения. Одной из тем на выбор для второкурсников был метод главных компонент с выводом. Были ребята, которые полностью разобрались в доказательстве из курса Воронцова. Но был и один студент, поступивший куда более изящно: он пришёл ко мне с доказательством, которое фактически заключало все основные выкладки буквально в несколько строк.
💬 Доказательство это настолько красивое, что я даже готов выложить его в канале, если этот пост наберет 100 реакций. Когда я его увидел, мне даже стало обидно, что я сам его не придумал — настолько оно было очевидно и естественно :)
#уже_не_новость
HR крупного российского ретейлера экспериментирует с применением методов прогнозирования в работе с людьми
X5 Retail Group выводит на новый уровень применение методов прогнозирования в HR. Компании потребовался профессиональный таролог в HR отдел. Вакансия уже в архиве: то ли от повышенного внимания в соцсетях, то ли потому что уже нашли.
Пожелаем ретейлеру успехов с творческим подходом к управлению персоналом, а тарологам - роста востребованности на рынке труда не хуже, чем у экспертов в AI 🦾
Как сохранить дружеские отношения с коллегами после увольнения
Стоит только уволиться, как люди, которые казались вам друзьями, внезапно могут оказаться просто вашими бывшими коллегами. Но если вы все-таки хотите сохранить эти контакты, вот несколько советов.
💬 Совет первый. Старайтесь хотя бы с некоторыми людьми на работе выстраивать отношения не по принципу взаимной полезности, а просто потому, что вы друг другу нравитесь и классно проводите время. С теми, с кем вам действительно ничего друг от друга не нужно. С коллегами, кому даже на работе вы не сможете быть полезны ничем, кроме моральной поддержки. Тогда после увольнения не составит труда сохранить контакт.
💬 Совет второй. Попытайтесь выстроить достаточно хорошие отношения со своим руководителем. Если вы сохраните их даже после ухода из компании, бывшие коллеги продолжат вас воспринимать как в некотором смысле «коллегу».
Безусловно, не всегда подобное работает, но я помню конкретные примеры своих коллег с разных мест работы, которым помогло.
💬 Совет третий. Не перегибайте палку на работе. Помните: какой бы ни был агрессивный бизнес, как бы ни было важно достигать результат любыми способами, всегда необходимо проявлять человечность и идти людям навстречу.
Только имейте в виду: даже если вы проявите деликатность при увольнении кого-то из коллег и постараетесь сгладить условия расставания, на вас все равно могут затаить обиду или вовсе возненавидеть. Не придавайте этому особого значения: все мы люди и бываем излишне эмоциональны. Если вы будете относиться к людям с уважением и пониманием, в большинстве случаев и с отношениями все будет нормально.
Вот такие три совета:
1⃣ Дружить с теми, с кем вам ничего друг от друга не нужно. Именно дружить, а не строить взаимовыгодные отношения;
2⃣ Наладить человеческие, межличностные отношения с руководителем;
3⃣ Стараться в целом не переступать через общепринятые нормы и вести себя с людьми по-человечески.
Обучение и вовлечение: все ли преподаватели одинаково полезны
Очень интересно, как с течением времени меняется оценка полезности того или иного преподавателя, с которым вы встретились. В первом семестре первого курса у меня был всего один лектор, рассказывавший свой предмет действительно с горящими глазами. Чуть позже, я понял, почему так было: часть преподавателей к своему предмету особой любви не испытывала, а другая часть, наоборот, занималась им профессионально — их обычные задачи были куда сложнее того, что они рассказывали студентам, и с нами им попросту было не так интересно.
Тот лектор, читавший свой предмет увлеченно и страстно, сразу же завладел нашим вниманием, многие из нас полюбили слушать его лекции. В какой-то момент я сам даже пытался заняться научной работой под его руководством.
С течением времени ценность лекций и семинаров этого увлеченного предметом преподавателя для нас очень снизилась. Он действительно показывал нам красоту своей области, а еще развлекал нас всякими забавными фразочками, обыгрывавшими материал. Но нам нужно было еще и научиться решать определенные задачи. И вот с этим вышла промашка: мы преисполнились красотой, узнали интересные замысловатые контрпримеры, но решать задачи тот преподаватель нас так и не научил. Потому что систематическая регулярная работа со студентами была явно не его коньком, зато он хорошо умел создать ощущение приобщения к чему-то прекрасному.
Возможно, предполагалось, что подобный подход замотивирует нас работать самостоятельно. Но поскольку на своих лекциях тот препод приобщал нас вовсе не к тем вещам, которые составляют базу, а к чему-то необычному и интересному, план провалился. Несмотря на приятный опыт обучения, со временем стало очевидно, что больше пользы внезапно принесли те преподаватели, которые на первый взгляд не так сильно «горели» своим предметом.
Какой можно из всего этого сделать вывод? Настоящую ценность обучения вы сможете понять только со временем. В самом начале пути это сложно оценить адекватно, ведь вы попросту недостаточно знаете изучаемый предмет.
Продолжаю комментировать новости AI в рубрике #уже_не_новость. Сегодня обсудим растущие расходы телеком-компаний на ИИ.
📰 По сообщениям сайта Artificialintelligence-news.com, траты телеком компаний на AI для автоматизации управления сетями к 2028 году вырастут до $ 20 миллиардов. Именно такая сумма прогнозируется в новом отчете компании Juniper Research.
💬 В целом рост на 240% с 2024 года не выглядит таким гигантским, если вспомнить, что среднегодовые темпы роста в AI обычно измеряются десятками процентов
💬 Все телекоммуникационные компании так или иначе используют прогнозирование для управления своими сетями. В каких-то случаях прогнозы могут делаться вручную на основе экспертного знания сотрудников, которые этим занимаются не один десяток лет, в каких-то случаях задействуются модели машинного обучения.
💬 Если говорить про российских операторов, то мы все давно используем свои системы для прогнозирования эффективности базовых станций, чтобы более точно приоритизировать стройку.
💬 В случае с МТС, решение Big Data МТС позволило вдвое снизить ошибку этого прогноза по сравнению с экспертной. Поэтому гораздо интереснее не те $ 20 млрд., о которых пишут в отчете, а какой экономический эффект эти инвестиции дадут. В случае оптимизации телеком сетей эффект запросто может быть на порядок больше, это тот самый пример «хорошей» задачи, где расходы на разработку и внедрение модели с лихвой окупаются.
Карьера вместо карьера. Часть 2: снесло крышу от возможностей.
Когда я поступил на Физтех, наконец-то я мог полноценно изучать то, что мне интересно. Самое главное — с полным доступом к нетривиальным книгам в библиотеке (например, однажды мне просто попалась под руку «Теория гироскопов» еще с печатью физико-технического факультета МГУ) и к лучшим преподавателям в стране.
Сначала мне буквально «снесло крышу» от таких возможностей. Первые два с половиной месяца ночью я спал по два, ну максимум четыре часа. Всё остальное время я проводил в читалке. Конечно, постепенно всё выровнялось, наступила некоторая усталость, да и первая сессия прошла не без боя.
Во втором семестре было более понятно, что делать, но тоже было нелегко. А уже где-то со второго курса начался процесс нормального получения знаний и поступательного развития в точных науках.
Еще с первого курса я начал пробовать себя в научной деятельности. Началось это с научного семинара по теории групп у нашего лектора по алгебре. Я тогда не особо много понимал, и, честно признаться, ничего не получилось, хоть и преподаватель был очень крутой и увлеченный своим делом.
Но после этого я еще пробовал влиться в тусовку «чистых математиков». У нас как раз была группа сильных преподавателей с мехмата МГУ, — наверное, из-за нашего необычного и прогрессивного факультета с забавным, на мой взгляд, названием «Факультет инноваций и высоких технологий». В какой-то момент я даже писал диплом под руководством Андрея Михайловича Райгородского, очень крутого математика, а впоследствии — большого босса на Физтехе. В бакалавриате диплом по чистой математике я защитил, а вот в магистратуре мое сердце уже окончательно оккупировало машинное обучение. Об этом я напишу в следующем посте.
#мойпуть
Kantor.AI
Я открываю в канале новую рубрику — #уже_не_новость
Буду писать посты для нее с переменной частотой, так что, возможно, эти новости будут уже не новости. К тому же, сфера AI развивается настолько стремительно, что инфоповоды мы тоже узнаем не всегда вовремя. Так что суть этой рубрики будет скорее в моих комментариях относительно происходящего в мире AI.
📰Первая такая «почти свежая» новость — про технологии глубоких подделок. Злоумышленники создали дипфейк финансового директора одной из крупнейших корпораций Гонконга и во время видеоконференции убедили сотрудника компании перевести им $ 25 миллионов.
💬 Ну что же, привыкайте, скоро это будет совершенно обычная наша реальность. Более того, я надеюсь, что в скором будущем у каждого человека будет доступ к сервису для детекции дипфейков. Это, кстати, достаточно понятный рынок для будущих стартапов.
💬Я видел такую же историю своими глазами: был сделан дипфейк на Диму Мацкевича, фаундера известного стартапа Dbrain. Стартап занимается всяким AI и даже в свое время прошел в Y Combinator. Так вот в один момент в соцсетях начали распространяться видео, где Дима читает лекцию то ли про бинарные опционы, то ли про какое-то инфоцыганство и предлагает купить свой сомнительный курс по теме. Следом Дима выступил в соцсетях с опровержением: написал очень эмоциональный пост и объяснил, что в наше время уже и такое бывает. Конечно, всегда найдутся любители сказать: «Наверное, он сам же это и сделал. Все ради хайпа», но я искренне верю, что это действительно был дипфейк от каких-то мошенников.
Деньги против хайпа
Говорят, есть три стадии деградации инженера: сначала ты не можешь взять простой интеграл, потом забываешь формулу площади круга, а потом вешаешь на пиджак значок «Я — инженер». Не знаю, какие первые две стадии в data science, но третья — точно давать комментарии СМИ о перспективах развития ИИ, так что тролльте меня в комментах полностью 😂.
Мой посыл был очень простой. Есть конкретные применения ML, дающие измеримые в AB тестах экономические эффекты, и мы можем во всех компаниях сделать упор на это. А есть всякие модные применения нейросеток: для генерации картинок, ответов на вопросы и тому подобные штуки.
Я верю, что в России бизнес мыслит очень конкретно, и поэтому мы все будем налегать на первое. И тут главным трендом будет повсеместность проникновения машинного обучения, приносящего реальные деньги. Что же касается более модных в последние пару лет штук, то им в западных компаниях тоже начнут закручивать гайки инвесторы в ожидании денег. А когда это все выйдет на более монетизируемые истории, тогда уже наберет обороты и у нас.
Можно воскликнуть: «Доколе мы будем в догоняющей позиции?» Но если присмотреться, это не совсем так. Да, строить рекомендательные системы или динамический прайсинг мы придумали не первыми. Но вот внедряем их в каждый утюг от высокой природной технократичности мы и правда лучше всех. Ну, или уж точно будем в этом первыми в ближайшие несколько лет.
Ну и теперь показываю распределения по категориям вместе с легендой.
Из неожиданного:
🥳 Огромное количество людей с ML-образованием. Коллеги, мы дожили до этого момента! Теперь не надо учить ML по подворотням, можно полноценно в университете, и многие так и делают
💪 Думал, что аналитиков и менеджеров будет побольше, а MLщиков наоборот будет маловато, но нет. Тех, кто работает ML-специалистом в канале много
🔥 Не ожидал такой большой процент синьоров, очень приятно, что вы тоже с нами
😎 Как уже верно заметили в комментариях, зарплаты неплохо бьются с распределением по уровням, на которые респонденты себя оценивают. Кстати, на мой взгляд самооценка влияет на доход даже больше, чем напрямую знания. Кто ищет хорошие предложения, в конце-концов всегда доищется (в том или ином смысле). Ну и в обратную сторону это очевидно тоже работает: хорошие знания при низкой самооценке - плохой рецепт получения высоких доходов.
👨🎓 Студентов маловато, видимо эффект того, что несколько лет недорабатывал на эту аудиторию. А еще того, что студентам своих курсов хватает, а опрос же был про курсы.
Конечно еще интереснее смотреть на разные пересечения категорий. Но об этом я расскажу когда-нибудь потом, а сейчас в очереди скопилось много других тем для постов (пока я прокрастинировал и не писал этот :)
Прежде чем показывать распределение респондентов в опросе, как обещал выше, небольшой интерактив. На картинке 4 большие сегмента - это уровни от полного новичка до senior. Попробуйте угадать, где кто :)
Читать полностью…