Понятно про анализ данных, технологии, нейросети и, конечно, SQL. Услуги — leftjoin.ru Обучение — https://stepik.org/users/431992492 Автор — @valiotti Реклама — @leftjoin_ads, @Spiral_Yuri Перечень РКН: https://tapthe.link/PpkTHavwS
Почему все так дорого?
Новый год прошел, а память о возмутительных ценах на горошек и колбасу для оливье еще жива. Если закупаясь продуктами перед праздником, вы задавались вопросом, почему все так ужасно дорого, знайте, что вы не одиноки. Это проблема по-настоящему международного масштаба.
В подтверждение у нас есть целое исследование, которое проводилось в коллаборации с Google Trends.
💬 В основу легли данные о поисковых запросах с 2012 по 2023 годы. Авторы изучили, цены на какие товары или услуги так смущали пользователей, что они заходили в Google и писали: «Почему … стоит так дорого?» Ну, или что-то похожее.
💬 В 2013 году людей из разных стран больше всего интересовала причина высокой стоимости техники. А вот с 2015 и по настоящее время — чаще задаются вопросом, почему так дорого стоят еда и напитки (в частности, яйца).
💬 К исследованию прикрепили целую гору графиков с разбивкой по категориям товаров и странам. В каждую категорию и страну можно «провалиться» и узнать, например, что в 2015 году в Узбекистане пользователей Google интересовало, почему так дорого стоят вещи бренда Yeezy.
В общем, получается, что на вопрос в заголовке исследование так и не отвечает. Зато дает узнать, цены на какие вещи так возмущают или шокируют людей в разных странах, что они аж в Google идут. 👀
Вы спрашивали, когда продолжение? Вот оно — Тиньков про тренды наших дата-дел: часть 2
А вот и сиквел нашего летнего видоса с Тиньковым. Как и в прошлый раз, про все, что мы любим — нейронки, IT, аналитику и Excel.
Не дайджест, а просто повод, сидя под елкой и жуя мандарины, вспомнить, что принес нам 2023-й. 👀
Что читать про Data Science в Telegram?
Кроме LEFT JOIN, конечно.
У нас есть ответ — мини-подборка классных каналов, особенно ценная для людей на старте карьеры и тех, кто сейчас ищет работу.
🔵 Тагир Анализирует — старший аналитик из Альфа-Банка Тагир Хайрутдинов рассказывает про свою работу, датавиз, новости из индустрии, интересные факты и в целом про то, как строить карьеру в IT. Вот, например, ценный инсайт для начинающих айтишников про то, как получить повышение и подготовиться к ревью. У канала активное коммьюнити, так что особо зацепившие посты будет с кем обсудить в комментариях!
🔵 Start Career in DS — канал Романа Васильева, главного аналитика Яндекс Лавки, в помощь тем, кто хочет работать с дата саенсом и нейронками. Много материалов про машинное обучение, полезные курсы и советы, как проходить собеседования с примерами вопросов и задач. А еще у автора есть не менее классный YouTube-канал, а там — интервью про аналитику, стартапы и не только с одним интересным гостем.
🔵 Борис опять — и опять про ИИ, нейронки, и машинное обучение. Ведет Борис Цейтлин крутой специалист по ML и computer vision. Обещали же, что будет полезно для тех, кто ищет работу? Борис для вас сделал невероятно подробную методичку по поиску работы в ML/DS/IT. ❤️ Отдельный лайк от нашей команды, потому что ну круто же!
🔵 Нескучный Data Science — Евгений Смирнов, руководитель Лаборатории Машинного Обучения, ведет идеальный канал, чтобы держать руку на пульсе последних новостей и трендов. Мероприятия, интервью с видными людьми. И, кстати, Евгений — один из авторов бесплатного курса Deep Learning in Finance на Степике. А недавно на Karpov.Courses запустили платный курс про принятие решений на основе данных для руководителей, где он выступает в качестве лектора на одном из учебных треков.
Надеемся было полезно! Пишите в комментариях, какие у вас любимые каналы про IT, ИИ и данные. ❤️
Все о жизни аналитиков в 2023 и немного больше
Какой же аналитик не любит хорошее исследование?
А именно такое и проводят сейчас ребята из NEWHR. Они изучают рынок труда продуктовых и дата-аналитиков: тренды, динамику зарплат, изменения требований работодателей и работников друг к другу. Такое масштабное исследование — уже четвертое в их практике. Результаты 2019, 2020 и 2022 годов на vc.ru.
Как это выглядит?
Как опрос про должность, грейд, формат и место работы, стек, уровень зарплаты и еще много разных факторов. Всего на 20-25 минут заполнения в спокойном темпе.
Всем, кто дойдет до конца, полагаются бонусы!
🔵 Плюс в карму.
🔵 Радость, что вы поучаствовали в хорошем и для всех полезном деле.
🔵 Скидка на карьерные консультации и курсы Hello New Job.
Так что наливайте себе чаю и проходите опрос! И не забудьте потом поделиться ссылкой с коллегами. ❤️
Праздники — не повод переставать учиться!
У кого-то скоро Новый год, елочки, запах мандаринов и каникулы, а у кого-то — учеба, курсы и прочее прокачивание скиллов. А что поделать? В IT без этого никак — надо бежать, чтобы не отставать, ну, вы и сами все знаете.
👀 А куда бежать, особенно если ты начинающий специалист и еще толком не разобрался, что к чему?
Можно — куда-нибудь в сторону стажировки в большой и серьезной компании, чтобы посмотреть, как у них там все устроено.
💬 Информации про доступные стажировки в компаниях вроде Яндекса, Ozon, Тинькофф много в канале «Поступашки», который ведут преподаватели Школы анализа данных, МГУ и ВШЭ. Они рассказывают, какие есть варианты, и дают рекомендации, как подготовиться к собеседованию, заполнить анкету и вообще показать себя.
💬 Там еще часто постят учебные материалы, анонсы интересных событий и олимпиад, советы как поступить в ту же ШАД или на магистратуру по Data Science.
Аналитикам с опытом это все уже не особо нужно, а вот тем, кто еще в начале своего пути, джунам и студентам будет полезно.
Хорошей учебы!
На каком языке люди говорят с нейросетями?
Люди любят очеловечивать все подряд — животных, предметы и теперь генеративные нейросети. Чем умнее те становятся, тем более «человечным» становится взаимодействие с ними.
Мы как-то раз писали на близкую тему — что делать, если хочется сказать ChatGPT «пожалуйста». А сегодня поделимся некоторыми интересными мыслями из интервью Александра Крайнова, директора по развитию технологий искусственного интеллекта Яндекса, про нейросети, их будущее и взаимодействие с людьми.
🔜 Промпт-инжиниринг — всё?
Александр приводит пример: чтобы нейросеть выдала картинку нужного качества, юзеры прописывают в промптах технические параметры вроде фокусного расстояния. Так она «вспомнит» изображения, на которых ее обучали и у которых были похожие характеристики в подписи, и «поймет», что от нее хотят получить нечто подобное.
🔵Хотя все еще приходится идти на ухищрения, чтобы добиться желаемого результата, необходимость писать заковыристые промпты постепенно уходит в прошлое. Нейросети с каждым обновлением все лучше понимают естественные, «человеческие» запросы. Этого хотят и пользователи, и разработчики.
🔵Значит ли это, что со временем промпт-инжиниринг как явление исчезнет? Скорее всего, нет.
🔜 Имитация понимания
Насколько бы проще ни становилось общение с нейросетями, внутри у них — все еще не человеческий мозг, а статистика на максималках. Текстовые нейросети считают частотность слов с учетом контекста и за счет этого «понимают» запрос пользователя и дают то, что кажется осмысленным ответом.
🔵Но это все еще имитация понимания. Есть даже исследование, где авторы взялись разобраться, правда ли это, что мы наконец-то сделали нейросети, которые думают, как люди? Спойлер: нет. Каким разумным ни казался ИИ, он все еще не может «думать», как человек. А значит и промпт-инжиниринг как язык общения с нейросетями, понятный и им, и людям, вряд ли куда-то денется.
🔥 В общем, выводы скорее утешительные: ИИ становится круче, но пока не настолько, чтобы захватить мир!
Прорубаем окно в мир оптимизированных SQL-запросов
Мы тут часто пишем про нейросети, новости IT, чемпионаты по Excel и всякий разный полезный софт. В общем, много про что. Но нашей главной любовью остается он — SQL. ❤️
SQL крутой инструмент для любого человека, работающего с данными. У него куча возможностей, о которых некоторые даже не знают — или знают, но считают, что это что-то сложное и непонятное.
🔜 Например, оконные функции
Они полезны, когда надо сравнить показатели за разные периоды, рассчитать накопленную сумму за определенный промежуток времени, разделить пользователей на несколько групп, узнать медиану. Это все можно сделать и без оконок, но с ними намного удобнее!
👀 А что, без них — никак?
Люди, даже неплохо владеющие SQL, часто пишут сложные громоздкие запросы там, где можно обойтись более простыми и эффективными, путаются с фреймами или вообще их не используют. А уж сколько берут не те функции или используют их ограниченно, например, с простыми сортировками без указания границ окна — просто потому что не знают, как еще можно. Чтобы разобраться в теме, нужна практика на реальных рабочих примерах, но где ее взять?
Вот мы и подумали, почему бы не создать такой курс, который возьмет и познакомит всех желающих с волшебным миром оконок. С понятной теорией, написанной человеческим языком, и жизнеспособными примерами, которые пригодятся потом в работе.
💙 Подумали и сделали: в пятницу запустили новый проект — еженедельную рассылку по оконным функциям.
8 писем, каждое с теорией, красивыми оптимизированными запросами и табличками. Все, от чего у каждого аналитика теплеет на душе. Заходите на сайт проекта, чтобы узнать больше или просто посмотреть, какой красивый дизайн мы ему сделали. 🔥
Освоить оконные функции за 8 недель
Бесконечно можно смотреть на 3 вещи: огонь, воду и красивые, оптимизированные SQL-запросы. Именно такие мы и учим писать в нашей рассылке про оконные функции.
🔜 Это такие функции, которые позволяют работать с выделенными наборами данных. Полезно, когда посмотреть динамику изменения каких-то показателей, ранжировать, сравнить данные друг с другом.
В рассылке 8 писем, в которых мы рассказываем:
🔵 что такое оконные функции и зачем они нужны аналитику,
🔵 как работать с фреймами RANGE и ROW,
🔵 как сделать SQL-запросы более эффективными с помощью именованных окон,
🔵 как использовать эти знания на практике — всю теорию подкрепляем реальными прикладными примерами.
Для кого наша рассылка?
Очевидный ответ, но для всех, кто хочет разобраться в оконках. Будет интересно и начинающим аналитикам, кто еще не пробовал погружаться в эту тему, и тем, кто с ней знаком, но хочет систематизировать знания.
🔥Рассылка даст прочную базу без погружения в технические дебри. В ней простые и понятные объяснения принципов работы функций и много примеров запросов с результатами.
Прочитали теорию — посмотрели, как это работает — начали применять и писать крутой код всем на зависть.
🔵 Письма приходят раз в неделю. Первое — бесплатно, чтобы вы могли познакомиться с подачей и понять, насколько она вам подходит.
🔵 Остальные — вообще-то 4990₽ , но сейчас — 2499₽!
🔵 А также есть важный нюанс: для оплаты пока что можно использовать только российские карты.
💙 Скидка 50% действует с 15 по 22 декабря, так что не откладывайте подписку на потом, оформляйте сейчас!
Python за 6 часов
Всем привет! Николай Валиотти на связи.
Мой кипрский бро Саша Ильин наконец-то запилил свой шестичасовой бесплатный Python-курс, который теперь доступен на ютубе 💪 Зная Сашу лично, могу смело его вам рекомендовать: он всегда супер-ответственно подходит к своей работе. Если говорить совсем честно, Саня конкретно упоролся, полгода пилил курс, почти не выпускал другие видео, да и в целом выглядел довольно занятым дядькой 😁
Курс начинается с изучения самых базовых понятий — типы переменных, списки, циклы, функции, а заканчивается декораторами, классами и написанием несложного Telegram-бота!
Если бы мне щас надо было бы изучать Python, я бы точно начал c видоса Саши!
Почему работать в команде не всегда здорово
Спросите вашего эйчара: «В чем сила, брат?»
И он скажет: «Конечно, в команде!»
Смысл в этом есть — мало кто может позволить себе быть одиноким волком. Так или иначе приходится учиться договариваться и объединять усилия для достижения общих целей. Правда, иногда такое, в общем, благое дело, как командная работа, дает не тот эффект, как хотелось бы.
🔜 Эффект общеизвестного факта — это ситуация, когда участники команды вместо того, чтобы привносить в обсуждение что-то новое, обсуждают то, что все и так знают. Про это есть целое исследование.
💬 Исследователи описали три проекта, A, B и C, с разным количеством плюсов и минусов. Самым перспективным был проект B.
💬 Данные о проектах предоставили 307 участникам, которые принимали решение самостоятельно. Каждому дали 10 минут на рассуждение и список характеристик проекта без оценочных суждений. То есть без заявлений вроде: «Плюсы проекта A в том, что…» 80% участников выбрали проект B.
💬 Затем обсуждению привлекли команды, и если у всех участников была одинаковая и полная информация, они тоже выбирали B.
💬 Ситуация менялась, если данные распределялись неравномерно. Плюсы проектов A и C и минусы проекта B рассказали всем участникам. Минусы A и C и плюсы B донесли по-разному. То есть разные участники знали о разных достоинствах B и недостатках A и C. В итоге только 31% команд распознали проект B как оптимальный.
На этот исход влияет несколько факторов: и динамика в группе, и человеческая любовь к предварительным выводам и предвзятости подтверждения. Но бороться с этим можно. В конце исследования есть рекомендации: например, визуалировать доступную информацию и отдавать приоритет тщательному сбору данных перед принятием решения.
💙 Вот так, думали у нас тут какой-то эйчарский пост про софт скиллы, а на самом деле все опять свелось к данным.
SQLite: большой потенциал маленькой СУБД
Как-то раз нам в комментариях написали, что SQLite уже прошлый век и пора переходить на новые, более лучшие модные СУБД.
SQLite часто воспринимают как инструмент с ограниченными возможностями для работы с небольшими сайтами и приложениями. Это и неудивительно: SQLite — встраиваемая СУБД, которая хранит данные локально в одном компактном файле. Отсюда и вытекают все ее плюсы и минусы.
Но возможности у нее не такие уж и скромные. Например, вот тут автор рассказывает подробнее про преимущества SQLite.
💬 Бодрая скорость работы с минимальными задержками даже при обработке большого количества запросов.
💬 Она встраивается в приложение — а значит, это минус один сервис, за которым надо следить разработчику. Одной головной болью меньше.
💬 SQLite справляется с базами данных объемом в эксабайт или миллион терабайт. Большинству из пользователей этой СУБД такие масштабы совершенно не нужны, но если вдруг понадобится — имейте в виду.
💬 Хранение данных в одном файле накладывает ограничения, которые приходится обходить надстройками и дополнительными сервисами. Зато это упрощает разработку и тестирование приложений. Это просто файл, с которым работать намного легче, чем с более сложной базой данных.
Резюмируя, это перспективный инструмент, который иногда после некоторых доработок вполне может потягаться с более «серьезными» СУБД.
А как вы думаете? Согласны с автором? 👀
1 доллар и 24 года инфляции
За что мы любим хороший, качественный датавиз — так это за то, что он через обычные графики может рассказать историю.
🔜 График изменений индекса потребительских цен в США с 1999 по 2023 годы — это не просто сухие цифры и скучная статистика, а целая сага. Нам нем видно и кризис 2008, и резкий рост цен в пандемию, и неумолимо дорожающую медицину.
🔜 Авторы взяли данные о динамике цен на еду, недвижимость, одежду, транспорт, медицинские услуги, развлечения, образование и абстрактное «прочее». Их объединили в один график, но если навести на него мышку, можно посмотреть детализацию по категориям, годам и месяцам. Еще и со сравнением с предыдущими периодами!
Получилась эффектная визуализация того, как изменилась ценность одного доллара за 24 года. Даже если вы от США далеко, посмотреть все равно интересно — хотя бы, чтобы впечатлиться объемом работы.
Мануал к дому: современные решения для современных проблем
Вы помните, когда надо счетчики на воду менять? А модель счетчика назовете? Или где у вас лежат гарантия на холодильник и инструкция к стиральной машинке? Рано или поздно придется разобраться, что значат все эти значки и циферки с градусами.
🔜 Если эти вопросы вызывают затруднения, не расстраивайтесь. До них у многих не доходят руки, пока не возникнут проблемы. Вот тогда приходится срочно искать документы и еще хуже — разбираться, где проходят провода и куда сантехники запрятали вентили на трубах.
Это всегда невовремя и невесело. Но решение есть — написать мануал! От проблем не избавит, но решать их станет проще.
🔜 Так поступил разработчик Люк Сяо, который недавно купил дом. Он задался вопросами, похожими на те, что в начале поста, и понял, что много не знает о месте, где живет. Люк решил собрать ответы в одном месте: ТТХ, явки и пароли, документы, инструкции и ченджлог. То есть, сделал ремонт или купил что-то новое — сразу записал.
Он взял фреймворк Diátaxis и создал для своего дома репозиторий на Git. Вы скажете, что это слишком, мы скажем — возможно. Но все равно вызывает уважение. 🔥
Да и сам Люк признает, что большинству людей хватит гуглодока. Но если вы хотите повторить его опыт, он довольно подробно его описал с ссылками, скринами и полезными советами.
Что скажете? Готовы написать мануал к дому или не будете заморачиваться?
Про технологии, фантастику и абстракции
«Любая достаточно развитая технология неотличима от магии», — самый известный из трех законов британского писателя Артура Кларка.
🔜 Кажется, скоро мы сможем убедиться в этом сами, но пока что реальность прозаичнее фантастики. Никаких межзвездных перелетов, зато много людей, которые не понимают, что происходит, и угроз кибербезопасности.
Это — один из тезисов статьи We have used too many levels of abstractions and now the future looks bleak. Не пугайтесь мрачного заголовка — текст не про то, что, когда все писали на ассемблере, трава была зеленее. Ну, почти.
Еще немного тезисов:
🔵 Руль — уровень абстракции между водителем и машиной. Он позволяет управлять автомобилем, не задумываясь обо всем, что происходит под капотом.
🔵 Такие абстракции есть в каждой сфере, и в ИТ тоже. Уже давно разработчики не пишут каждую строчку кода руками, а вместо этого максимально упрощают себе работу с помощью различных инструментов. Число уровней абстракции растет, и уже не каждый специалист поймет, что происходит на пару «слоев» ниже.
🔵 Технологии становятся сложнее для понимания, а их влияние на повседневную жизнь растет. Что произойдет, когда люди окажутся не в состоянии самостоятельно починить инструменты, которые используют?
🔵 Звучит, как что-то из постапокалиптического фильма про потерянные технологии, но это уже реальность. Например, сейчас — по мнению автора — большинство людей в кибербезопасности о ней не так уж много знают и доверяют тестам, которые проводят с помощью специализированного ПО, не погружаясь в детали. Спец по кибербезопасности, который разбирается, как работает это ПО, может его обмануть и сливать данные на сторону или еще чего-нибудь похуже делать.
🔵 И как же быть? Никогда не переставать учиться и задавать вопросы, любить технологии и искренне интересоваться тем, как они на самом деле работают.
А если текст не вызывал достаточной грусти за наше будущее, то вот статья на The Verge про студентов, которые не знают, что такое файлы и папки.
Под какую музыку спится лучше?
А мы возвращаемся в город вечно невысыпающихся жителей, чтобы продолжить знакомство с основами статистики.
В одном из предыдущих постов мы рассказали, как сравнить 2 генеральные совокупности между собой…
Но что делать, если их больше двух?
🔵 Можно было бы разбить группы по парам и применить t-критерий Стьюдента или его непараметрические аналоги, но у нас есть вариант получше!
🔜 Сегодня мы расскажем про дисперсионный анализ, который поможет сравнить несколько генеральных совокупностей и понять, различаются ли они между собой.
#основы_статистики
А вы поставили цели на 2024?
В конце года многие из нас подводят итоги и ставят новые цели. Статистика говорит, что большинство людей хотят улучшить здоровье и финансы, похудеть и начать правильно питаться. Ну а где-то в хвосте плетутся «начать лучше работать» и «пить меньше алкоголя».
👀 А вы ставите себе цели на Новый год? Если да, то поделитесь в комментариях! Тоже хотите удариться в ЗОЖ или у вас другие планы на 2024?
Поделимся и своими итогами года и целью на следующий, чтобы не упускать возможность ежегодной рефлексии:
🔵 За 2023 год наш канал вырос в 2,5 раза, публикации стали более яркими, структурированными и полезными, мы успевали рассказывать вам как про мир анализа данных, так и про громкие, интересные и важные новости быстро развивающихся технологий и нейросетей.
🔵 Нашей главной целью было и остается помогать вам узнавать новое, держать вас в курсе изменений и событий в IT и давать возможность взглянуть на каждую новость с разных сторон. В 24 году будет больше оригинальных рубрик, коллабораций и многого другого.
🔵 А ваш отклик, искренний интерес и обсуждения в комментариях позволяют нам понять, что мы идем в верном направлении!
❤️ Благодарим вас от всей души! Николай Валиотти и вся команда LEFT JOIN желает, чтобы все планы наших самых любимых подписчиков свершались, а цели обязательно достигались! Пусть в Новом году все будет круто!
Dungeons & Directories: текстовый квест в файловом менеджере
Душа просит приключений, но вам прострелили колено на Skyrim или новомодный Baldur’s Gate 3 нет времени или места на диске?
Всегда можно отправиться в приключение по папкам на компьютере в ламповой текстовой игре Dungeons & Directories! В ней есть все то же самое, что в каком-нибудь там «Ведьмаке»:
🔥 Полное опасностей подземелье, из которого вам надо найти выход!
🔥 Сбор лута!
🔥Сражения с врагами!
И там даже можно проиграть и получить Game Over. В общем, все, как у взрослых, только графика чуть-чуть похуже.
Валиотти предпринимает и рассказывает
Всем привет, на связи снова Николай Валиотти — аналитик, а еще фаундер агентства Valiotti Analytics и создатель @leftjoin. В последние пару лет количество аналитических задач в моей жизни сильно снизилось, а вот бизнесовые и предпринимательские вопросы я решаю регулярно с утра до вечера.
Опыта за это время накопилось так много, что хоть вторую кандидатскую пиши, поэтому пару месяцев назад у меня появился новый проект для души — канал «Валиотти предпринимает»!
Канал в первую очередь про бизнес:
⭐️ Про планирование и целеполагание,
⭐️ Про ошибки и работу над ними,
⭐️ Про взаимодействие с командой и с клиентами.
Конечно, все из своего опыта с жизненными примерами и лайфхаками: например, про инструменты для управления удаленной командой.
✨ Еще — про продуктивность и умение организовать не только рабочие процессы в компании, но и самого себя.
🎾 Ну и (иногда) про теннис!
Заходите и заглядывайте сразу в гайд по каналу. И подписывайтесь, конечно!
Путь от Python до богатства проходит через Нидерланды
…а от SQL до безумия — почему-то через эмодзи. 👀
Такой маршрут прокладывает сайт 6 degrees of Wikipedia, который ищет самый короткий путь от одной статьи в «Википедии» к другой по перекрестным ссылкам.
💬 Автор вдохновлялся теорией шести рукопожатий — согласно ей все люди в мире связаны друг с другом через цепочку из 5 общих знакомых. Точно так же и от одной статьи в «Вики» до любой другой теоретически можно дойти за 5 кликов. Часто даже меньше — за 3-4.
💬 Но это не точно. Можно поставить перед собой челлендж — найти две максимально далекие темы, между которыми больше 5 кликов. Или такие, между которыми цепочку переходов вообще не построишь.
Сразу предупреждаем, что проект ищет только по англоязычным статьям. Зато как красиво это делает! Он рисует схемы переходов по ссылкам, которые иногда получаются очень даже эффектными. Например, красиво выглядит путь — точнее множество путей — из Австралии до Зимбабве. 🔥
Гайд по каналу: проекты LEFT JOIN
🔜 Рассылка по оконным функциям SQL
Новый проект — 8 писем про оконки, чтобы разобраться в них раз и навсегда. Это такой экспресс-курс с теорией и практикой, максимально приближенной к реальным рабочим задачам.
🔜 Марафон данных: онлайн-курс для тех, кто хочет попробовать себя в аналитике
Этот курс — возможность узнать, чем на самом деле занимаются аналитики: пощупать настоящие данные, посчитать метрики и понять, насколько вам это интересно.
🔜 FULL JOIN: как мы открыли и закрыли закрытый канал
Мы запустили платный телеграм-канал с крутым эксклюзивным контентом, а потом честно рассказали, почему он не взлетел. Тоже опыт!
🔜 Youtube-канал Cyprus Data
Записи со встреч кипрского коммьюнити людей, которые так или иначе связаны с данными.
🔜 Подкаст Data Heroes
Разговоры про данные и тех, кто с ними работает. Успели осветить такие актуальные темы, какжизнь в релокации, work-life balance и влияние ИИ на аналитику, говорили про датавиз, дата саенс и дата инжиниринг.
🔜 Цикл постов «Основы статистики»
FULL JOIN умер, но дело его живет в виде постов, где понятно и на красивых карточках рассказываем про #основы_статистики — генеральные совокупности, выборки, корреляции и ковариации, а именно:
🔵 На чем держится весь мир анализа данных?
🔵 Как случайность объясняет мир вокруг нас?
🔵 P-value в действии: влияет ли стакан молока на ночь на сон?
🔵 «Все познается в сравнении» — T-статистика
🔵 Корреляция, ковариация и книги ужасов
🔵 Посвящается всем, кто идет спать, а потом еще час листает TikTok
🔵 Под какую музыку спится лучше?
Яндекс снова нанимает
Теперь нужны Аналитики! Показываем сразу 4 вакансии:
— Уже оценивал эффективность трафика, стоимость привлечения клиента из разных источников и уверенно владеешь Excel и SQL? Тогда тебе подойдет роль рекламного аналитика.
– Если хочешь работать над развитием крупнейших клиентов рекламных продуктов Яндекса, то тебе стоит задуматься о позиции аналитика контекстной рекламы.
– Работал с клиентами сферы перфоманс-маркетинга индустрии недвижимости и самостоятельно настраивал рекламные кампании? Тебе подойдёт роль менеджера по развитию перфоманс-продуктов индустрии недвижимости.
– Уже хорошо знаком с Яндекс Метрикой и GTM? Можешь стать веб-аналитиком в рекламные сервисы.
Скорее отправляй отклик. Нам не терпится с тобой познакомиться.
Реклама. Рекламодатель ООО "Яндекс" ИНН 7736207543
Экономика шведских столов
Мало что так же греет душу, как шведский стол. Заплатил один раз — ешь, пока можешь. ❤️
Посетителям выгодно, но за счет чего эта щедрая схема остается прибыльной для кафе? Давайте посмотрим на цифры — мы ж тут про данные и аналитику общаемся, а не просто так.
Возьмем для примера шведские столы в США
🔵 Средняя стоимость посещения — около 20 долларов. Прибыль невысокая — в среднем 1 доллар с гостя. Все остальное уходит на аренду, зарплаты, закуп продуктов и прочее.
🔵 При этом формат очень экономный. Там самообслуживание, значит не нужны официанты. Блюда проще, чем в ресторане, так что с готовкой справляется небольшая команда поваров. И конечно, все несъеденное сегодня получает вторую жизнь завтра — полежавшие овощи и мясо отправляются в супы и салаты.
🔵 Помогают и маркетинговые уловки — дешевые и сытные продукты кладут в начале витрины, а трюфеля и фуагра убирают подальше. Посетителям выдают маленькие тарелки и предлагают платные напитки.
А что, если придет обжора, который пройдет мимо картошки сразу к мясу? Еще и несколько порций возьмет?
Кафе борются с этим по-разному: просят доплату за недоеденную еду, ограничивают время посещения или число добавок. Некоторые к описанию формата «all-you-can-eat buffet» робко дописывают «within reason».
Но в любом случае таких гостей бывает немного — 1 на 20 человек. Большинство укладываются в свои 20 баксов или меньше.
👀 Для наглядности — расчет на табличке выше. Первый гость ест, сколько положено, второй налегает на дешевые продукты, а третий пришел разорять заведение. Последний обошелся кафе в 8,5 долларов, но первые два принесли доход. Так как гостей из 1-й и 2-й категорий намного больше, они сглаживают «урон» от ребят из 3-й и помогают выходить в плюс.
Модель получается отличная и защищенная от любителей эксплойтов и стейков. Правда, этот формат все равно теряет популярность. И виноваты в этом не любители дешево поесть, а распространение сервисов доставки. Очевидно, что с ними шведские столы конкурировать не могут.
Как работает Shazam?
Shazam — волшебное приложение, которое может распознать, что за крутая песня играет в шумном баре. Как оно это делает? 👀
Нашелся человек, который разобрался, правда, по документации из 2003 года. Догадываемся, что за 20 лет что-то могло измениться, но общий принцип работы тот же. Рассказываем самое интересное, а детали уже в источнике.
👀 Начинаем с неожиданного факта — вы знали, что раньше в Shazam надо было звонить? Пользователь набирал номер и подносил телефон к источнику музыки. Через 30 секунд ему приходила SMS с данными о песне.
Работа Shazam делится на две части: регистрация и распознавание
💬 Регистрация — это создание «отпечатка» песни и добавление его в базу. Распознавание — запись сэмпла песни, про которую хочет узнать юзер, и сравнение его с «отпечатками» в базе.
💬 Когда приложение регистрирует песню, оно создает ее спектрограмму — график, где ось X показывает время, Y частоту звука, а цвет громкость. На нем программа находит пики — самые громкие частоты. Соседние пики хэшируются попарно, чтобы создать уникальный «отпечаток» песни. Он хранится в базе приложения.
💬 Когда Shazam распознает песню, он записывает небольшой фрагмент, который прогоняет через те же стадии, что в прошлом пункте: создание спектрограммы и хэширование. То, что получается в итоге, приложение сравнивает с песнями в базе.
Как Shazam распознает песни, несмотря на шум?
Тут надо разобраться, как строится спектрограмма. Песня делится на небольшие отрывки, которые проходят через преобразование Фурье. Это позволяет определить, какие частоты и в каком объеме встречаются в каждом из них. Даже если на запись попали сторонние звуки, приложение все равно сможет определить доминирующие частоты в песне, найти пики и сравнить с «чистыми» записями в базе. Конечно, это не поможет если шум слишком сильный.
Вот такая магия стоит за Shazam’ом. Если интересно, как это все устроено изнутри, автор дополнил материал ссылками на свое приложение для распознавания звука abracadabra, созданного по тем самым документам из 2003.
Киберспорт для серьезных людей
Мальчик: смотрит чемпионат по «Доте»
Мужчина: смотрит чемпионат по Excel
👀 Да, владение старым добрым Экселем — тоже киберспорт со своим чемпионатом в Лас-Вегасе, спонсорами и призовым фондом в 15 000 долларов.
В финале Microsoft Excel World Championship, который прошел 7-9 декабря приняли участие 16 человек, настоящих профи по табличкам и формулам. Им давали задания, специально спроектированные так, чтобы для решения не требовалось специальных профессиональных знаний, кроме знакомства с функционалом Excel. Например, рассчитать, сколько минералов можно намайнить на астероиде в игре Eve Online. Все данные для расчета участникам предоставляли, а дальше надо было применить знания формул, смекалку и логическое мышление.
Каждое задание было разделено на несколько уровней с возрастающей сложностью и дополнительными вопросами. На решение — 30 минут.
🔥 В общем, это было захватывающе. Победил аналитик из Сиднея Эндрю Най – третий раз подряд! На сайте компании, в которой он занимает должность директора, уже выложили целое интервью с ним.
3 способа выбрать СУБД
Рекомендуем полезную статью по выбору СУБД на Хабре — без воды, только самое главное: немного теории и полезная шпаргалка, которую стоит сохранить себе.
1️⃣ Классификация СУБД по типам с примерами и указанием, для каких задач они подходят, а с какими справляются плохо.
2️⃣ Технические параметры разных систем: структура данных, масштаб, характер обращений, сертификация, тип лицензии и так далее.
3️⃣ Теорема САР. Согласованность данных, доступность, устойчивость к разделению — выберите два и найдете подходящую СУДБ.
Но самое крутое — это, конечно, схема, которую нарисовали авторы, чтобы все эти знания было удобнее применять на практике. Они предлагают аж три способа подбора подходящей СУБД. Самый простой из них — отвечаете на 5 вопросов и тут же получаете рекомендацию, какая система оптимально подойдет под ваш запрос.
Можно придраться, что не упомянули какую-нибудь СУБД или, наоборот, что пытались объять необъятное и предложили слишком много вариантов, когда можно было ограничиться самыми популярными. Но не будем — идея хорошая и исполнение тоже.
Немного Youtube-аналитики
👀 Как вы думаете, у какого видео на Youtube больше всего просмотров — аж 13 миллиардов? Ответ заставит вздрогнуть всех, у кого есть дети: Baby Shark Dance.
❤️ А самое залайканное видео — Despacito с 52 миллионами лайков.
А теперь перейдем к более узким категориям. Догадаетесь, какой игровой трейлер набрал больше всего просмотров (> 100 млн) и лайков (>9 млн) в первые 24 часа?
Подскажем:
🔵Он вышел вчера.
🔵Эту игру мы ждем 10 лет…
🔵…и подождем еще больше года — она выйдет в 2025!
Ну, конечно, это трейлер Grand Theft Auto VI!
Ладно, признаемся, весь этот пост мы затеяли только для того, чтобы написать про GTA. Канал-то про аналитику и данные, так что пришлось что-то придумывать, но пропустить такой инфоповод мы не могли.
Карта скиллов продакта 3.0
Однажды много классных людей объединились и написали в Figma большой гайд по продакт-менеджменту. Это было в феврале 2023, и с тех пор документ расширился, дополнился и стал еще лучше. Осенью вышла версия 3.0, в которой авторы охватили больше 4000 тем.
Чтобы пользователь в них не путался, ему на выбор предлагают три способа навигации:
🔵 по фазам жизненного цикла продукта — стратегия, разработка, аналитика, выход на рынок, поддержка;
🔵по навыкам — работа с продуктом, с клиентом, с партнерами и командой, опять аналитика и выстраивание процессов,
🔵 по грейдам от джуна до топа — вариант специально для тех, кто хочет прокачаться и построить карьеру.
Сам документ разделен на блоки, с перекрестными ссылками на другие разделы, схемами, определениями и полезными материалами. В общем, это действительно целая карта.
👀 Для кого это?
В первую очередь — для продакт-менеджеров любого уровня. Но не только для них: документ настолько обширный, что даже человек, не занимающийся непосредственно запуском продуктов, найдет что-то интересное. Например, в блоках про аналитику или про взаимодействие с клиентами или коллегами.
И в конце концов, это просто крутой и стильно оформленный документ. Отличный пример удобного и продуманного гайда. 🔥
Спасти полмиллиона долларов за пять минут
Поучительная история про эффективный менеджмент и дыры, в которые с невероятной скоростью утекают деньги.
🔜 Несколько лет назад компания N решила, что ей нужна своя платформа для аналитики, чтобы стать более data-driven. Узнали, согласны?
Компания, в числе прочих, наняла на работу дата саентиста, недавнего выпускника. Тот обнаружил две вещи:
1️⃣ Дата саенсом в его работе и не пахло.
2️⃣ На самом деле, компании N дата саенс был вообще не нужен, а нужно было для начала сократить раздутый штат. Вместо этого компания наняла кучу важных консультантов. Узнали, согласны?
Тем временем обещанная платформа для аналитики все не строилась и не строилась. Тот самый дата саентист успел уйти из компании, мир успел сотрястись от ковида, а платформы все не было. Узнали, со… ладно, больше не будем.
🔜 Дата саентист вернулся в компанию N спустя несколько лет, потому что ему нужны были деньги, а компании, из которой регулярно сбегали сотрудники, нужны были люди.
Там он увидел вещи, которые вам и не снились. Хаос технического долга у многострадальной платформы, которая только начала работу. Никаких ранее обещанных функций у нее не было, зато был файл, сносящий прод при переносе в другую папку. А еще база данных на Snowflake, которой платили, пока компьютеры, на которых хранились базы, были включены — причем они были запрограммированы на 10 минут простоя после каждого запроса.
Чувствуете, куда все идет?
Наш дата саентист не знает точный бюджет, выделенный на работу с данными, но предполагает, что рассчитывали на сумму около 200к долларов в год, а приблизились к миллиону. Отказ от простоев помог сэкономить около 500к, но успел потрепать автору истории нервы.
🔜 Кажется, что мы рассказали все самое интересное, но это не так. Рекомендуем почитать текст целиком и особенно рекомендации рассказчика, что делать в такой ситуации.
Спойлер: ничего, а то придется ходить на встречи и делать презентации, чтобы объяснить, как вообще это получилось, за невпечатляющую прибавку к зарплате.
Окно в Европу и не только
Window Swap — сайт, где за один клик можно перенестись из Бангкока в Лондон, а из Лондона — в Стамбул.
🔵Пользователи со всего мира делятся 10-минутными видео с видами из своих окон. Чаще всего в кадре не захватывающие необычные пейзажи, а обычные городские улицы, но в этом и есть весь смысл. Window Swap показывает не глянцевые рекламные картинки, а реальную жизнь, которую видят из своих окон обычные жители разных городов.
🔵А еще в кадре иногда появляются коты авторов видео!
🔵Проект появился — угадайте когда? — в 2020 году, в Ковид, когда все мы сидели взаперти, но новые видео туда присылают до сих пор. У него есть платная версия с возможностью делать создавать плейлисты или искать окна в определенных локациях.
🔜 На наш взгляд, бесплатной достаточно, чтобы позалипать вечерком и отвлечься от работы, данных и дашбордов!
Ждем рынок ИИ-маркетплейсов?
Рассказываем, если вы не знали, и напоминаем, если забыли, — в конце сентября Cloudflare и Hugging Face объявили о начале сотрудничества.
🔜 Cloudflare — это крупная CDN-компания, чей логотип мы все хотя бы раз видели на капчах. У нее также, помимо всего прочего, есть своя платформа для разработчиков.
🔜 Hugging Face — сообщество ИИ-энтузиастов и огромный каталог датасетов, нейросетей и использующих их приложений.
Самые востребованные модели Hugging Face станут доступны на платформе для разработчиков Cloudflare, уже оптимизированные и готовые к использованию. Cloudflare же со своей стороны предоставит вычислительные мощности для бессерверного инференса благодаря их новому проекту Workers AI.
В результате, особенно когда Workers AI выйдет из стадии открытой беты, интегрировать ИИ в приложения станет проще и дешевле. Разработчикам не придется беспокоиться о налаживании инфраструктуры — бери и пользуйся.
🔜 Об этой новости нам напомнила OpenAI со своей конференцией DevDay. Среди представленных на ней проектов был и GPT Store — магазин пользовательских моделей, который должен запуститься где-то в ноябре.
ИИ становится если не понятнее, то доступнее. Чтобы получить нейросеть под свои нужды, уже необязательно глубоко разбираться в машинном обучении, тратить деньги на дорогое железо и время. Конечно, если запрос специфический, сделать это придется, но число готовых и почти готовых решений постоянно растет, а компании вроде Cloudflare стремятся сделать их использование максимально простым и удобным. Вот уже и маркетплейсы появляются — думаем, что их со временем станет только больше.
👀 А как думаете вы? Есть перспективы у рынка ИИ-маркетплейсов или не взлетит?