28778
Мне платят за то, что я говорю другим людям что им делать. Автор книги https://www.manning.com/books/machine-learning-system-design https://venheads.io https://www.linkedin.com/in/venheads
Товарищ наткнулся на мою дискуссию в LinkedIn касаемо ужасов прослушивающих нас аппараты и на основе его комментария решил выложить, в комментариях выложу текстом
История про системдизайн сторону подслушивания для рекламы вотсапом, которую ты написал в Linkedin- это вообще топовый пост для твоего канала.
Как минимум хочется в закладки добавить и кидать сразу всей пастой в друзей, которые начинают со мной говорить об этом
В моем ответе ошибка/оговорка, не tts, но stt (speech to text)
Прочитал блогпост Coinbase: Scaling Experimentation for Machine Learning at Coinbase. Хорошо, что я больше не работаю в Blockchain.com, иначе бы сказали, что ругаю конкурента, но блог пост позорный, уровень информативности и нововведений практически нулевой. Настолько, что мне даже нужна помощь, может быть я просто что-то пропустил или не понял? Но начальное заявление : we've built a uniquely elegant approach that combines universes with simple configurations for our ML engines
Не бьется с тем что дальше рассказывают - неслыханное дело, дошли до такой истории как бакеты и что самое смешное, чуваки даже не знают про пересолку:
Hashing in a universe is quite similar to hashing in a split test, using the following formula:
slot_num = hash(universe_name + universe_version + user_id) % num_slots
However, one important aspect to consider is that universe hashing remains consistent over time. This means that historical tests might have a slight influence on the results of future tests. For instance, if a test in slot 1 performs poorly and causes all new users to stop using the app, future tests in that slot could be negatively affected.
To address this issue, we use the "universe version" to allow for rehashing the entire universe when no experiments are running. We've also explored a more advanced technique called "hashing on demand." In this approach, creating a new slot pulls a user group randomly from the entire unused user space rather than from a pre-allocated space. When the slot is emptied, the user group is then returned to the unused user space.
В свое время с @opaOz в Яндексе пересаливаемый конвеер на 1000 бакетов занял у нас целую неделю на имплементацию (вместе с дизайном) и делали сколько угодно экспов в месяц.
На мега платформе coinbase теперь могут гонять до 14 экспериментов в месяц! (пиковое значение)
Еще как мне кажется, чуваки не используют разные слои, хотя на слайде есть Function layer - в тексте про это ни слова
В целом понятно, написали потому что нужно промо, но если я вдруг что-то пропустил, напишите в комментах как я не прав
Через 25 минут поговорим здесь про ML System Design на русском, вопросы и ответы. Вход свободный
Читать полностью…
Когда я только переехал в Лондон, у меня был план. Согласно плану если после первого года жизни мне там нравится, я делаю визу Global Talent и получаю бессрочный вид на жительство не через 5, а через 3 года. Так я и поступил, в декабре 2021 года обратился к ребятам из Immigram, которые все сделали за меня - от меня было только 3-4 раза поговорить с ними по видео и рассказать какой я классный. В начале мая 2022 года получил свою визу.
Не думаю что кто-то удивился , узнав что в 2022 году спрос ну услуги Immigram и любой другой конторы, помогающий с визами вырост в десятки из раз от людей из Росси, Украины и Беларуси.
Понятное дело, пропускная способность настолько не выросла, отсюда изменилась и скорость работы.
Они проанализировали свои сотни успешных и не очень кейсов и на их базе выкатили платформу где можно самостоятельно собрать себе кейс на Global Talent не занося деньги никаким юристам (непонятно правда в чем тут их выгода). Говорят, что О1 идет следом и уже в разработке.
Сегодня они запустились с ней на Product Hunt - и им нужна поддержка.
# Рецензия: Machine Learning System Design
Валерий Бабушкин и Арсений Кравченко выпустили в early access книгу про дизайн ML систем. До 9 мая можно получить скидку 45% по промокоду mlkravchenko.
Мне повезло получить копию для рецензии, я прочитал и презентую вам свой отзыв.
Первым делом спойлер: это не про MLOps! Многие могли подумать, что в книге будут учить строить пайплайны на Spark, или оптимизировать инференс нейросетей или что-то в таком духе. Нет. Эта книга про более важный вопрос: как сделать, чтобы ML проект не оказался на полке?
Вот как авторы определяют ML System Design:> MACHINE LEARNING SYSTEM DESIGN is a complex, multistep process of designing, implementing, and maintaining machine learning-based systems that involves a combination of techniques and skills from various fields and roles
То есть книга о том, как строить ML системы от идеи до планирования до реализации до мониторинга и развития. Сейчас доступны пять глав из шестнадцати. Они покрывают три темы: введение в ML System Design, создание дизайн документа, выбор метрик.
Авторы рассматривают вопросы на верхнем уровне. Лишь иногда вдаются в детали для иллюстрации общих идей. Это хорошо работает, потому что для решения вопросов вроде “как понять, какую систему надо построить?” примеры с кодом не нужны. Особенно ценно, что каждая рекомендация сопровождается реальным кейсом из опыта авторов.
Кому подойдет эта книга? Middle ML инженерам, которые хотят вырасти с уровня реализации фич до уровня стратегического планирования. Senior ML инженерам и тимлидам как настольная книга.
Кому она не подойдет? Я считаю, что она не для начинающих: слишком высокий уровень абстракции. Так же она требует базовых знаний про ML инжиниринг в индустрии, или хотя бы понимания, зачем он нужен.
Лично я даже прочитав доступные пять глав почерпнул для себя много полезного. Например, в книге описано как создать дизайн документ системы. Это лучший подход к сбору требований к ML решению, что я видел. Я буду применять это в работе на текущем проекте. Подводя итог, я думаю, что скоро описанное в книге станет стандартом индустрии.
Напомню, что это рецензия лишь на первые пять глав. Дальше авторы обещают больше хардкора. Книгу можно найти здесь, промокод для скидки 45% mlkravchenko.
@boris_again
По многочисленным просьбам продолжение стрима будет 27 апреля, но не в 15, а в 18 по Лондону
Читать полностью…
Хочу посоветовать вам толковый канал человека, который реально занимается AI и имеет 10+ публикаций на топовых конфах:
Артем — Senior Research Scientist в элитной лабе по генеративному AI, Meta GenAI в Цюрихе.
Вот как Артем описывает свой канал:
Я простым языком рассказываю о нейронках, AR/VR, генеративном AI и других новейших технологиях без преукрас.
В канале вы узнаете:
· Про самые интересные прорывы в AI с технической точки зрения эксперта (ChatGPT, Stable Diffusion и пр.)
· В чем надо разбираться, чтобы нейронки и AI не дали вам пинка с работы
· Примеры применения AI в прикладных проектах
· О работе AI ресерчера в Meta изнутри
Короче говоря, чтобы оседлать AI хайп, подписывайтесь: @ai_newz
На сон грядущий, видео про метрики и функции потерь при дизайне мл систем, а также о неизбежности смерти
Читать полностью…
https://uberkinder.notion.site/A-B-8bcc0fdc69bb4a0997a7d767e1a9d94b
Читать полностью…
Сегодняшнее выступление могло и не состояться. Может показаться что я делал становую тягу, но нет, на 16-м повторении штангу не удалось выжать и пришлось скатывать ее через себя
Читать полностью…
Анонс подкаста где я недавно засветился
Нам часто говорят, что мы выпускаем недостаточно много контента, и поэтому вам скучно и нечего смотреть. Исправляемся. Вот действительно крутое видео — новый выпуск 600к в секунду — подкаста про айтишные деньги.
Теперь со всех сторон разбираем криптовалюты. Какие покупать, какие не покупать, на чем зарабатывать, в чем копить, в чем переводить. Есть ли смысл майнить, есть ли толк в NFT, не поздно ли уже начинать входить в крипту, как не сдохнуть от тревоги при перепадах курсов, и что там ждет в будущем.
Здесь будет много разных историй. Василиса Версус расскажет, как делает крипто стартапы в Португалии, Андрей Платов — как поднял 7 миллионов долларов на биткоинах, и как зарабатывает по два битка в месяц (Игорь - надеюсь ты это читаешь). Валера Бабушкин покажет перспективу большой корпорации — он работает в Blockchain com, а Ян Чикнизов из Alfa Digital расскажет о своих приключениях в майнинге.
Смотрите быстрее, обильно комментируйте и заставляйте смотреть друзей
https://www.youtube.com/watch?v=zMRHSF4vpt4
Говорят наша книга вошла в лист топ-10 новых релизов
I wanted to give you some exciting and good news; your book was on Manning's Top 10 Titles list last week, making it one of the most popular and best-selling releases in our catalog.
This is a great achievement and something that you should celebrate with your network.
С другой стороны эти же люди недавно сказали что надо бы продать чуть больше копий за оставшееся до 5 недель с релиза время, чтобы они были довольны
Поэтому покупайте книгу сейчас. Помните, книга - лучший подарок.
Вышло продолжение ответов на вопросы про А/B тесты, ниже анонс от Карпов Курсес:
Всегда ли для проверки гипотезы необходимо использовать A/B-тест? Можно ли сравнивать попарно несколько разных категорий пользователей? Какие есть подходы к повышению чувствительности A/B-тестов?
На эти и ещё более узконаправленные вопросы, которые вы задавали Валерию Бабушкину, ответим сегодня во второй части «10 вопросов»
Прочитал небольшую статью Neural Networks are Decision Trees.
Краткая идея простая - we have shown that neural networks can be equivalently represented as decision trees. The tree equivalence holds for fully connected layers, convolutional layers, residual connections, normalizations, recurrent layers and any activation.
Приводят алгоритм как сконвертировать сетку в дерево. В целом, почему бы и нет? Полезного особо не вижу, но удивить друга вполне можно
Видео второго стрима, в котором мы узнаем про секреты тайм-менеджмента Игоря
Читать полностью…
Хочу поделиться ссылкой на Шаблон документа для дизайна ML-систем от телеграм-канала Reliable ML
Насколько я понял, Ира железной рукой насаживает этот шаблон как стандарт в учебной системе для молодых МЛщиков, хотя мы с Игорем знаем, что никаких молодых МЛщиков не будет
Случилось то, чего я долго ждал, в ранний доступ вышла наша с Арсением книга: Machine Learning System Design With end-to-end examples
Сейчас доступны первые 5 глав (в черновиках есть еще 8), каждую вторую неделю планируем выкладывать по новой главе и править опечатки в выложенных.
Скидка на книгу до 9 мая: MEAP launch code: mlbabushkin (45% off Machine Learning System Design in all formats)
Читаю старую статью про churn prediction из 2016 года. Статья отличная, так как я проповедаю практически тоже самое + еще кое-что сверху. Цитата:
The last point is the most important one. One can argue that ‘churn’-modeling is something you should only be doing if you’re in a clear-cut subscription based service. Even then it might be hard. The Netflix-class action lawsuit, where shareholders felt mislead over reported churn-rates, showed that all stakeholders seems to be confused about how to define churn. The court even dropped the case concluding that there’s no official definition of it.
Второй стрим с Игорем проведем 27 апреля в 15 по Лондону.
В прошлый раз поговорили про рефлексию языковых моделей, немного про алайнмент(нужно развить тему дальше), автономных агентов и неполную модель мира. Так же затронули нечеловеческие условия работы на заводах в викторианскую эпоху и сходство между генеративным контентом и космическим мусором. Даже страшно представить что бы мы обсуждали, будь у Игоря высшее образование, благо у нас была затронута только четверть из подготовленного
Сегодня доставили новую мега штуку для улучшения сна
Накидка на матрас, которая может холодить до 12 и греть до 43 градусов, имеет зонирование и не просто держит температуру, а подстраивается под тебя, изменяя температуру во время ночи, чтобы максимизировать производительность сна
Говорят, настраивается под тебя около 10 дней, по итогам расскажу что да как
Мега матрас/кровать к сожалению продают только в США
В четверг, 13 апреля, в 15 по Лондону делаем аудио чат в этом канале вместе с Игорем планируем разбирать различные твиты и контр-твиты, вроде этого, где делаются следующие заявление:
Relax.
The industrial revolution changed every aspect of daily life for every human on earth. The only other comparable event in our history was the adoption of agriculture.
The invention of HTTPS was a much bigger turning point than GPT-4 can ever be.
Или
This seems very short sighted. In the span of a few months we’re seeing insane evolution. I think it’s becoming quite obvious that GPT / LLMs will keep evolving at an even faster pace and affect almost every aspect of our lives deeply.
Industrial Revolution-level? In terms of jobs created / destroyed and impact on society, of course it will be, possibly more.
Будем высказывать свое бесценное мнение, троллить, провоцировать и отвечать на вопросы слушателей. Подключайтесь
Прочитал на днях Bayesian Time Varying Coefficient Model with Applications to Marketing Mix Modeling - даже и рассказать почти нечего, поэтому статью не рекомендую. Если кратко - накинем доп параметров, чтобы коэффициенты имели разный вес во времени и заживем, а метрики будем использовать такие - что и не проверить
Читать полностью…
Вышло наконец-то видео, где я экспромтом отвечаю на вопросы по АБ
Помимо вышедшего ролика по АБ-тестам хочу напомнить и про наш HARD ML, который теперь можно купить и по отдельным модулям - помогите безработному Игорю
– Продвинутое A/B-тестирование: повторяем базу, потом учимся снижать дисперсию для ускорения тестов, раскроем много технических нюансов по организации большого числа тестов. Структурированная подача и математические шутки от Саши Сахнова — в наличии.
– Ранжирование и матчинг: Интуитивное объяснение лямбд в LambdaMART и KNRM для тех, кто уже знает базу вроде pytorch. Совсем новичкам, конечно, будет сложно
– Uplift-моделирование: больше всего будет полезен тем, кто близок к маркетингу. Даёт полное представление о том, что это вообще такое и с какой стороны начинать.
– Сценарии деплоя ML-сервисов: интересен для расширения кругозора, потому что самостоятельно вы к деплою скорее всего не подступитесь дальше «сделать по образу и подобию»
Ну и ценообразование где Стас регулярно матерится и его приходится вырезать
На фоне этого подкаста нельзя ни сказать следующего - 6 апреля мой последний день в компании Blockchain.com, как вернусь из Ташкента - расскажу про свои собеседования в одну компанию, которые длились четыре месяца, включали в себя четырехчасовое интервью с двумя психологами и чем это все закончилось
Читать полностью…
ML GAP is coming! 🤩
Lineup of speakers:
👾 Speaker: Valeriy Babushkin — Vice President of Data Science at Blockchain.com, Kaggle competition Grandmaster and owner of top places in international ML competitions.
Topic: “Metrics and Losses when designing machine learning systems”.
📌 Language: English
_______
👾 Speaker: Azamjon Nemadaliev — AI expert and Senior Software Engineer at Energy Quantified, European Energy Market Association.
Topic: “General AI: Is data science a safe career to pursue?”
📌 Language: English
____
👾 Irina Elisova — ML Developer at MTS and Team Lead Machine Learning Engineer.
Topic: “Definition of uplift models”
📌 Language: Russian
___
📅 Date: 01.04.2023
🕘 Time: 14:00
📍 Location: C-space, Yunusabad
Don't miss out on this opportunity to gain valuable insights into the world of AI and data science.
💡Register now to reserve your spot!
See you at ML GAP!
Меня на днях номинировали на некую премию в Лондоне за платформу А/Б тестов в блокчейне. Поэтому я решил воспользоваться админ ресурсом и контролем над СМИ и прошу вас проголосовать за меня
Читать полностью…