1914
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Авторы того самого бенчмарка подвезли роутинг для ваших запросов в LLM, чтобы понять в какую лучше сходить с вашим prompt.
Читать полностью…
Если в вашем продукте больше фичей (кнопок и действий) чем DAU, советую задуматься.
Читать полностью…
Ожидайте в 2024, ой 2025, ну когда там дешево inference будет делать и все падать не будет, а в 2026
Пост по итогам моих собеседований в Google & Microsoft. Только спустя 10 лет. Именно 10 лет назад мне отказали в Google, и позже взяли в Microsoft (команда Yammer).
В то время еще не было повального количества курсов и прочей мути про Product Management, ну либо мне было 23 года и я не особо был в теме. Но работал в Яндексе и считал, что крутой и достоен попасть в самый топ топов и на вершину хит парада - Google. Я не особо готовился, просто подал резюме на вакансию в Швейцарии без специфики (Product Manager). На удивление получил отклик и процесс начался. Кстати говоря собеседование было тупо по телефону и причем все 3 из вроде 4-5, на оффсайт меня не взяли. 90% вопросов были настолько жестко технические, что я понял, надо готовиться и повторять все что делает Google и понимать как работает каждый их продукт. Да и еще алгоритмы там всякие в голове надо было штурмовать. Знаменитые отсылки к подсчету мячиков и всякие другие головоломки. И я горел с этого просто жесть (сейчас тоже многие горят кстати).
Прошло пол года, я осознал что надо готовиться и пошел в Microsoft и вакансия такая же только команда была известна, и на этот раз я прочитал книжку Cracking PM Interview. И в этот раз спустя 4 раунда получил приглашение. Но отказался по личным соображениям - типа Microsoft не так круто.
Но к чему это я. Раньше бесился и думал нафига эти задачки и все такое, ведь надо исследовать гипотезы, строить а/б тесты или что там еще говорят важно. А спустя 10 лет понял, что на самом деле мир Software Development это про людей (как и все остальное), а работаем мы с разработчиками и именно с ним нужно строить и если ты друг не можешь и не понимаешь никакое знание фреймворков не поможет, а вот знание алгоритмов поможет и еще как. Я бы даже сказал можно нафиг выкинуть все знания подходов к продуктовому менеджменту, но если ты можешь сказать чего хочешь и построить это с командой это вин, остальное детали.
Советую книженцию - How Google Works
Ваш капитан да да (с)
О, вот это нормальная тема. Часто спрашивают какая же модель/технология так озвучивает и сколько стоит. Вот в принципе таблица которая позволяет плюс минус оценить качество. Надо бы еще цены добавить, но для себя можете сами глянуть и проверить что топ2 модель сильно дешевле eleven labs.
Читать полностью…
Из прекрасного
https://petapixel.com/2024/06/12/photographer-disqualified-from-ai-image-contest-after-winning-with-real-photo/
Публикую вам черновик своей серии. Начинаю с retention. Кидайте камнями. Писать надо много. Начал по чуть чуть.
Как думаете надо переводить на англ?
https://telegra.ph/Retention-is-all-you-need-Not-really-06-11
Мои пять копеек к анонсу:
- первый час презентации про анонс сайд баров, перекраски цветов иконок и всякой фигни можно пропустить, завезли Android
- понравились жесты в AirPods, кивнул да, помотал головой нет, этого ждал прям давно
- наконец-то мой мак начнет принимать пуши с телефона, и тестировать станет удобнее
Дальше про AI. Маск сгорел от privacy first компании :) ну и правильно. Но в целом я пока не очень понимаю как это все будет работать по качеству. Тут важно насколько система будет адаптироваться и будет ли. Или мы заморозили веса в памяти и все? Что я буду отдавать в OpenAI?
Работать будет только на последних девайсах. Оно и правильно. Ведь компания до сих пор остается продавцом железа и нужно повышать свои продажи. Поэтому они и не думаю про старые устройства.
Одной строкой - подкатил новый мистраль для кода, конкуренция растет.
Читать полностью…
Так, мысль выходного дня. Почему-то все эти большие LLM провайдеры смотрят вот в этот бенчмарк. Называемый ChatArena. Это там где вы выбираете ответ из двух LLM, ну и типа ранжируете таким образом через попарное сравнение потом все все все модельки.
Считается что это такой прям честный лидерборд. Но вот кто сидит на этом сайте? Я очень сомневаюсь, что там сидят ну скажем «простые ребята с завода». То есть смещение оценки относительно аудитории не происходит ли? Не считаем ли мы что такой сэмплинг метод ну так себе работает?
Или почему так доверяем этому бенчу? Может тут у нас в канале есть кто-то, кто может мне за это пояснить.
Пока самый сложный вопрос для всех, который я задаю на собеседовании это "Что будет когда умножишь вектор строку на вектор столбец"
Читать полностью…
Одной строкой. Spotify запускает свою платформу для экспериментов как service.
Читать полностью…
Ну я бы начал сразу 7 планировать, типа там уровень чего можно сразу заложить?
Узнаю подход Microsoft 😏
Тем временем Андрей Карпаты похоже скоро запускает курс напиши свою LLM с нуля и узнай все, что с ней можно делать. Горячо рекомендую, мне его видео кажутся самыми понятными и информативными. Такими и должны быть обучающие курсы.
Читать полностью…
Пятничные данные о зарплатах в США (в год, запятые там где надо, да да вы не ошиблись)
Читать полностью…
А вот и покупки пошли. Сразу видно растет корпорация.
https://openai.com/index/openai-acquires-rockset/
Ну что ж тем временем сбежавший из OpenAI Илья основал новую компанию и собирается делать супернадежный AI.
Читать полностью…
А что вы знаете о культуре и мотивации в вашей команде?
Читать полностью…
Voodoo купила социальное приложение BeReal
Видимо не росло годик. Думаю хорошая сделка. Платили за пользователей. 500M deal.
Скоро подкатят прекрасные новости, поэтому я немного выпал :) будет много контента связанного с этим
А пока мемчик
Кому было интересно, ну вообщем начали тренировать новую модель OpenAI - наверное GPT5Q или около того. Известно это стало из новости об образовании safety комитета, ну правильно боятся что натренируют снова ерунды по всяким чувствительным вопросам.
Так же до меня дошло почему Игорь Бабушкин в xAI такой круто и видимо потому что он написал вот такую работу, которая говорит что мол есть такой эффект Grokking (оттуда и название модели Илона видимо), якобы это такая продвинутая генерализация даже если непосредственно таких данных вы в сетку не кормили (Петя друг Вани. Ваня 1999 года рождения. Тогда можем сказать что Ваня 1999 года рождения друг Пети.). Тема интересная так как смахивает на то, что какие-то логические цепочки можно получить скормив ну очень много подобного рода данных. Вы кормите и данные и некоторые зависимости между ними, а модель при очень долгом обучении на таких данных начинает эти зависимости неким образом соединять выводы новые правила (импликация и прочие штуки).
И вот выходит новая работа которая очень хорошо развивает эту тему.
Авторы изучают как же так иногда выходит получить гроккинг (а-ля магия), а иногда нет. Если кратко, то эффект по сути сводится к тому что мы можем получить связи OOD (out of distribution) имея много примеров и связей между ними и потом на них очень долго обучаем. Хороший обзор.
Еще крутая тема это Super-alignment но о ней потом.