4047
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
О, вот это нормальная тема. Часто спрашивают какая же модель/технология так озвучивает и сколько стоит. Вот в принципе таблица которая позволяет плюс минус оценить качество. Надо бы еще цены добавить, но для себя можете сами глянуть и проверить что топ2 модель сильно дешевле eleven labs.
Читать полностью…
Из прекрасного
https://petapixel.com/2024/06/12/photographer-disqualified-from-ai-image-contest-after-winning-with-real-photo/
Публикую вам черновик своей серии. Начинаю с retention. Кидайте камнями. Писать надо много. Начал по чуть чуть.
Как думаете надо переводить на англ?
https://telegra.ph/Retention-is-all-you-need-Not-really-06-11
Мои пять копеек к анонсу:
- первый час презентации про анонс сайд баров, перекраски цветов иконок и всякой фигни можно пропустить, завезли Android
- понравились жесты в AirPods, кивнул да, помотал головой нет, этого ждал прям давно
- наконец-то мой мак начнет принимать пуши с телефона, и тестировать станет удобнее
Дальше про AI. Маск сгорел от privacy first компании :) ну и правильно. Но в целом я пока не очень понимаю как это все будет работать по качеству. Тут важно насколько система будет адаптироваться и будет ли. Или мы заморозили веса в памяти и все? Что я буду отдавать в OpenAI?
Работать будет только на последних девайсах. Оно и правильно. Ведь компания до сих пор остается продавцом железа и нужно повышать свои продажи. Поэтому они и не думаю про старые устройства.
Одной строкой - подкатил новый мистраль для кода, конкуренция растет.
Читать полностью…
Кому интересно ребята собрали раунды в AI landscape. Так для изучения.
Читать полностью…
Вообще все работы антропика очень интересно читать. И сегодня есть новенькое.
Про интерпретируемость вышла новая серия.
Предыдущая серия считаю одна из лучших вообще работ по понимаю как работает трансформер.
Тем временем Андрей Карпаты похоже скоро запускает курс напиши свою LLM с нуля и узнай все, что с ней можно делать. Горячо рекомендую, мне его видео кажутся самыми понятными и информативными. Такими и должны быть обучающие курсы.
Читать полностью…
Пятничные данные о зарплатах в США (в год, запятые там где надо, да да вы не ошиблись)
Читать полностью…
А вот и покупки пошли. Сразу видно растет корпорация.
https://openai.com/index/openai-acquires-rockset/
Ну что ж тем временем сбежавший из OpenAI Илья основал новую компанию и собирается делать супернадежный AI.
Читать полностью…
А что вы знаете о культуре и мотивации в вашей команде?
Читать полностью…
Voodoo купила социальное приложение BeReal
Видимо не росло годик. Думаю хорошая сделка. Платили за пользователей. 500M deal.
Скоро подкатят прекрасные новости, поэтому я немного выпал :) будет много контента связанного с этим
А пока мемчик
Кому было интересно, ну вообщем начали тренировать новую модель OpenAI - наверное GPT5Q или около того. Известно это стало из новости об образовании safety комитета, ну правильно боятся что натренируют снова ерунды по всяким чувствительным вопросам.
Так же до меня дошло почему Игорь Бабушкин в xAI такой круто и видимо потому что он написал вот такую работу, которая говорит что мол есть такой эффект Grokking (оттуда и название модели Илона видимо), якобы это такая продвинутая генерализация даже если непосредственно таких данных вы в сетку не кормили (Петя друг Вани. Ваня 1999 года рождения. Тогда можем сказать что Ваня 1999 года рождения друг Пети.). Тема интересная так как смахивает на то, что какие-то логические цепочки можно получить скормив ну очень много подобного рода данных. Вы кормите и данные и некоторые зависимости между ними, а модель при очень долгом обучении на таких данных начинает эти зависимости неким образом соединять выводы новые правила (импликация и прочие штуки).
И вот выходит новая работа которая очень хорошо развивает эту тему.
Авторы изучают как же так иногда выходит получить гроккинг (а-ля магия), а иногда нет. Если кратко, то эффект по сути сводится к тому что мы можем получить связи OOD (out of distribution) имея много примеров и связей между ними и потом на них очень долго обучаем. Хороший обзор.
Еще крутая тема это Super-alignment но о ней потом.
Неплохая метрика на средний чек в series B https://x.ai/blog/series-b
Читать полностью…
Google раскатил свои генеративные ответы в поиск(только в сша кажется). Добавил конечно же рекламку. Но и ответы жуть, напоминает релиз их модели генерации изображений. Похоже тоже откатят.
Читать полностью…
Обработал часть вопросов, которые собирал. Есть парочка где надо прям побольше побольше времени.
https://telegra.ph/AMA-05-22-20
https://www.sequoiacap.com/article/pmf-framework/
Неплохой фреймворк про product market fit. А вообще был в Шотландии несколько дней. Пару фото вам и крайне советую посетить.
Приступаем к постингу :)