12936
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
С 2 по 17 ноября пройдет XLABS AI Hack: хакатон, в котором участним предстоит разработать нейросеть для создания вокала на русском языке по текстовым инструкциям.
👉 Могу участвовать команды из РФ и РБ от 2 до 5 человек.
👉 2 недели на разработку решения.
👉 Призовой фонд 2 миллиона рублей.
👉 Возможность стать сотрудником в передовой AI-лаборатории и выступить на международной конференции в Минске.
👉 Первый этап онлайн, а защита решений финалистов проходит очно в Москве.
👉 Можно найти команду чате хакатона.
Редко бывает хакатон, где нужно решать необычную DL задачу, очень круто.
Подавайте заявки до 1 ноября 23:59
https://diamond-wm.github.io/
Играем в диффузионный CSGO
Познакомился с сетями Хопфилда в гениальном курсе по теории информации от David McKay. Невероятно прикольная штука которая пока не взлетела и не нашла практических применений. Самоорганизующаяся память! Лично для меня выглядит как то чего не хватает нейросетям, а RAG и обращения к внешним хранилищам это костыли, которыми мы пытаемся закрыть эту потребность.
Есть какие-то попытки привнести их в современные нейросети и даже слой в Pytorch. Никак не доберусь прочитать, но постараюсь сделать обзор.
В общем сети Хопфилда это покемон за которого я болею
Та самая компания которая делает посредственные оверпрайснутые электрокары известные ответственностью за 2/3 всех auto assist аварий, кривым качеством сборки и тем, что ломаются чаще Dacia Logan. Но при этом каким-то образом едва ли не доминирующая на рынке
Читать полностью…
Нобелевку по физике дали... машинлернерам Хинтону и Хопфилду
https://www.interfax.ru/world/985736
Решил посмотреть, что творится в мире книг, которые не должны существовать.
Первая страница книги "More Effective ChatGPT Prompts..." и там 👀
Многие спросили про использование LLM для написания книги.
Была такая история:
- Привет, бот. Смотри, я пишу такую книгу, вот концепция, для кого книга, описание стиля, каркас главы, семпл текста. Мне не нравится пример в первой главе, да и вообще хотелось бы сквозное повествование: чтобы в течение всей книги сохранялся один сеттинг и все примеры имели к нему отношение. Нужно, чтобы тема была понятная каждому, интересная и прикольная, но чтобы про нее были реальные данные и не выглядело совсем игрушечно.
Что сказал сильный ИИ 🧠🧠🧠:
- Братан, ты по адресу. Я знаю тему, которая тебе нужна: ИИ в садоводстве. Возьмёшь датасеты про ирисы и вино. Всем будет интересно и полезно. Можешь не благодарить и $100 чаевых себе оставь, банкет за мой счет
🎆🎆🧠🤯
VLM в Нейро
Сегодня у нас большое обновление в Поиске. В том числе, команда VLM тоже приняла в нём участие!
Написали с коллегами пост на хабр про то, как мы затаскивали VLM в Нейро (писал про релиз здесь). В этот раз мы немного раскрыли подробности про то, как работает Нейро, где и зачем потребовалась там мультимодальность. Припорошили немножечко теорией про VLM.
Больше ни слова в посте, приятного прочтения поста!
Параллельные вселенные это бесконечный континуум. Существуют все вариации. В том числе бесконечное множество вселенных, где ваша жизнь вплоть до этого момента была видимо идентична для вас, но положение атомов немного отличалось. В каждой вселенной карта упала определенным образом. Вы просто не знаете в какой из этих вселенных вы находитесь. Так что вам приходится думать что произошло и в какой доле вселенных.
Важно, что не происходит какого-то магического спауна новых вселенных. Мне всегда было интересно в теориях мультиверсов: а если я поковыряюсь в носу это создаст параллельную вселенную? А вот перемещение одного атома создает другой таймлайн? А вселенные создаются только когда решение принимает что-то с сознанием, и, если да, чем оно такое особенное? В этой же парадигме все вопросы отпадают. Вселенные уже существуют, ничего не создается и не пропадает, а в сознании и субъективном восприятии нет ничего особенного.
Таким образом оценка вероятностей это попытка локализовать себя в мультивселенной. Что объясняет невероятную эффективность условных вероятностей. Пусть вы находитесь в пустыне где десять тысяч лет не было дождя. Априорная вероятность, что сейчас пойдет дождь, стремится к нулю. Однако если над вами тучи то это абсолютно не важно. При условии наблюдения туч вы знаете, что находитесь в другом мире. Там, где сейчас 100% пойдет дождь, как бы это ни было невероятно в целом.
Это объясняет и невероятную эффективность матожидания. Я играю в покер и понимаю, что у моего соперника комбинация карт лучше моей. Я знаю, что скорее всего он наверняка заработает больше денег в этом раунде. Почему? Ведь многое может случиться. Но я как человек с картой в темной комнате. При недостатке информации мне стоит предполагать, что я в типичной вселенной. В большинстве вселенных два туза побеждают разномастные 7,2. Это так же объясняет почему в нашем мире более простые теории чаще оказываются правдивыми: вселенная должна быть очень необычной, чтобы пирамиды были построены рептилоидами, которые при этом не оставили других свидетельств своего существования.
Интересно, что мультивселенные допускают возможность Бога если он подчиняется законам физики. И даже таких вселенных как у нас, без единого признака сверхестественного вплоть до текущего момента, но с явлением Бога через минуту. Однако я бы не ставил на это деньги. В типичной вселенной все произошло как произошло без огромной условности в виде того, что на самом деле существует вездесущий сверхразум, которому зачем-то надо варить людей в котлах и все такое, потому что сгенерировать текущее положение без него проще (а значит вероятнее), чем с ним. К тому же все подобные вселенные были бы неотличимы, так что нет причин полагать, что сейчас нам вероятнее явится Христианский Бог, а не Зевс или Слаанеш. Пари Паскаля, получается, разваливается. Если где-то есть Бог, то не в нашем мире.
Заметьте, что я нигде не говорю про время и будущее. Потому что время не течет и мы в нем не перемещаемся. Мы находимся в 4D пространстве-времени, где все наши состояния просто существуют. Мне кажется, что я перемещаюсь из прошлого в будущее, потому что эволюционно было полезно создать такое восприятие. На самом деле в каждой точке пространства (где я еще жив) существует мой мозг в текущем состоянии с его observer moment. Каждый из Борисов получает от своего мозга новостную ленту с нарезкой прошлых событий, что создает у него иллюзию, что он существовал во время этих событий. Далее ради своего выживания все Борисы пытаются предсказать будущее на шаг вперед.
Часть 2/3
Если честно очень жаль!
Во время демо показывали, что оно будет уметь понимать интонацию, эмоции, музыку и звуки вокруг. Я надеялся, что оно поможет мне с комедией: тестировать разные способы донести шутку.
Однако то, что сейчас выкатили, это хуже бесполезного. Модель не только не может оценить произношение, но и дает вредные правдоподобно звучащие советы.
Я рассказал ей шутку и попросил улучшить. Она посоветовала мне добавить паузу и акцент. Попробовал: действительно стало лучше и даже модель об этом сказала. Но закрались сомнения, я сказал, что попробую еще раз для закрепления и зачитал максимально ужасно. Добавил ыканий, гэканий и пауз где мог. Ее ответ? That was excellent, you nailed it!
Я надеюсь, что мы все же увидим то, что показывали в демо
# Language Models Learn to Mislead Humans via RLHF
Давно было известно, что alignment техники отупляют модели. Можно было проследить как ChatGPT становится хуже с каждой версией по мере того как OpenAI закрывает найденные способы заставить ее сказать что-нибудь расистское.
В этой работе авторы изучают почему. Они тестируют способность людей верифицировать ответ модели за короткое время до и после RLHF alignment.
Оказывается, что после alignment:
- Фактическое качество ответов ухудшается.
- Однако людям кажется, что качество сильно выросло.
- Людям становится сложнее понять дала ли модель правильный ответ.
В какой-то момент моделям становится проще научиться дурачить людей, чем действительно сделать ответы лучше. Они начинают выдумывать авторитетно звучащую статистику, делать более стройные и хитрые аргументы за неправильные позиции и писать более сложный код, чтобы его было тяжелее проверить.
Здесь есть важный вывод по части безопасности. Если вы надеялись, что мы тренируем модели на человеческих текстах и они воспримут оттуда нашу этику, что врать не хорошо и все такое, то обломитесь. Они глупенькие и будут делать все, чтобы уменьшить лосс самым коротким путем.
ML это злой джин, который исполняет все желания, но не всегда так, как вам хочется.
RLHF все еще очень крутая штука, но нужно хитро придумывать награду, чтобы избегать такого поведения.
Дико смешно как ГПТ ботов корежит от постов про ИИ
Идея для пет проекта: сделать телеграм бота, который будет постить в канал простыню текста максимизирующую использование токенов, ждать первого комментария от гпт бота, удалять пост, постить снова, и так далее пока у господ ботоводов не рухнет экономика
Нейронная сеть Хопфилда
🏆 На этой неделе нобелевскую премию по физике дали Джону Хопфилду и Джеффри Хинтону за
основополагающие открытия и изобретения, которые позволяют использовать машинное обучение с помощью искусственных нейронных сетей.
Tesla снова показала какие-то красивые дизайны, машины катающиеся по павильонам и обещания роботакси в 2025 и глобальный self driving к 2027. Так что воспользуюсь шансом поорать на облако.
Для сравнения лидер индустрии Waymo существует с 2009 и только недавно расширил область операций до того, что можно уже более менее назвать такси в трех городах. Для меня Тесла абсолютный лидер в секторе clown tech и главная загадка: каким образом это вообще существует? Поэтому я уверен, что в этот раз точно получится сделать все и сразу всего лишь за год. Ведь это уже какое, двадцатое обещание? Не могут же они снова обмануть!
tl;dr: lead ML engineer at Neon.tech, $150-350k/year, remote
Мы ищем инженера пилить AI-кодогенерацию в новый проект Neon!
Подождите, но Neon же делает базы данных?
Да. БД, которые, неожиданно, оказались идеально приспособлены для AI SWE-агентов.
Нейронки пишут код за секунды и очень быстро создают десятки тысяч баз данных, к которым, возможно, никто никогда не обратится пять минут спустя.
Neon же умеет создавать новые БД за доли секунд, а уже имеющиеся при неактивности могут "уснуть" и проснуться почти мгновенно, когда понадобятся — магия!✨
Теперь ребята хотят сделать своего собственного AI разработчика. Мы ищем техлида-инженера, который за это возьмётся, а в будущем — расширит и возглавит небольшую AI-команду.
Пара фактов про Neon:
🟡основатель — Никита Шамгунов, он же фаундер SingleStore — другой СУБД с оценкой выше $1B;
🟡инвестиции — более $100M от Menlo Ventures, Khosla Ventures, Founders Fund и других;
🟡команда — контрибьюторы в Postgres и ex-CTO Dropbox на борде 😎
Ещё у них очень интересно и приятно работать. Знаем, потому что собственноручно наняли десяток человек в их кор команду!
Вы — тот, кого мы ищем, если:
🌟у вас есть опыт с LLM и вы хорошо понимаете AI тренды;
🌟вы техлид или тимлид, который любит и готов кодить руками;
🌟совсем идеально, если в бэкграунде у вас — опыт разработки БД.
Полная удаленка, оформляют по всему миру через Oyster, вилка $150-350k + equity.
Смотреть на ваши невероятные резюме готов Федя @owlkov 👀
Год назад я обозревал доклады с Practical ML Conf 2023 от Яндекса и теперь стараюсь за ней послеживать, потому что там появляются очень ценные доклады про применение ML. В сентябре прошла Practical ML Conf 2024, и я наконец-то добрался посмотреть пару докладов.
Все доклады можно найти здесь.
Посмотрел Виктора Плошихина, который рассказывал про создание LLM для работы с кодом.
Особенно интересные моменты:
- Обучали не на next token prediction, а на next statement prediction, потому что в коде можно выделить законченные куски кода.
- Главная онлайн метрика - retention. Насколько разработчики возвращаются к использованию ассистента.
- Назвали очень интересную оффлайн метрику: UnitTest. Берется test покрывающий функцию, маскируем часть кода в этой функции, заполняем с помощью ассистента, проверяем, проходит ли тест.
- Изобрели другую оффлайн метрику, скомбинировав несколько факторов, чтобы она коррелировала с Retention.
- Между пользователем и LLM стоит CPU бекенд с Catboost, который решает, надо ли дополнять контекст, кеширует и позволяет делать A/B тесты. Разделять GPU инференс и CPU бизнес логику вообще бестпрактис.
Мало сказали про модель помимо того, что ее размер около 7B. В основном получилось про метрики и данные, но мне кажется это как раз самая интересная часть. Хотя я бы еще послушал про методы ускорения, которыми они добились ответов p99 в пределах 500ms.
Что у нас дальше в цирке уродов?
Здесь весь комплект. ChatGPT, Success в качестве третьего слова и конечно же светящийся шар с буквами AI и дорожками от печатной платы. Без дорожек я бы не понял, что речь о технологиях будущего.
Автор тоже заслуживает доверия, потому что писал на множество разных тем. Например, про судебный процесс над Трампом. И про Red Light Therapy как средство для молодости, здоровья и потенции. Описание книги так и начинается: "RLT это НЕ ПСЕВДОНАУКА", что не позволяет сомневаться в качестве материала.
Я прочитал семпл. Хорошая ли это книга? Нет. Но написана ли она доступно для новичков? Тоже нет. Несмотря на это, может быть она просто интересна? Нет.
Однако я был удивлён: насколько я могу судить книгп написана человеком. И как будто бы автору даже не целиком плевать на читателя. Да, книга написана коряво. Да, автор сразу прыгает в неймдроппинг LLM и GPT, не давая читателю представления о том, что это такое, так что настоящий новичок бы запутался. И да, автор сам ничего не понимает. Но я не вижу вранья, по крайней мере умышленного.
Достаточно быстро он говорит о том, как стать миллионером с помощью ChatGPT: сложно. Пишет, что все легкие деньги обещают в своих книгах шарлатаны и его книга тоже не принесёт моментальных богатств. Говорит, что ИИ может помочь вам сделать себя продуктивнее, повысить свою конкурентоспособность и начать какую-нибудь халтурку на Fiverr. Потом начинает вести читателя за ручку, показывает как зарегистрироваться на сайте OpenAI и какие есть альтернативы.
У книги всего 4 отзыва, но один из них мне кажется реальным. Там написано: просто кладезь информации, автор посоветовал прогонять имейлы через ChatGPT и одно это окупило покупку!
Я скрежечу зубами, но это правда. Действительно есть много людей, для которых такой совет окупит покупку. Им нужна книга, которая расскажет все именно в таком ключе: вот сайт, вот сюда вставляешь промпт, промпт пиши поточнее, а еще бывают галлюцинации... Я пишу книгу, но она не закроет этой потребности. Тем более не закроют эту потребность книга Сергея Маркова или книга Ле Куна. Про полноценные учебники даже не будем говорить.
С другой стороны автор сумел и в эту книгу вставить пропаганду своей позиции по Трампу, а так же сказать, что желающий стать музыкантом читатель может попросить ChatGPT принять роль великого мастера: Эда Ширана.
В общем книга ужасна, но я не могу отделаться от мысли: кто-то же должен. Мы тут смеемся в своем ботанском пузыре, а запрос есть. Может быть вы напишите нормальную книгу такого плана?
Ого, почти год с моего глубокого фундаментального обзора на состояние computer vision. Посмотрим, что изменилось
6. Устали от костылей, сделали OWL-ViT v2
7. Нагромодили костылей, снова добавили к DETR anchor box и получили Co-DETR
8. Устали от костылей, изобрели Florence-2
9. Нагромодили костылей, получили AM-RADIO
10. Вы находитесь здесь
Даже не представляю, что будет дальше
# Я пишу научно-популярную книгу про искусственный интеллект
Контракт с издательством подписан и можно наконец-то вам рассказать.
Когда мне предложили писать книгу про ИИ моя реакция была такой: "Я???"
Определённо мне не хватит экспертизы сказать что-то весомое по технической части или концептуализировать, что ИИ несет для общества.
Однако я обнаружил, что есть обделенная вниманием ниша, где именно я могу кое-что сделать. Все книги про ИИ делятся на технические, футурологические и про применение в бизнесе. Плюс всякий треш про ваш перввй миллиард на нейросетях. Вот чего не хватает: научпопа.
Я намерен написать лучшую книгу, которая объяснит любопытному читателю как работает искусственный интеллект. Без спекуляций о будущем, запугиваний, что вас завтра заменят, инструкций как трансформировать свой шиномонтаж с помощью ChatGPT. Без пустого хайпа.
Не знаю как самая важная тема века осталась без веселого просветительского материала, но постараюсь это исправить и рассказать, что действительно происходит и как оно работает.
Я хочу показать всем, что ИИ это очень интересно, доступно каждому и просто круто.
Редко выпадает шанс сделать что-то действительно отлично. Здесь я его вижу. Можно написать лучшую книгу в своем роде.
Всем известно, что писать книги сплошное удовольствие. Физик-космолог Макс Тегмарк в своей книге описывает как исследовал что-то связанное с космической радиацией. Шест лет работы, чтобы построить один график. В результате получилась статья в которой было шестьдесят соавторов. Он пишет, что это было самое изнурительное дело в его жизни. Потом добавляет: кроме этой книги.
Так что пожелайте мне удачи
Потом автор бросает настоящую бомбу: наша вселенная это математическая структура и есть четвертый тип мультивселенных в виде других математических структур.
Физика и вообще любая наука поразительно хорошо описывается математикой, но не ясно почему. Чем больше делишь частицы, тем больше находишь сущности у которых нет никаких свойств кроме математических. Из всех мультивселенных мы почему-то находимся в той, где все "настройки" законов физики подобраны идеально для нашего существования. По всем признакам время это иллюзия восприятия. Непонятно почему существует квантовая суперпозиция, которая пропадает при наблюдении, и что является наблюдением. Непонятно почему электрон может быть в множестве мест одновременно, но ноутбук, на котором я пишу этот пост, подозрительно статичен. Непонятно откуда берутся константы вроде веса элементарных частиц, которые выглядят просто случайным набором чисел.
Наконец, если есть мультиверсы, то они должны были возникнуть по какому-то закону. В конце концов есть функциональные законы физики, которые отличаются между вселенными, как упомянутые выше константы, и есть фундаментальные, как масса электрона. Если фундаментальные законы везде одинаковые, то они ведь тоже существуют в рамках чего-то.
Эти и другие вечные загадки решаются гиппотезой о том, что мы и все остальное существуем в чистой математической структуре. Математика не описывает мир. Мир и есть математика, а мы это обнаруживаем и описываем своим языком.
Важно, что не все, что угодно, является математической структурой. Математическая структура должна быть однозначно определена. Так что эта гиппотеза не говорит, что все, что мы можем представить, существует. Это было бы бесполезно как гиппотеза, потому что она бы ничего не предсказывала.
Куб тоже в каком-то смысле вселенная. Но он слишком прост, чтобы там могли возникнуть разумные наблюдатели. Поэтому мы не в кубе (или скорее не часть куба), а в чем-то гораздо более сложном. Например, может быть наша структура это волновая функция в бесконечномерном Гильбертовом пространстве или что-то такое.
Автор показывает, что эта идея красиво закрывает все вопросы. Или просто делает их бессмысленными. Не нужно спрашивать, что было до Большого Взрыва, потому что "что было до" это вопрос узколобого существа изнутри структуры. Математические структуры не меняются во времени, потому что время может быть частью структуры, а не наоборот. Структура описывает все, что происходило и "будет" происходить как f(x) = y описывает все точки на прямой. Как и прямая, эта структура ниоткуда не появляется, никуда не девается и ее никто не создавал.
Успокаивающий момент: это уничтожает гиппотезу симуляции. Страшно, что мы живем в матрице и завтра ее выключат. Однако возьмем куб как пример вселенной. Если я запишу описание куба на жесткий диск ноутбука это не значит, что куб существует на моем ноутбуке. Я описал куб, да. Но куб не перестанет существовать если я удалю файл. Наличие описания куба не делает его более или менее реальным. Если кто-то описал нашу вселенную программой и завтра выключит компьютер, чтож, мы ничего не заметим, потому что мы не "живем" в этом компьютере, мы не "живем" в описании, а "живем" в том, что было описано.
Все это может звучать странно, спекулятивно и необоснованно. Предполагайте, что это из-за моего плохого пересказа мыслей автора. На деле Тегмарк строит аргументы удивительным образом, взрывая мне мозг просто конструкциями вида "если А, то Б" с которыми у меня не получается спорить. Читается просто и понятно. Вместе со взрывом мозга присутствует и ощущение: ну да, разумно, в целом какой-то такой и был вайб, теперь понятно.
Могу лишь рекомендовать эту книгу, потому что я здесь вольно пересказал по верхам, а весь сок в конкретике, которая делает все это безумие правдоподобнее альтернатив.
В начало обзора книги
#книги
# Our Mathematical Universe by Max Tegmark
Потрясающая книга от физика-космолога, который посвятил карьеру фундаментальному вопросу о природе нашей реальности.
Я не большой фанат книг в жанре "теория всего", но начал читать и не смог остановиться.
Сначала автор описывает историю космологических теорий и то, как он изучал фоновую космическую радиацию: долетающее до нас излучение большого взрыва, оно же наше прошлое от момента создания вселенной.
В первой части говорится о вполне конвенциональных вещах, но затянув читателя автор переходит к настоящему мясу. Он показывает, что на текущий момент лучше всего возникновение мира описывает теория космической инфляции. И что эта теория предсказывает наличие бесконечного множества вселенных.
Это рассуждение не оставляет никакой возможности, чтобы мультивселенные это научная фантастика или чисто философские допущения. Их наличие это предсказание теории. Нельзя принять теорию отказавшись от части ее предсказаний: ты или берешь весь пакет, или отвергаешь ее целиком. Точно так же как нельзя принять современную физику не купив вместе с ней черные дыры какими бы невозможными они ни казались.
В парадигме множества вселенных наша вселенная это определенная область пространства. Она постоянно расширяется и делает это быстрее скорости света, поэтому мы физически не можем наблюдать ничего за ее пределами.
Самый простой тип другой вселенной это другие области пространства из которых до нас еще не долетел свет. Реалистично он никогда не долетит, но в теории это могло бы произойти, то есть другая вселенная принципиально наблюдаема. В этой парадигме мы стоим в тумане и видим на какое-то расстояние вокруг себя. Это не значит, что за границей тумана ничего нет или что наш пузырь в тумане единственный или особенный.
Автор показывает наличие целой иерархии мультивселенных из трех ступеней вселенных и что их наличие разрешает множество загадок физики.
Например, откуда берется случайность? Мир описывается детерминированными и простыми законами физики. Но упираясь в некоторые явления мы не можем сказать ничего кроме "хз, результат случайного процесса."
Вопрос разрешается красиво. Представим, что вы берете игральную карту, ставите ее вертикально на стол, выключаете свет и позволяете ей упасть. Карта упала или рубашкой вверх, или лицом. Изначальное положение атомов однозначно определило ее положение. Но вы не видите результат. Ваше лучшее предсказание: 50% вероятность любого исхода. Почему?
Часть 1/3
Кроме того у нашего прото-AGI терминальная неспособность понимать юмор, так что теперь будем отличать людей от ботов таким образом
Читать полностью…
Мне дали доступ к новому Voice Mode ChatGPT и сегодня у нас потрясающий урок английского языка
Читать полностью…
Авито проводит weekend offer: возможность получить оффер в команды Data Science, Data Engineering и Data Analytics за одни выходные.
Даты
DS: 5-6 октября
DE: 5-6 октября
DA: 19-20 октября
Особенно ищут по направлению Data Engineering в двух стримах: Python/SQL и Spark/Java/Scala.
Для участия заполните анкету до 1 октября, дальше тест, интервью и оффер.