5196
Непубличный угловой интеллектуал. Широко известен в узких кругах. https://repushko.com
Прототип динамического стола из MIT, который умеет подстраиваться под текущий юзкейс и запоминать привычки пользователей.
source
Пора подвести итог моему 3+ годичному приключению в AWS.
На бумаге выглядит все крепко:
- Sagemaker во время неверотяного роста расходов компаний-клиентов на ML-инфраструктуру, попытка компаний-провайдеров (довольно успешная) в low/no-code сервисы, пара запусков продуктов на Re:Invent
- Невероятный личный буст в operations и поддержании "четырех девяток”
- Расследование майнинг-фрода на GPU
- Гордый PR в публичный SDK Sagemaker’a на 6.5к строк (очень срочно понадобилось поддержать пару фичей для одного крупного клиента, которые уже были в API, но не было в SDK)
- Рождение Q-ассистента и помощь по всей пачке сервисов вокруг (Q-Developer, Q-Troubleshooting)
- etc
При этом разумеется под ковром много политики, непонятных менеджерских решений, реактивного хаоса на фоне LLM-бума, да и далеко ходить не надо: всех возвращают в офисы на полную неделю.
Пора идти дальше, потому что есть еще порох в пороховницах и можно поделать что-то интересное (а в FAANG вернуться на пенсию). Пока потрогаю траву, а после начинаю с новыми силами работать в новом интересном месте, в котором планируется начать переход из IC в менеджмент.
Goodahrt’s law: “Когда мера становится целью, она перестает быть хорошей мерой.”
Читать полностью…
AI-инструменты в beta новой iOS. Выглядит легендарно.
source
Одна из моих guilty pleasures -- перечитывать старые статьи времён волны экспертных систем. И вообще трава тогда была зеленее, исследования интереснее и т.д.
Сегодня наткнулся на статью 1985ого года, где проверяли, как дети, которые немного изучали Лого, понимают модель рекурсии. Это язык, где у тебя есть черепашка и ты, задавая команды ей, рисуешь какие-то фигуры. Даже я его застал в школе.
Результаты следующие: хреново они понимают. И как и в предыдущих экспериментах со взрослыми (авторы на них ссылаются), ментальные модели из естественного языка и интерпретации программы на основе жизненного опыта не матчатся с тем, что происходит на самом деле. А это значит, что чтобы быть успешным в программировании, нужно адаптировать и принимать новые ментальные модели, которые исходят из самого языка и парадигмы программирования. В общем-то влияние этой идеи можно отследить в современной методологии обучения программированию.
Это аукается и сейчас: интересно проследить аналогию с промптингом, где в целом задача пользователя -- адаптировать свой natural language под машину и никакие новые концепты учить не нужно. Т.e. разница только в форме выражения, а не в концептах. Но и там и там есть "demon" (цитата авторов) внутри языка/системы, "который просто не понимает, что нужно сделать". Те же бараны, только в профиль.
Так, ну это конечно совсем треш. У ребят в слитых исходниках (не в этой части, а я так понимаю в другой, которую не публиковали) захардкожены API-ключи к разным сервисам (SendGrid, GoogleMaps, ElevanLabs и т.д.). Более того, можно посмотреть скажем историю всех клиентских голосовых запросов в ElevanLabs через это API.
Читать полностью…
Скончался Ноам Хомский. Отличный был дедуля, прожил славные 95 лет, много успел сделать (даже поругаться с Норвигом на старости лет). 🫡
Галя, у нас отмена, неси ключ. Жена сказала, что ещё жив дедуля. Но дебаты все равно хороши, можно почитать ещё раз.
Друзья, сегодня мы начинаем новый, 11 сезон подкаста «запуск завтра».
Помните, я писал о проекте по расшифровке древнегреческих свитков, которые сгорели 2000 лет назад?
Для первого эпизода я поговорил с программистом, который участвовал в этом конкурсе и даже выиграл призы. История там совершенно безумная и гораздо глубже, чем я писал в тексте.
Слушайте и подписывайтесь: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.
Дальше в этом сезоне: еще несколько интервью, небольшой сюрприз и нарративные эпизоды. Ура!
Сходил в гости к Самату (@ctodaily) и открыл новый сезон его подкаста рассказом про свою древнегреческую эпопею. Кажется, что получилось хорошо!
Вероятно, попозже будет большой пост с анонсом на разных платформах, но уже есть на Spotify и Youtube.
Какие celebrity-выплаты мне теперь полагаются?
Волшебная история про то, как в 90ые годы в Германии все сообщения Air Traffic Control передавались через headless Emacs, а роутер сообщений был написан на Emacs-Lisp.
In Germany, a Herr Doktor is always right (they have forgiven Moses by now for not having space on the stone tablets, but it really is the 11th Commandment). This one worked at Symbolics before so knew one programming language: Lisp. He wanted to code the message router in Lisp because of the “complex” (meh) requirements, but there was no Lisp (or no Lisp in budget) for HP/UX so he was stuck. I told him about Emacs, gave him my tape with the ports, and maybe that was a mistake 😉
A week later - I helped out finishing the 4GL UI in the meantime and completed the messaging protocol - he called me in, quite happy. He showed me the code - page after page of Emacs Lisp, with exactly zero comments “because Lisp is self-documenting”. I got scared, it was an air traffic control system after all, but I was no Herr Doktor so I whipped up the DCE native code for Emacs, made a hack to have it start headless in message router server mode, and we got messages to flow. I did a code hand-over, and drove back home a couple of days later. The “self-documenting” code, as far as I know, landed in production so at least for a while, all ATC message routing in Germany was done through Emacs.
Я регулярно возвращаюсь с работы и каждый раз встречаю цаплю, которая стоит на моем пути. Каждый раз я задаю ей один и тот же вопрос: «А что ты тут делаешь?» Каждый раз она отвечает мне молчанием. Я спрашивал уже раз 150 и 150 раз она молчала. Смысл в том, что это всегда одна и та же цапля, и она всегда молчит с неизменной невозмутимостью. А я каждый раз с неизменной настойчивостью спрашиваю:
- Что ты тут делаешь?
(молчание)
- Почему ты стоишь здесь?
(молчание)
- Каждый день ты здесь стоишь, и каждый день молчишь. Почему?
- (молчание)
И ведь эта цапля, зараза, знает меня в лицо, знает, что я спрошу, и знает, что она не ответит. Но ни разу ни одна из сторон не показала, что знает сценарий. Бывает, что цапля сидит на дереве, когда я прохожу мимо, тогда я подсматриваю за ней издалека. Она равнодушно смотрит вокруг, затем я спрашиваю:
- Что ты тут делаешь?
- (молчание)
Иногда она просто стоит, когда вокруг никого нет, и только я прохожу мимо. Конечно, она знает, что будет дальше, но не подаёт виду и спокойно продолжает стоять.
- Почему ты всегда здесь стоишь?
- (молчание)
Это очень суровое, по-настоящему упрямое противостояние, исход которого не ясен. Очевидно, что каждая сторона рассчитывает на победу. Впрочем, я уже согласен на ничью.
...Meta spent almost as much as the Manhattan Project on GPUs in today’s dollars.
Читать полностью…
Мальчик: “Моя ролевая модель — Джейсон Стэтхем и Илон Маск”
Мужчина: “Моя ролевая модель — Муми-папа”
От создаталей “машина — абстракция над лошадью с дверьми”: лошадь — абстракция над лодкой с 4 веслами.
source
О волшебной силе современного искусства и психологии. Пытаясь сократить огромное количество самоубийств на мосту Мапо в Южной Корее, власти Сеула неофициально переименовали его в “Мост Жизни”. Была объявлена специальная паблик-арт программа, которую поддержала компания Samsung. Мост украсили красивыми скульптурами, интерактивными панелями и жизнерадостными лозунгами, реагирующими на движение людей по мосту. “Завтра непременно взойдет солнце”, “Лучшее, конечно, впереди”, “Еще столько всего не случилось” – все эти фразы были тщательно отобраны художниками с помощью психологов и активистов, занимающихся предотвращением самоубийств. На следующий год количество самоубийств на мосту Мапо увеличилось в шесть раз.
Читать полностью…
Хорошее интервью с новым (старым, с 2022ого года) президентом мессенджера Signal -- Meredith Whittaker. Правильно говорит про "a surveillance business model" и про то, что чтобы стать мейнстримными, нужно дистанцироваться от хакер-тусовки и стать ближе к рядовым пользователям и т.д. И отличный разговор про современный AI как продукт этой самой surveillance модели. В общем, идеологически верное интервью 👍
Читать полностью…
Молодой undegrad из Ирландии (максималист, как и положено всем порядочным молодым людям) написал саммари про то, как PyTorch core-team пытается усидеть на двух стульях, почему JAX потихоньку отвоевывает себе кусочек индустрии и прочие правильные мысли про все эти tier-1 фреймворки для ML. Немного не хватает понимания корпоративной экономики (и почему сейчас нанять 3 PyTorch-тыкателей проще и надежнее, чем заставить кого-то учить JAX), но это можно простить. Но я вот немного упустил историю про то, что там параллельно развивался OpenXLA (изначальный XLA — closed source проект Гугла). И видмо надо все таки написать саммари про все эти low-level истории (MLIR под LLVM и прочие стартапы): все примерно одно и то же пытаются сделать, но какого-то стандарта пока не видно. А хотелось бы.
Показательная цитата из статьи:
I’ve personally known researchers who set the seeds in the wrong file at the wrong place and they weren’t even used by torch at all - instead, were just silently ignored, thus invalidating all their experiments. (That researcher was me)Читать полностью…
source
Мой терапевт: “Видео о state space models с Сатору Годжо не существует, оно не сможет тебе навредить”
Тем временем случайное видео в интернете:
Сначала ты такой “ой, новый редактор, быстрый, просто класс”, а потом он уже загружает непонятный JS-код без твоего разрешения на твою машину.
Читать полностью…
Очень смешно (а оригинальная цитата Дейкстры была про BASIC)
Читать полностью…
How it looks like: Иду на конференцию про Developer Experience, чтобы послушать, с какими проблемами сталкиваются разработчики и подумать, как мы можем улучшить их опыт.
How it is: Иду послушать доклад Джона Ромеро (создатель DOOM, Quake и Wolfenstein 3D) и если получится поиграть с ним в DOOM.
ну, наша SOTA.
Вообще надо бы рассказать про всякие бенчмарки как-нибудь.
Продолжаю наблюдения за Старбаксом. В Тайване вместо имени рисуют фоторобот.
Читать полностью…
Хорошая статья от PhD студента из Standford AI Lab про то, как учить модели "забывать" знания, aka "unlearn" что-то и какие основные методы для этого существуют.
С продуктовой точки зрения сама область кажется интересной: модели обучать дорого (а будет еще дороже, т.к. они еще подрастут), иски (как от New York Times к OpenAI) будут литься как из рога изобилия (и это мы еще не знаем, сколько копирайта нарушили OpenAI, когда учили Sora) и только ленивый не пнёт какую-то очередную модель за diversity/токсичность и т.д. Учить заново -- дорого, вот и нужен дешевый способ "удалить" данные.
Эпоха скама конечно великая. Известный в широких кругах rabbit r1 (это оранжевая штука, которую дизайнили Teenage Engineering), которая была с очень здравыми идеями про Large Action Model и т.д., оказалась на деле всего лишь несколькими скриптами для автоматизации четырех приложений: Spotify, Midjourney, Doordash и UberEats. Может конечно всё ещё изменится в будущем, но пока вот так.
Теперь хейтеры занимаются сливом их сорцов. Началось все в треде на HackerNews. В интересное время живём.