23002
Мне платят за то, что я говорю другим людям что им делать. Автор книги https://www.manning.com/books/machine-learning-system-design https://www.linkedin.com/in/venheads
Кофаундер датабрикса, помимо работы СТО в компании, еще и статьи пишет - WORLD MODEL ON MILLION-LENGTH VIDEO AND LANGUAGE WITH BLOCKWISE RINGATTENTION
Выглядит как отчёт о работе нормальных инженеров, которые решили попробовать что-то новое и описали результаты на arXiv.
Берут Blockwise Ring Attention, аннотируют данные (включая видео и текст) по-разном, постепенно скармливают всё это в модель, увеличивают контекст до миллиона токенов и радуются.
Из интересного – используют Masked Sequence Packing.
Предположим, у нас есть текст длиной 500 токенов, видео длиной 1 000 токенов и книга длиной 10 000 токенов. Вместо того чтобы обрабатывать каждую последовательность отдельно (с огромным количеством padding), модель объединяет их в один батч и добавляет маску, чтобы в каждый момент времени была видна только соответствующая часть каждой последовательности.
Затем лосс от каждого токена перевзвешивают по длине секции. Без этого самая длинная последовательность перевесила бы всё остальное. И радуются жизни.
В целом прорыва нет, просто разумная инструкция
Forbes did it again
An AI startup CEO on a Forbes '30 Under 30' list has been charged with defrauding investors out of $10 million
Кстати, если кто-то проживает в Куала Лумпуре
Можно устроить встречу, ужин, митап
Я как раз сейчас там, до 7 декабря
Кажется, нет более ненадежной вещи в мире, чем тренера по Джиу Джитсу. Однажды вышло так, что у меня должно было быть три персональных тренировки в один день, каждая - с разным тренером.
За день до, один из них слился, и я подумал - ну и слава богу, три - многовато. Но удар пришел откуда не ждали, на следующий день слились два оставшихся, что превратило интенсивный день - в день отдыха. Надо сказать что все три - те с кем я регулярно тренируюсь, а не случайные чуваки
В детстве нас учили не брать конфеты у незнакомых дядек. Многие даже следовали этому совету.
Однако раз в году наступает момент, когда дети приходят к незнакомым дядькам и требуют с них конфеты.
Сегодня наступил именно такой день и первый раз, когда я встречаю его в собственном дому в роли незнакомого дядьки
Закупил 160 мини сникерсов, твиксов и скитлс
90 мини M&M
85 пакетиков мармелада маленьких
24 пакетика мармелада больших
До украшательства дома, я конечно еще не дошел, но тыкву купил
Кажется, надо прикупить еще пару коробок больших сникерсов и выдавать их за особо крутые костюмы
Я ругал Кохави, что в 24 году он пересказывает статью от 2017 года. Но тут руки дошли до заметку от 14 февраля 2024 года, Connections Between the Delta Method, OLS and CUPED
Implicitly, this post assumes you know that standard OLS is equivalent to a t-test when properly setup. If you are not sure of this, convince yourself of this by considering regressing Y∼d where d is a binary indicator of being in the treatment and Y is our variable of interest
Вышло исследование рынка продуктовых и дата аналитиков от new HR - у них всегда приятная инфографика и вменяемые вопросы. От зарплаты - до экспертов.
А также топ и анти топ по компаниям, где люди хотят и не хотят работать. Выглядит так, что у Сбера, ВК и Ростелекома большие проблемы с HR Брендом, а у Яндекса, Авито и Авиасейл - все неплохо. Х5 держит баланс по Дао
UPD: Сейчас оказывается собирают информацию для нового исследования
Стою в лобби конгресс центра перед выступлением. Мимо проходят две девушки и парень.
У девушки на сумке огромные буквы fendi. Слышу краем уха, что она говорит про некое выступление в 2 часа дня и что там будет Бабушкин, который знает про Data Science
Видимо придется идти
Хинтон получил Нобелевскую премию. Долгий путь от задворок и насмешек, до всемирного признания
В Гугле он был L8, L9
С интересом просматриваю вырезки из techroastshow в инстаграмме
То там кофаундер, у которой приложуха - Huddle, Accountability as a service (как вам такое?), где люди с СДВГ платят 20 баксов в месяц, чтобы приложенька конектила двух таких бедолаг и они бы убирали каждый свою комнату и одновременно общались друг с другом. Ее кофаудер - инфлюэнсер с СДВГ, у которого миллион подписчиков. Правда подписчиков у аппки - всего 16
В другом отрезке, фаундер, девушка с Only Fans, забутстрапила Mental Health компанию (не жалела себя) - Exist Experience, которая должна помочь людям с Loneliness. Уж кому, как не модели с Only Fans, знать как помочь. Таргетируют не всех людей, а зумеров, там специфичный язык и в целом аппка это обертка над другим сервисом.
Это конечно показывает, какие разные люди пытаются войти в фаундеры технологических компаний, интересное явление
Иногда люди не видят лес за деревьями, и частный случай этого - не видеть здравый смысл за чеклистами.
Например, пишет мужик из издательства и намекает, что в книжке неоригинальный контент! Мол, переработайте перед печатью кое-какие куски, "so we can't be accused of any sort of plagiarism", и любезно присылает список этих кусков.
Открываем список и видим грозные коментарии "Needs rework; extremely close to the article text" и ссылки на какой-то notion, в котором человек составляет для себя конспект книги. Рекурсия!
В воскресенье, инженер, который работал в одной из моих команд, ушел из bp - потому что он попал в YCombinator
А сегодня, человек который смог выбраться из YC, попросил помочь найти к себе МЛ Инженера, что я нашел весьма ироничным.
Ищут Senior ML Engineer в команду Fluently (YC W24) - будет 6 членом команды и будет улучшать ML движок - мозги сервиса.
Делают, по их утверждениям, лучшего в мире AI спикинг коуча, который слушает онлайн звонки и помогает прокачивать английский - недавно прошли Y Combinator и подняли $2.5M.
tl;dr:
- Платят от $5k до $10k (зависит от скиллов и опциона)
- Работают ремоут (но могут подать на H1-b)
Узнать больше и податься можно тут
Утверждают, что пришлют последний айфон за успешную рекомендацию
Кофаундер Data Bricks оказался приятным человеком.
Два часа с ним проболтали, благо сидели за соседними стульями круглого стола. Нового особо ничего не узнал, так как во всем что обсуждали, мнение сходное
Из интересного, каждый менеджер, на любую позицию, должен у них пройти технический собес на уровне solution architect
Все нетехнических - выгнали
Интересно, какова логика назначения сложности для задач на лит коде
Задача, где нужно реализовать LRU cache, для чего нужно также реализовать doubly linked list = medium
Задача в четыре строчки, где нужно сделать bucket sort = medium
Я понимаю, что и там и там, если понимаешь какие структуры данных лежат в основе, решается прямолинейно, но тем не менее в рамках реализации первого гораздо проще наделать ошибок, чем второго
Нашел зал по ММА в Куала-Лумпуре.
Зал довольно неплохой, его сделали выступающие в ONE FC бойцы. Например, тренер по борьбе — парень из Ирана, а по джиу-джитсу выписывают специалистов из Бразилии.
Сегодня моим тренером был бразилец, который всего 15 дней как переехал в КЛ. После спарринга спрашиваю: как думаешь, какой у меня пояс? Он говорит: белый? Правда, по-английски он почти не понимает, не знает, как будет «пятнадцать», и часто отвечает «Si».
Поэтому я сказал «Si», и он с уважением пожал мне руку.
А то мы и не знали, что у самурая нет цели, только путь
А задача хорошего разраба - минимально работать
https://x.com/deedydas/status/1858929066264379629
Everyone thinks this is an exaggeration but there are so many software engineers, not just at FAANG, who I know personally who literally make ~2 code changes a month, few emails, few meetings, remote work, < 5 hours/ week, for ~$200-300k.
Here are some of those companies:
I'm part of a group at Stanford that runs research on software engineering productivity. We get access to Git data.
I sometimes run into people who are working at more than one company, without the knowledge of their employer.
I’m at Stanford and I research software engineering productivity.
We have data on the performance of >50k engineers from 100s of companies.
Inspired by
@deedydas
, our research shows:
~9.5% of software engineers do virtually nothing: Ghost Engineers (0.1x-ers)
I see you haven't read their "paper"Читать полностью…
this isn't a study; it is a scam, and they're working on a model to quantify code quality
b2b saas startup soon; mark em
Отличная заметка от Дэна Лу - Steve Ballmer was an underrated CEO, в которой он рассказывает, что в принципе все те вещи, за которые хвалят Сатью, были заложены Балмером, который не боялся быть смешным и смог вырастить прибыльные бизнесы, которые не были на тот момент основными и заложить основы успеха Майрософта
Unlike most companies in that position, Microsoft was willing to very heavily subsidize a series of bets that leadership thought could power the company for the next few decades, such as Windows Phone, Bing, Azure, Xbox, and HoloLens. From the internal and external commentary on these bets, you can see why it's so hard for companies to use their successful lines of business to subsidize new lines of business when the writing is on the wall for the successful businesses.
A later part of the plan to dominate the web, discussed at Microsoft but never executed, was to kill Google. If we're judging Microsoft by how "dangerous" it is, how effectively it crushes its competitors, like Paul Graham did when he judged Microsoft to be dead, then Microsoft certainly became less dangerous, but the feeling at Microsoft was that their hand was forced due to the circumstances. One part of the plan to kill Google was to redirect users who typed google.com into their address bar to MSN search. This was before Chrome existed and before mobile existed in any meaningful form. Windows desktop marketshare was 97% and IE had between 80% to 95% marketshare depending on the year, with most of the rest of the marketshare belonging to the rapidly declining Netscape. If Microsoft makes this move, Google is killed before it can get Chrome and Android off the ground and, barring extreme antitrust action, such as a breakup of Microsoft, Microsoft owns the web to this day. And then for dessert, it's not clear there wouldn't be a reason to go after Amazon.
While I don't have anything negative to say about Nadella's leadership in this post, this narrative underrates Ballmer's role in Microsoft's success. Not only did Microsoft's financials, revenue and profit, look great under Ballmer, Microsoft under Ballmer made deep, long-term bets that set up Microsoft for success in the decades after his reign. At the time, the bets were widely panned, indicating that they weren't necessarily obvious, but we can see in retrospect that the company made very strong bets despite the criticism at the time.
When people point to a long list of failures like Bing, Zune, Windows Phone, and HoloLens as evidence that Ballmer was some kind of buffoon who was holding Microsoft back, this demonstrates a lack of understanding of the tech industry. This is like pointing to a list of failed companies a VC has funded as evidence the VC doesn't know what they're doing. But that's silly in a hits based industry like venture capital. If you want to claim the VC is bad, you need to point out poor total return or a lack of big successes, which would imply poor total return. Similarly, a large company like Microsoft has a large portfolio of bets and one successful bet can pay for a huge number of failures. Ballmer's critics can't point to a poor total return because Microsoft's total return was very good under his tenure.
When attacking Ballmer, people cite Bing as a failure that occurred on Ballmer's watch, which tells you something about the degree of success Ballmer had. Most companies would love to have their successes be as successful as Bing, let alone their failures.Читать полностью…
На мой взгляд - близкое к идеальному определение p-value
The P value is then the probability that the chosen test statistic would have been at least as large as its observed value if every model assumption were correct, including the test hypothesis.
По итогам 3 месяцев ледяной бочки - жим лёжа сдвинулся со 180*1 до 180*3
Осталось два вопроса
1. Стал ли я стат значимо в три раза сильнее
2. Значит ли это, что по итогам 9 месяцев стоит ожидать жима 180*9
Определилось расписание на месяц путешествий.
18 ноября: Лондон - Куала Лумпур
8 Декабря: Куала Лумпур - Бангалор
11 Декабря: Бангалор - Пуне
18 Декабря: Пуне - Мумбай
20 Декабря: Мумбай - Лондон
Из неприятного - 4 декабря планировал получить пурпурный пояс по БЖЖ, придется пропустить грейдинг и ждать ещё полгода
Жаль, с пурпурного пояса можно уже учить других, была бы запасная профессия, после того как ИИ заменит таких как я
Хорошая обзорная статья от Lilian Weng - Thinking about High-Quality Human Data
1. Как размечать данные, особенно когда задача разметчика - максимально быстро прокликать ваши задания, а ваша - получить максимально качественную разметку. От создания процесса, до оценки (Majority Voting, Multi-Annotator Competence Estimation, Descriptive vs Prescriptive). Есть даже таксономия того, по каким причинам разметчики могут между собой не соглашаться
2. Если датасет уже размечен, как выявить ошибку разметки автоматически? Сюда входят различные трюки с уверенностью модели в предиктах. Самый простой пример - если семпл тяжко учится, может быть это потому, что он некорректно размечен?
Из более сложных - AUM (Area under the Margin), насколько общий поток градиента спорти с конкрентым сэмплом
В целом - рекомендую ознакомиться, особенно тем, кому предстоит размечать данные в автоматическом режиме через людей
Поездка в Баку прошла неплохо
Встретился пару раз с местным дата комьюнити
Выступил в университете
Встретился с СТО и синьором из стартапа в Дубае, где они будут работать на пике технологий gen AI
Дал, как минимум, три полезных совета
Съездил в Гобустан
Выступил на конференции и затем пообщался с ребятами из местного гиганта
Сходил в офис БиПи, много говорил
Ел лучшие помидоры в мире
Оценка Баку - очень хорошо, надо приезжать ещё.
Вкусно, приятно, хорошие люди.
Из минусов - пробки и воздух.
Теперь можно наконец-то то разобрать залеж статей с февраля этого года. Из следующего - заплыв в KL и Индию в ноябре/декабре
Провели исследование онлайн курсов. Неожиданно оказалось что Карпов Курсес в топе
Читать полностью…
Дисциплина бьёт талант
Правда существует как минимум два типа дисциплины, внешняя и внутренняя
Первая, работает хорошо с большинством людей и позволяет достигать команде стабильных результатов
Однако она начинает сбоить с людьми, выбивающимися из распределения
C такими выдающимися людьми нужно полагаться на их внутреннюю дисциплину, одновременно давая ясно понять, что доверие - вещь хрупкая
Это непросто, но в этом частично и заключается тонкое искусство менеджмента
Хорошая статья от пацанов из Х5, которая объясняет то, что становится понятно со временем всем, кто сделал достаточно много А/Б тестов. 50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение
Читать полностью…
Читаю книжку по системному дизайну, цитата:
Be especially critical of your prospective manager’s technical background. As an engineer or engineering manager, never accept a non-technical engineering manager, especially a charismatic one.
Such a manager has typically been in the same company (or an acquired company) for many years, has established a political foothold that enabled them to get their position, and is unable to get a similar position in other companies that have competent engineering organizations. Large companies that breed the growth of such managers have or are about to be disrupted by emerging startups.Читать полностью…
10 - 11 октября буду в Баку, на конференции InMerge, на Data & AI Vertical
Помимо меня, из интересных людей, будут Steve Chen, Former CTO of YouTube, Werner Vogels, VP & CTO of Amazon и Илья Стребулаев
Если вы тоже будете в Баку в эти даты и захотите увидеться - пишите
Сегодня большая конференция Data Bricks в Лондоне
Как опытный человек, я планировал поехать только на закрытый ужин с их кофаундером
Но кровавые руки сейлзов дотянулись и тут. Просят приехать раньше.
Задача непростая, знаменитая дилемма ужина
Заодно подскажите, что спросить у Арсалана
После того, как пришлось писать код на Хаскеле и Эрланге в Мете, я считал что многое повидал, но сегодня встретил нового зверя, героя нашего времени - Ziglang.
На нем написан новый фреймвок для инференса ML - ZML, который скоро станет доступен массам