2278
Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.
VCs Congratulating Themselves
They're adding value™. And they're very proud of it. This is just pure gold.
https://twitter.com/VCBrags
Full disclosure, I used to work in a VC firm. And I remember the founder saying something about "showing to these people that we are better than them".
This did not age well in the current meta, also provided that he was Jewish and he left Russia.
Exciting New GitHub Features Powering Machine Learning
Yeah, looks like Microsoft is going for the kill.
While other tech giants announced massive lay-offs, Microsoft less so and was the last one, and now it is going after the numerous MLOps startups.
In a nutshell, a proper rendering for notebooks and notebook commits is amazing and was expected for years (even startups exist for this).
As for their notebook runner options this is basically a custom environment within cloud VSCode or Jupyter Lab. I am not sure how to add button "open in Web" like Colab did (please comment if you have seen examples).
While there is inherently nothing bad about it, you should not use such tools daily for a couple of reasons:
1️⃣ Typically compute is (or will be) priced astronomically;
2️⃣ Free tiers are generous for one-off usage, but If you rely on this for proper business, the Microsoft gets power to destroy your business with one click without any recourse to any form of arbitration;
3️⃣ If one provider controls all of your supply chain (local OS, local IDE, CVS, cloud hardware) bad things WILL happen, trust me. This has happened before.
https://github.blog/2022-11-22-exciting-new-github-features-powering-machine-learning/
Looks like sponsored content.
But if true ... you know what not to do. It has been at least several years since some flagship Samsung Galaxy phones exploded and were banned from airlines.
Looks like financial capital does not care at all.
Хорошая статья!
🤷♂️ Сколько я ни пробовал такие платформы, всегда натыкался или на убогий UI, который в разы хуже чем стандартный TensorBoard, или на 100% облачную закрытую прослойку, которая пытается брать 30% маржи за сервинг экспериментов в AWS.
⚙️ Пробовать конечно я не буду, но тут есть self-serve опция. Самая главная фича таких сервисов как мне кажется - это возможность 1 кликом подключить внешнее облако или +N серверов, при условии портативности данных.
😱 Предположу, что такое еще становится незаменимым, когда есть 10+ идентичных серверов и задачи +/- типовые и масштабирование идет в первую очередь "вширь".
⬆️ Вообще yml конфиги, экономия вычислительных ресурсов и Tensorboard могут далеко завести, и лично для себя я всегда делал заметку, если мне нужно x10-x100 для решения какой-то задачи, то может я что-то не так делаю.
💎 Мне лично нравится масштабировать модели в 10 раз ... путем сжатия в 10 раз больше данных в одну модель.
Но самое главное - каждому своё.
⚡️Вакансия, Junior Researcher, Speech, ML от Силеро
📌 Заниматься надо будет в первую очередь синтезом речи
🗜Краткая выжимка
Вилка 50-100к рублей
Junior Researcher, Speech, ML
Удаленка по ssh, встречаемся 1 раз в неделю (Москва)
Микро-сорев => скрининг => смотрим код => встреча с командой
📎 Все подробности по ссылке
Who controls the internet?
https://www.netmeister.org/blog/nsauth-diversity.html
We are fucked.
https://youtu.be/HcunpoMzAVw
Tldr
- 30* best GPUs on market for gaming due to mining over production
- AMD new generation middle tier is cheaper than Nvidia top tier GPUs with similar perf and 20 GB of RAM
- 40* for gaming are too expensive
- For ML still remains to be seen
Mick Gordon vs Bethesda
This letter is just pure gold. I participated in similar corporate shit fuckery a couple of times, and the pain is too real.
mickgordon/my-full-statement-regarding-doom-eternal-5f98266b27ce" rel="nofollow">https://medium.com/@mickgordon/my-full-statement-regarding-doom-eternal-5f98266b27ce
Actually amazing codec by FAIR
Links [1] [2]
- 10-20x slower than OPUS on 1 CPU thread - RTF of ~1x or ~10x (only decoding)
- Trained ... on 8 x A100
- Is an encoder-decoder model
- Streamable for 24 kHz, non-streamable for 48 kHz
- What is the deal if it is 10-100x slower? It has similar quality for ~6 kbps bitrate compared to 24 kbps bitrate of OPUS. Opus degrades drastically with 6-12 kbps
Looks like GitHub exists in a parallel reality
While it supports 3 out of 5 BRICS countries now, it still looks like the amount of financial support is mostly peanuts.
Also if you explore the most "used" software, of course it will be endless JS packages.
https://github.blog/2022-11-09-financial-sustainability-in-open-source/
Хроники информационных войн
Обсуждали с коллегой некую тему. Он прислал скриншот с телефона с карточкой статьи из Википедии и картинкой в шапке.
Оказалось, что картинка из статьи-вброса на Пикабу, а что сейчас с Википедией думаю всем и так прекрасно понятно.
Когда гуглишь на телефоне на ходу, даже такой "глубокий" анализ сделать не получится. А то я тут писал, что Wikimedia "сотрудничает" для автоматического перевода статей. Тут, как и в фейках, все работает на порядок проще.
Поджоги военкоматов в новостях: о чём это?
https://vk.com/wall209903_17889
При чтении новостей обычными людьми возникает несколько спецэффектов:
а) люди, в большинстве своём, впрямую воспринимают то, что прочитали, не рассматривая возможность наличия каких-то целей у распространителя информации
б) люди читают новости исходя исключительно из своего жизненного опыта
Поэтому, например, новости о поджогах военкоматов люди воспринимают так, что кто-то, очень смелый, "партизан", пошёл против системы и кинул в военкомат бутылку с коктейлем Молотова
На самом деле это работает не так.
Опишу тройку предпосылок, которыми буду оперировать в объяснении:
1. Половина населения имеет интеллект ниже среднего. Это очевидно, но это надо постоянно помнить и иметь в виду.
2. Русскоязычные СМИ за рубежом, помимо известных исключений, находятся на содержании у тех же самых стран, которые поддерживают Украину и разделяют их цели.
3. В Рунете вполне себе ведёт деятельность украинское ЦИПсО. И не только в виде каментов в соцсетях “рашка фсьо”
Начну с конца. Владелец одного автосервиса, известный пророссийскими взглядами, получил как-то прозрачное послание: загорающаяся зажигалка на фоне вывески его сервиса. С очевидным намёком на то, что его бизнес может сгореть или ещё как-то быть повреждён. С помощью знакомых по камерам и прочими методами приславший видео человек был найден, с ним поговорили.
Выяснилось следующее:
- человек снявший видео не очень умён и богат. Бессмысленно сидел тупил в компе, иногда сидел на работных чатегах своего региона в поисках подработок.
- познакомился с неким недобрым самаритянином, который:
- - последовательно выцепил из него сканы его паспорта, под предлогом предложения подработки
- - выцепил данные его родствнников из Украины
- - начал угрожать, тем, что сделает его родственникам что-то нехорошее, а на неумного человека наберёт миллионы кредитов
- ну и жертву шантажа отправили снимать вышеописанное видео. Снабдив подробными инструкциями: за перемещения платить кэшем, накинуть балахон и очки, ну и всё такое, чтобы по камерам и электронным следам сложно было отследить героя.
На этом история пиромана завершается, но:
- едва ли такая обработка людей ведётся в одном единственном месте
- итоговая судьба “поджигателя”: всё глубже и глубже проваливаться в сети ЦИПсОшника, совершая всё более и более уголовно наказуемые дела. Механизма выхода из петли шантажа тут нет.
Вернёмся к поджигателям военкоматов:
На чём палятся их организаторы, это на абсолютной однотипности действий и видео. Кто-то в капюшоне, кидает бутылку в помещение военкомата, уходит. Всё. Раз в неделю где-то появляется очнувшийся от алкоголизма Илья Пономарёв и говорит: “да, это мы, партизаны, бойтесь нас”. То, что действия чуть более чем бессмысленны - тоже игнорируется.
Реальность же с этими поджогами, предположу, прозаичнее и заключается в том, что по той же самой схеме шантажа каких-то не очень умных людей заставляют делать то, что они делают и записать видео. Потом тех же самых людей, которые уже на хорошем крючке, могут потребовать сделать что-то ещё. Не знаю что, если честно. Но уж поджоги ещё чего-нибудь — очевидно, запросто.
Какова в этом процессе роль СМИ? Российских — никакая: переписывают то, что силовики сообщили, ибо тема стрёмная и подставляться с её освещением под претензии никому не хочется. Ограничиваются фрагментарными сообщениями от госструктур.
Те СМИ, кто находится на оплате иностранцами, действуют иначе: они опускают пикантные подробности того, что по России работает вербовочная сеть Украины, опускают абсолютную однотипность происходящего, выдавая все поджоги за политическую борьбу: ведь туповатый подросток состоял в движении “антифа причерноземья”, а значит - политический борцун, ага. Существует ли “антифа нечерноземья” в реальности и состоит ли более чем из одного члена - вопрос, на который ответа нет, да и с точки зрения прозападных СМИ - не надо: пускай читатель сам додумает в нужную сторону.
But they are ... making a push on their in-browser editor. I wonder why ...
https://github.blog/2022-06-08-sunsetting-atom/
Есть у меня традиция - писать посты в Сапсане по пути в Москву. Сегодня поговорим о моём любимом инструменте всех времён и народов - ClearML.
#Жека #mlops
Пропаганда не соответствует реальности, причем теперь уже обе пропаганды
🙈 Наблюдаю странную вещь. Если смотреть самую базовую макро-статистику (ВВП по ППС на душу), то у нас с 2014 года всё хуже чем по больнице в мире и в Китае, он вносил очень большой вклад в рост темпов ВВП.
🤷♂️ Помню в "тучные" годы, когда я еще был студентом я из года в год проклинал отсутствие строительства метро, ужасные новые вагоны и адекватные тому времени, но уже видавшие виды советские вагоны. Электрички тогда были ... просто ужасными.
📉 Приезжая из Москвы домой из года в года, я не видел прогресса. То же отсутствие местами светофоров, освещения и асфальта (наш район с краю города). Отсутствие вообще какой-либо новой инфраструктуры, банальных кафешек и хотя бы новых магазинов с продуктами (или банально реинвестиций в старые). В центре города даже в "хипстерском" квартале, всё явно держалось на инвестициях начала нулевых, паре местных сетей (я годами думал кстати что Travellers это такое же говно как Шоколадница, но ошибался) и мейджорах.
⬆️ Пару лет назад я начал замечать изменения. Появились светофоры, асфальт, освещение улиц (мне поэтому ночью всегда хватало света луны, чтобы ходить по лесу, поэтому я немного офигел, когда мои друзья гуляя ночью по освещенному (!) лесу ... жаловались что им темно). В Москве появились супер удобные и продуманные вагоны метро. Строительство метро, МЦК и транспорт в Москве просто вышли на уровень киберпанка какого-то. У меня в городе ... в центре появился миллион местных сетей (шавухи) и всяких кафе для хипстеров. В моем районе ... где раньше ничего не было ... появился капитализм, в магазине (где раньше даже полы не мыли) появились кассы самообслуживания, и даже появился местный аналог ... вкусвилла.
🤷♂️ Ну ладно спишем это на универсиаду. Но то же самое я наблюдал и в сугубо депрессивном ПГТ, где я родился, на 10к людей (в лучшее время). Там тоже асфальт, светофоры, чисто, капитализм, даже женщины с колясками.
🤯 Я спросил знакомых, они видят то же самое в разных городах. У меня формируется непонимание. По всей макро статистике, жить лучше не стало. А по факту стало. Почему? Понятно, что наши бледнолицые друзья нам уже в феврале обещали коллапс, но я чего-то не понимаю.
❓За пару лет до СВО прошел тихий приказ вкладывать бабки в инфраструктуру? Стали воровать меньше? Подошел цикл замены основных фондов? Количество перешло в качество? Чиновники научились заниматься не только очковтирательством? Ушло поколение "чубайсов"? Что происходит?
Наверное теперь надо реально готовиться к худшему, а надеяться на лучшее.
https://floor796.com
soo many nods to Russian culture and fairy tales
Github Codespaces
They are slowly rolling them out.
While we use Colab for plain demos (and adding a button for native Github GPU-powered notebook demo will be ... enticing), I feel that this is fundamentally a trojan horse.
Here is why.
Reason 1
If you build your company's processes around Github CI and Github Codespaces ... your business may be eliminated in one second without any recourse to any higher power or court for no reason at all. Because fuck you that is why.
Reason 2
Actually learning the intricacies of setting up your (remote) dev environment is the best learning experience possible.
Reason 3
I tried migrating to Jupyter Lab 2 or 3 times, and it was slow and kind of glitchy. The solution was more simple - VSCode finally has a properly functional Jupyter Notebook kernel runner UX (but I am lazy to update it personally).
The gist - put eggs in different baskets. Putting eggs in one basket ... gives third parties extra leverage ... that they will of course use to your demise. Especially now.
MlPerf Training v2.1 Results
New Nvidia press releases and ML Perf benchmarks also seem more and more hypocritical each time.
Notable:
- No consumer GPUs at all
- Highly sublinear scaling for many tasks (4-8 GPUs seem most efficient)
- No proper apples-to-apples H100 test
- AMD EPYC Vendor lock in place
- "Open" tests are barely there
- As predicted this is a playground for hardware vendors
- On RNNT and Imagenet H100 2x faster, on BERT - 3-4x
This is so nice
When you also find out that their power generation is dominated by coal ...
And they are one of the biggest uranium exporters ...
Well you get the idea, right?
"Making an edit button free is for me an easy S-tier move."
🚽 This is outright hilarious, that edit button is a paid feature.
https://www.youtube.com/watch?v=RXZ4goxGJoQ