2278
Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.
Если судить по телеграму, 50-75% IT / МЛ комьюнити в первые дни активно топило донатить Медузе и прочим организациям со звездочкой.
Сейчас же ситуация меняется - улыбаемся и машем, за вами следит скрытая камера.
Запущенная Путиным и Собяниным Большая кольцевая линия - крупнейший в мире проект в области метростроения, в ее состав входит 31 станция, протяженность - 70 километров.
На многих маршрутах экономия времени после запуска БКЛ составит до 35-45 минут, улучшится транспортное обслуживание 34 районов Москвы.
🍿 Wondering what the 4 promised DLCs will be
I mostly 100% finished the game.
All my previous conclusion hold.
The game deserves praise (first major title by this developer and it is world class product), will not spoil anything, but beware:
- Lots of great content, but it is unevenly spread;
- In the end ... questionable ideology overall;
- Lots of problems with game loop mechanics design;
Funnily enough, the game gets overall good reviews on steam (~90%) despite the mass efforts to cancel it by western game media and mass attacks by Ukrainian cognitive farms.
⚛️ ❤️ Atomic Heart is awesome, but flawed
I very much wanted this game to be better than my favorite similar games - Doom Eternal (2020) and Prey (2017).
Sadly it is not, but for THE FIRST game from a new developer, it is just a marvel. A world-class AAA product, albeit with some game loop flaws:
- Art, setting, landscapes are flawless and awesome. Too many anachronisms though. Proper propaganda - pro science, pro piece, pro progress etc;
- The game itself is ok, tries to be an immersive sim, but fails to do. Mostly is just an OK shooter. Also it is very easy even on hard;
- Very many questionable game loop design decisions;
- Properly optimized for weak hardware, bugs are present, but not very annoying;
No spoilers, see the game for yourself.
Also you can generate voice from the game in our bot @silero_voice_bot.
Hope that DLCs will fix these issues!
2022 Transparency Report - https://github.blog/2023-02-15-2022-transparency-report/
Читать полностью…
Инструменты модерации в телеграме
Попробовал с десяток разных. В итоге ничего лучше @MissRose_bot даже на километр нет.
Был нормальный антимат бот, но умер.
Да и встроенные возможности догоняют понемногу, в принципе их уже на 95% хватает, особенно с последним релизом.
An interesting perspective here. What if LLMs are viewed though the lens of Microsoft willing to take some part of the search market?
Trends in the dollar training cost of machine learning systems - https://epochai.org/blog/trends-in-the-dollar-training-cost-of-machine-learning-systems
The Inference Cost Of Search Disruption – Large Language Model Cost Analysis - https://www.semianalysis.com/p/the-inference-cost-of-search-disruption
The AI Brick Wall – A Practical Limit For Scaling Dense Transformer Models, and How GPT 4 Will Break Past It - https://www.semianalysis.com/p/the-ai-brick-wall-a-practical-limit
Training Compute-Optimal Large Language Models - https://arxiv.org/pdf/2203.15556.pdf
How to spot propaganda by DarkMatter2525
https://www.youtube.com/watch?v=ewXqB7g7t1A
AI Psychosis
- https://blog.piekniewski.info/2023/02/07/ai-psychosis/
Software engineers. GPT can write code. This is somewhat exciting and in a sweet salty fast food news fashion the media and the tech bros interpreted that as the end of software engineering profession. So I asked it two write some code. And in all but the very rudimentary functions it was littered with bugs and in more than half of the cases wasn't even in the right vicinity. There might be some uses, e.g. GPT seems to be pretty decent at generating docstrings, but as with all these examples above "replacing software engineers" is a pipe dream hyperbole. It's worth recalling here that when four color theorem was solved in the late 70's using a computer, people were in similar fashion fearing that mathematicians are about to become irrelevant, and now, some 50 years later we can easily see how that ended.I am too so fed up with this shit.
Имейте в виду
2. Предоставление или сбор средств либо оказание финансовых услуг, заведомо предназначенных для обеспечения деятельности иностранной или международной неправительственной организации, в отношении которой принято решение о признании нежелательной на территории Российской Федерации ее деятельности в соответствии с законодательством Российской Федерации, -
наказывается обязательными работами на срок до трехсот шестидесяти часов, либо принудительными работами на срок до четырех лет с ограничением свободы на срок до двух лет или без такового, либо лишением свободы на срок от одного года до пяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до десяти лет или без такового.
Дискас?
Если вы хотели попросить Алису замолчать, но не знали как. То на этих запросах пользователей она точно обучена :)
@ciso_on_fire
⚡️Обновляем сравнение систем распознавания русского языка ⚡️
Признаюсь, я думал, что этот момент не наступит. Но наступил:
- https://habr.com/ru/post/711738/
Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learning
https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/
Wow, this time he mentions:
- A primer on how GPUs work
- Used GPUs
- Blower fans
- An interesting variety of GPUs
- Finally proper caveats on memory, cooling, blower fans
As usual, the Ivory tower caveats:
- Not sure where you can actually get Ada or Hopper GPUs
- Lol, did he see the TDP of 40* GPUs? I have not seen sane options yet ...
- No mention of A10 or A5000
- No mention of Bitcoin bubble bs
- No mention of EPYC vendor lock
- For us FP16 only helped with memory
- Did not see massive practical support of FP8 yet
- No mention of 40* Nvidia pricing bs (mostly relevant for gaming)
- The 1600W PSU mumbo jumbo is most likely due to the fact that he lives in the 120V country and never builds with server parts
Atomic Heart OST
Mick Gordon is nowhere to be seen in credits.
I wonder why ...
https://youtu.be/R1eyjhTmErw
The New Gatekeepers
🗒 https://www.ben-evans.com/presentations
TLDR:
💸 The end of free money (for Americans)
- E-commerce back to its long-term trend (after COVID), same as COVID "backed" products
- First time in history, ad revenue slips for Google and Facebook
- VC financing back to trend line
- 250k tech layoffs, last 12m
- 5bn people with a smartphone
📉 Decline of old gatekeepers
- Major decline of department stores and newspaper ads (5-10x last 20 years)
- Amazon surpassed Walmart
- Ads as a % of GDP - stable, but now 50%+ is Internet
- Top10 media owners dominated by tech companies, Comcast and Disney are "small"
- Top 100 global advertisers ~ GAFA ad revenue
- The more imperialist the country - the more % of GDP as ad spend, US have 2x retail space per capita than other imperialist countries
- Amazon ads > Amazon Prime, Amazon ads > global newspaper ads
- Amazon - 7.5% of retail revenue is ads
- Fast fashion overtakes traditional retail
- Streaming titles overtake cable and broadcast, fragmentation grows, tv unbundles
- Streaming entrants match legacy players' production budgets, YouTube creators payments ~ 1 major content player
- Everything is about bundling and unbundling
🤷♂️Speculations about the future
- Implosion of next big thing (DeFi, NFT, several AI winters)
- US enterprise moving to cloud
- All of them are looking to monopolize the next paradigm, so far without results
- Meta spends US$14bn on metaverse in the last 12 months (25% of USA spend on war)
- Generative "AI" circle jerk
🏆 In the last 5 years, Telegram surpassed Facebook Messenger to become the most popular cloud-based messaging app. Telegram is now second only to WhatsApp and is closing the gap year by year. No wonder our competitors are concerned! 🔥
Читать полностью…
Обыкновенный Практикум но теперь и с поддержкой МинЦифры?
У МинЦифры есть программа обучения школьников программированию. По официальной информации - порядка 130к школьников 8-11 классов туда записались (или записались 200к, а начали учиться 130к, не суть, много в общем).
У Яндекса есть Яндекс Практикум. У Яндекс Практикума есть сотрудники. У сотрудников есть интересные достижения. Раз и два и три.
Наверное вы уже догадались, кто является там одним из провайдеров услуг?
Однако, интересный у МинЦифры получается код для нашего будущего!
😱 How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0 - https://www.semianalysis.com/p/nvidiaopenaitritonpytorch
TLDR
- Nvidia's dominant position in this field, mainly due to its software moat, is being disrupted;
- PyTorch won the hearts of researchers and small / large firms;
- Nvidia’s FLOPS have increased multiple orders of magnitude by leveraging Moore’s Law, but primarily architectural changes such as the tensor core and lower precision floating point formats. In contrast, memory has not followed the same path;
- The next step down in the memory hierarchy is tightly coupled off-chip memory, DRAM. DRAM followed the path of Moore’s Law for many decades. Since ~2012 though, the cost of DRAM has barely improved;
- Comparing Nvidia’s 2016 P100 GPU to their 2022 H100 GPU that is just starting to ship, there is a 5x increase in memory capacity (16GB -> 80GB) but a 46x increase in FP16 performance (21.2 TFLOPS -> 989.5 TFLOPS).
- From the current generation A100 to the next generation H100, the FLOPS grow by more than 6X, but memory bandwidth only grows by 1.65x;
- One of the principal optimization methods for a model executed in Eager mode is called operator fusion, this optimization often involves writing custom CUDA kernels;
- The growth in operators and position as the default has helped Nvidia as each operator was quickly optimized for their architecture but not for any other hardware. If an AI hardware startup wanted to fully implement PyTorch, that meant supporting the growing list of 2,000 operators natively with high performance;
- PyTorch 2.0 brings many changes, but the primary difference is that it adds a compiled solution that supports a graph execution model;
- OpenAI’s Triton is very disruptive angle to Nvidia’s closed-source software moat for machine learning. Triton takes in Python directly or feeds through the PyTorch Inductor stack. The latter will be the most common use case. Triton then converts the input to an LLVM intermediate representation and then generates code. In the case of Nvidia GPUs, it directly generates PTX code, skipping Nvidia’s closed-source CUDA libraries, such as cuBLAS, in favor of open-source libraries, such as cutlass. The Triton kernels themselves are quite legible to the typical ML researcher which is huge for usability;
О человеке судят по его друзьям
Интересное подтверждение тезиса про "о человеке судят по его друзьям".
Несколько лет подряд я подавал наши публичные статьи про синтез на конкурсы Хабра. И ... самая годная статья с 200+ рейтинга ... по словам админов Хабра просто случайно оттуда пропала! Ну ... это был не бан. Она просто случайно пропала. Верьте нам! Мне даже не надо преувеличивать.
При этом в тот раз, когда она пропала, лучшая статья в этой категории конечно была про шёпот Алисы, ага.
Сейчас Хабр вроде разродился экспертами из комьюнити на каждую категорию, но ... первый в списке там это человек, публично призывавший донатить Медузе, а второй - пишущий длинные опусы про смерть нашей науки и почему студенты в лабах не должны получать нормально денег.
Много, много чудных совпадений!
Хотя что я. Хабр теперь это иностранное СМИ с редакцией в несколько десятков человек и плавно снижающимися показателями. Странно было бы, если бы они гребли в обратную сторону.
Вопрос только в том, насколько далеко они зайдут.
If you have not lived in Russia, in some cities bureaucrats, cashiers, bank clerks are not necessary for 90% of mundane operations (which gives people more time to attend to the rest 10% of operations). We simply have best online banking and online government services.
In some supermarkets there are even self-checkout machines ... and they just work without sophisticated tracking and 10x cameras and tags. It just works on honour system and just regular surveillance.
Especially I was shocked when I found them in a lame-ass supermarket in my home town. Of course there were people to monitor the process and help, but it was 1-2 people per 10 self-checkout machines.
Digest 2023-01
https://telegra.ph/Digest-2023-01-02-01
#digest
Ох, я помню, как-то определенные МЛ каналы призывали донатить Медузе как некоторой "проксе".
Закон обратной силы конечно не имеет, но кажется рекурсия начала закрываться понемногу.
🙈 Тут конечно напрашивается некоторая теория заговора:
Смотрим на "дату" файлов в сливе.
Смотрим есть ли там сервисы "израильского" "Яндекса".
Достаточно ли правдоподобно и кто кого слил - я естественно не знаю.
Карим Валиев (ex VK) делится мыслями по утечке кодов "Яндекса":
4. Очень много самописных внутренних инструментов, много документации. Интересно для изучения, чтобы понимать как работают большие компании и их IT-инфраструктура. Кажется, что в Яндексе есть сильный перевес в пользу "напишем сами" даже тогда, когда другие компании обошлись бы опенсорсом.
5. Конечно, интересен репозиторий security 🙂 Там тоже внутренние инструменты, всевозможные сканеры, разбиралки тикетов, все на достаточно продвинутом уровне.
6. Дальше еще интереснее. Яндекс массово использует Телеграм в качестве рабочего мессенджера. В файлах есть куча ссылок на чатики в телеграме, по которым можно было прийти и вступить. Сразу после новости о сливе большую часть из них подчистили, но не все. Использование Телеграма - большая проблема и боль для безопасности. Правильный выход - это конечно использование корпоративного мессенджера с полным запретом личных. Но у них тоже есть свои недостатки, телеграм просто очень удобный. В Яндексе используют специального телеграм-бота, которого добавляют в чатики и он следит, чтобы там не было чужаков. Но понятно, что работает это только в тех чатиках, куда бота не забыли добавить.
7. В репозитории Алисы тоже много интересного. Именно самой говорящей модели Алисы вроде нет, но есть много разных скриптов для ее обучения, фрагментов обучающих данных и т.п. Есть выборки реальных (анонимных) запросов пользователей к Алисе, очень интересные. На скриншоте фрагмент файла с реальными призывами к Алисе замолчать. Его можно растащить на мемы буквально целиком
8. В репозитории Почты есть код, который занимается разметкой данных из писем. В том числе анализируются письма с подписками на разные онлайн-сервисы, письма с чеками. Зачем именно - неясно, возможно Яндекс так мониторит конкурентов по рынку?
С весны твержу, что IT-крупняк в Штатах и вообще Pax Americana посыпется по финансам (это неизбежное следствие роста стоимости фондированя в долларах и эрозии концепции однополярного мира и соответствующего снижения бюджетов IT-решений для всего мира. Глобализация многих IT-сервисов отменяется) и первое что крупняк будет при этом делать — сокращать людей
Microsoft увольняет, Amazon увольняет, Netflix увольняет, Facebook увольняет, ну и Google не стал стоять в сторонке и тоже уволит 6% сотрудников, это 12 000 человек, на секундочку
Отлично понимаю, что я со своими взглядами несимпатичен дикому множеству людей, но при переезде хотя бы свою голову уже включайте.
Более-менее понятен переезд куда-нибудь в Азию, где есть своё IT, в Европу, где социализм такой, что фиг кого-то уволишь, но уезжать в Штаты для работы по найму на рядовой, пусть и квалифицированной позиции — архистранное решение.
Выход Сбера в Крым и его анонсирование самим банком это нечто новое в российских компаниях, считающих себя айтишными
Не секрет, что у "Яндекса" со стародавних времён есть крымский офис, а у Сбера есть гостиница "Мрия" в Ялте, то есть — существование Крыма и в жёсткую оппозицию по региональному вопросу российские компании не уходят — это было бы сложно, на самом деле.
Но при этом всячески демонстрируют, что Крым не такой как Россия, особый регион, и подмигивают обоими глазками: решайте сами, чей Крым, ребята. Мы даже границ на картах показывать не будем.
Подмигивали
Жизнь враскоряку понемногу заканчивается, вести бизнес "мы российская компания, но в Крыму и далее по списку мы не работаем" — становится всё страньше и страньше: а какая вы российская компания, если ваши действия определяются иностранным законодательством?
А какая вы российская компания, если вы продвигаете ипотеку на 20 лет, а авторы креативов этой кампании свалили в Грузию и работают удалённо, считая, что в России ничего хорошего не будет?
Ну и другие вполне очевидные вопросы.
При этом Сбер, конечно же, страдает кадрово от отъезда сотрудников (хотя и в меньшей, наверное, степени чем "Яндекс") и, наверное, хотел бы на каких-то уровнях избежать лишней манифестации своей позиции, но не избежал.
В очередной раз замечу: жизнь враскоряку разрушительно влияет на психику. Можно только поддержать рост психического здоровья у сотрудников Сбера.
А 22-23-й год — это годы HRов в крупняке — именно им надо определять, как компании будут вести свою кадровую политику и как они будут объяснять своим сотрудникам происходящее в мире.
Спрятаться за "мы просто занимаемся бизнесом" не получится.
https://www.semianalysis.com/p/tsmc-says-they-will-sidestep-the
Читать полностью…