2278
Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.
Когда на рынке случилась краткая паника и все кинулись снимать валюту, показательными мне показались два случая:
- Тиньк - придумывали искусственные способы не выдавать валюту и кормить завтраками (мониторьте банкоматы по всему городу сами), звали в "офис" для многочасовых сидений в очереди в крошечной приемной, набитой битком;
- Сбер - пришел в отделение, говорят прямым текстом валюта будет завтра - давайте запишитесь ко времени, в это время просто придете в кассу и всё, вам отложим резерв;
Feel the difference. Комментировать не буду.
Тут попросили показать, как выглядит блокировка Russia Today в Европе, почему мы не можем (не всегда можем) доносить свою позицию.
Вот так выглядит
Also, why are there 2 official PyTorch forums now?
discuss.pytorch.org and dev-discuss.pytorch.org
Более 5 000 000 геймеров по всему миру уже поиграли в Atomic Heart. Присоединяйтесь и вы! 🔥
Читать полностью…
My First Test With Torch 2.0
So I tried running a small model and a large model.
First of all it failed on an STFT module with a plain nn.Module model. No problem, let's try a JIT model, though it is not described in the tutorial.
On AMD CPU - it works, but there absolutely no difference. And the first run does NOT take ages. Then I remembered that AMD was not listed as optimized backend. Looks like it just does not do anything.
Then I tried an Ampere GPU - and still no difference and no "very long first" run. I tried a dynamic shape with real random inputs - and got some cryptic errors.
No conclusions yet. Need more testing on other models / hardware.
Три наблюдения про CPM на YouTube
Ютуб это 40% времени россиянина в интернете после всех событий. Отсюда понятно, почему кабели не режут, но непонятно, почему VK и Рутуб все ещё нигде, причем согласно блоггерам.
Гипотеза - потому что нигде кроме Ютуба не было реально работающей партнёрки, несмотря на оголтелый техно-, лейбло-, повестко- и цензо- фашизм и adpocalypse с беспочвенными и шадоу банами (готовились?).
Как измерить работу и направленность этой партнерки? Если все эти люди не врут (что не факт), наши развлекательные ютуберы жаловались, что CPM у них был в районе 0.1 доллара и поэтому все ломанулись на патреоны с бусти у нас, и из-за беспричинных удалений каналов у них (я видел аж три таких случая среди своих буржуйских каналов до войны). То есть 10 центов за 1000 просмотров. В США вроде как нормальный CPM даже после adpocalypse все равно выше доллара.
Считайте сами, но продакшн бюджеты трешака типа Mr Beast и загоны многих селебрити стримеров и влоггеров не на пустом месте же возникли.
Если вспомнить, что у Юрия подоляки до войны было 100-200к просмотров на видео максимум, то его откровения про заработок на Ютубе в конце 21 года приводят меня в диапазон 0.5 - 1 доллар.
Третья точка - после войны Ютуб стал безумно пушить украинские каналы, в частности шортсы. С нашим ботом я прямо видел почти одинаковые видосы с просмотрами отличающимися на 3 порядка, и взлетали именно в основном украинские. И что думаете? CPM там совсем крошечный, там 0.01 или 0.001.
В принципе логично, что какие рекламодатели (когда их нет он равен нулю), такой и CPM, но тут или Юрий Подоляка приврал, или я неправильно экстраполировал просмотры его канала до войны, или политота на нашу аудиторию реально была фокусом и получала преференции на Ютубе для войны. Точнее сказать не могу, но вот вам три краевые точки.
Compatibility with older python and CUDA dropped [1]
Dynamic shapes are flaky [2]
PyTorch 2.0: next generation release
Summary:
torch.compile is the main API for PyTorch 2.0, which wraps your model and returns a compiled model.
TorchInductor with Nvidia and AMD GPUs will rely on OpenAI Triton deep learning compiler to generate performant code and hide low level hardware details. OpenAI Triton-generated kernels achieve performance that’s on par with hand-written kernels and specialized cuda libraries such as cublas.
https://pytorch.org/blog/pytorch-2.0-release/
Cannot make this shit up
https://huggingface.co/spaces/togethercomputer/OpenChatKit
Думаю все, кто хотел, уже пошли Atomic Heart.
Мы абсолютно бесплатно пиарили (я видел уже в чате нашего бота шизофрению на эту тему) игру pro bono, договорившись с издателем.
И даже после прохождения я в принципе не изменил своего мнения, что эта игра это хороший инструмент популяризации советской, российской или русской культуры - кому какой ярлык ближе.
Это просто красивая игра с большим количеством косяков в гейм дизайне и божественной презентацией, и глупо от нее чего-то такого требовать.
Но мне немного показалось, что в конце она продвигает немного неправильные идеи. Интересно, а вы это заметили?
🏠 Более 7,6 тыс. ИТ-сотрудников получили льготную ипотеку
С момента начала реализации программы по льготной ипотеке подано 32 тыс. заявок. Из них выдано более 7,6 тыс. кредитов на общую сумму 68,6 млрд рублей. На данный момент одобрено 14 тыс. заявок, остальные находятся в обработке.
Программой воспользовались сотрудники ИТ-компаний в 80 регионах России.
Наибольшее число ИТ-ипотек оформлено в регионах:
📍 Москва
📍 Санкт-Петербург
📍 Новосибирская область
📍 Ярославская область
📍 Свердловская область
Программа льготной ипотеки была запущена в апреле 2022 года. Выдача первых ипотечных кредитов началась в мае 2022 года.
Новые условия
В конце января 2023 года изменились правила получения ИТ-ипотеки. Условия для оформления кредита стали проще, требования к зарплате — ниже.
С этого момента количество заявок на ИТ-ипотеку начало активно увеличиваться. Если в декабре 2022 года в банки поступили 2,1 тыс. заявок, то в феврале 2023 года их было подано уже 4,7 тыс. Вдвое выросли темп и объём выдачи — до 500 кредитов в неделю на сумму порядка 5 млрд руб.
@mintsifry
https://www.zeta-alpha.com/post/must-read-the-100-most-cited-ai-papers-in-2022
Читать полностью…
Predictably, now it is only for the American academia. But weights are leaked ofc.
Читать полностью…
LLaMA: Open and Efficient Foundation Language Models
LLaMA is a set of large language models, ranging from 7B to 65B parameters, that have been trained on publicly available datasets containing trillions of tokens. The LLaMA-13B model performs better than GPT-3 (175B) on most benchmarks, and the LLaMA-65B model is competitive with other state-of-the-art models, such as Chinchilla70B and PaLM-540B. This suggests that it is possible to achieve excellent performance in language modeling without relying on proprietary or inaccessible datasets.
Paper: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
Code: https://github.com/facebookresearch/llama
A detailed unofficial overview of the paper: https://andlukyane.com/blog/paper-review-llama
#deeplearning #nlp #transformer #sota #languagemodel
Чуть ли не вся пресса сейчас нам рассказывает, как вовремя мы начали наращивать независимость от западных финансовых рынков, и как на нас практически не повлияет банкротство SVB и его последователей. А "Тинькофф" тем временем усложняет закрытие инвестиционных счетов и извлечение с них своих (в смысле, наших) кровных. Тот самый банк, который так гордился отсутствием отделений, теперь требует приехать в отделение, чтобы закрыть ИИС.
https://roem.ru/27-03-2023/296973/teper-zakryt-iis/
My experience with PyTorch 2.0 so far:
[1] - packaging?
[2] - compilation errors
We will test other models as well.
Главный вопрос - какой % этих игроков поиграл бесплатно на рутрекере, а какой % условно бесплатно на гейм-пассе.
Читать полностью…
⚡️Вакансия, Junior+, Speech, ML от Силеро
Актуально до 30.07.2023
📌 Заниматься надо будет в первую очередь синтезом речи и вспомогательными к нему задачами
🗜 Краткая выжимка
Junior+, Speech, ML, Python
Вилка 50-100к рублей
Только основное место работы
Только выпускники или студенты последнего курса
Удаленка по ssh, встречаемся 1 раз в неделю оффлайн (Москва)
Не рассматриваем сочетание с аспирантурой / работой в лаборатории / и т.п.
🛠 Что реально надо делать
Разработка на питоне
Работа с данными, чистка вилкой, сбор данных
Обучение нейросетей и разработка ML алгоритмов
📚 Идеальный кандидат
Python + PyTorch
Есть понятные пет-проекты или опыт
Курсы это плюс, но они не считаются за опыт / пет-проекты
Прошарен(а) в экосистеме Linux, не боишься работать в консоли
Прочитал(а) seminal papers в какой-то области (CV, NLP, ASR, TTS), имеешь свое аргументированное мнение на эту тему
🔗 Почитать про нас
Наши публикации на Хабре
Публикации на английском языке
Полный список публикаций
Бот с нашим синтезом в Телеграме (2м пользователей)
✉️ Присылайте ваш пет проект / опыт с кратким CV сюда @silero_job
I like how they care and support the open source community.
https://www.docker.com/blog/we-apologize-we-did-a-terrible-job-announcing-the-end-of-docker-free-teams/
No AMD CPU support for acceleration, which makes sense
[1] [2]
Чувак из Facebook (тоже, блин, империя добра нашлась), пишет разрабу из Байкал Электроникс, что он его патчи в ядро линукса видеть не хочет, ибо, цитата
"Нам некомфортно принимать обновления от людей из вашей организации или связанные с вашей организацией.
Пожалуйста, перестаньте контрибутить до дальнейшего уведомления"
В исходном письме Сёмин изложил, что чем больше они пытались добавить поддержку "Байкала" в ядро, тем больше багов они находили, так что вот вам первые поправочки.
Оказались не нужны ¯\_(ツ)_/¯
Вы не понимаете, это другое!
Понятно, что ОДС, родившийся как комьюнити а-ля "пробиваем лидер-борды вместе" (когда я еще участвовал в соревах, там был сорев с 1000 моделей членов ОДС в ансамбле), не выдержал:
- Наплыва "вайти" и рекламы;
- Отсутствия структуры и модерации;
- Будучи аффилированным со Сбером, зависел от аттракциона неслыханной щедрости Слака;
Я давно не слежу, но его вроде скоро уже добьют таки. И понятно, что люди донатящие организациям со звездочками, начнут сбиваться в кучки и пытаться, когда отлегло, пиариться на костях и "бренде" ОДС, но прося на входе условно "подписаться", что они "хорошие русские".
Но не это удивительно и занятно. Занятно, что я зашел чисто поскроллить и увидел там такой взрыв мозга:
- Некий товарищ сделал своё комьюнити и активно постит во втором;
- В правилах второго написано "Крым - Украина";
- В приветственном треде человек пишет, что он мол блоггер, тренирует LLM и работает ... в Сбере;
Как говорится война войной, а обед по расписанию. Что забавно, в новостях про "отмену" игры Hogwarts Legacy видел такие же сентименты - ярые отменяльщики отменяют, но зарплату прекрасно берут у "плохих" компаний.
Как говорится, вы не понимаете, это другое!
Конечно земной поклон, но условия едва стали интересными, и толпы не рванулось.
Интересно, почему?
https://github.com/facebookresearch/llama/pull/73/files
Читать полностью…
Яндекс продолжает лезть к детям
Как вам такое, Яндекс организует айтишную конфу для школьников 5-11 классов про то, какие классные они продукты делают.
Заход через контору Коняева. Хотели рекламироваться в нашем боте, где много детей.
Напоминаю, что его сейчас делят, и прекрасные люди из поста выше, вероятно, останутся в Израиле.
Товарищ майор, почему иностранные компании с такими тезисами (пост выше) лезут учить наших детей, а вы ничего не делаете?
Hot news: https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
Training smaller foundation models like LLaMA is desirable in the large language model space because it requires far less computing power and resources to test new approaches, validate others’ work, and explore new use cases. Foundation models train on a large set of unlabeled data, which makes them ideal for fine-tuning for a variety of tasks. We are making LLaMA available at several sizes (7B, 13B, 33B, and 65B parameters) and also sharing a LLAMA model card that details how we built the model in keeping with our approach to Responsible AI practices.
In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla70B and PaLM-540B. We release all our models to the research community.
Model card: https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md
Paper: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
Form to apply: https://docs.google.com/forms/d/e/1FAIpQLSfqNECQnMkycAp2jP4Z9TFX0cGR4uf7b_fBxjY_OjhJILlKGA/viewform
Unfortunately, it's only for non-commercial purposes :(
"You will not, and will not permit, assist or cause any third party to:
a. use, modify, copy, reproduce, create derivative works of, or distribute the Software Products (or any derivative works thereof, works incorporating the Software Products, or any data produced by the Software), in whole or in part, for (i) any commercial or production purposes ... "
Всем гражданам России, кто "донатит" деньги на ВСУ на заметку (в т.ч. и тем, которые сбежали)
"ФСБ России во взаимодействии с МВД РФ задержала жительницу Москвы за госизмену в виде финансовой помощи Вооруженным силам Украины".
Согласно статьи 275 УК РФ за это преступление предусмотрено наказание на срок от 12 до 20 лет лишения свободы со штрафом до пятисот тысяч рублей или дохода осужденного за период до трех лет.
Кстати, это касается в т.ч. и тех россиян, которые уехали из страны и сегодня рассказывают о том, что они помогают ВСУ.
Так вот (специально для них) этот случай показывает, что В ЭТУ РОССИЮ ВЫ БОЛЬШЕ НИКОГДА НЕ ВЕРНЕТЕСЬ, РАЗВЕ ЧТО ЧЕРЕЗ ТЮРЬМУ!!!
