Стать специалистом по машинному обучению

18 Jun 2024 09:56

В продолжение поста о важности понимания контекста.

В подкасте уже 2 раза принимал участие небезызвестный специалист по искусственному интеллекту - Сергей Марков, ответственный за ruGPT-3, ruDALL-e, GigaChat и другие известные проекты. Еще когда мы записывались с Сергеем первый раз, он говорил о том, что пишет большую книгу про ИИ и даже присылал мне ее черновой вариант. А теперь полноценная книга, а точнее даже две, размещены в свободном доступе на сайте Сергея. Я начал читать и хочу поделиться первыми впечатлениями. Во-первых, это серьезный проработанный материал. На заре выхода подкаста я сам готовил выпуск по истории ИИ и перечитал множество источников, чтобы собрать больше фактов и постараться избежать транслирования мифов. Получилось только частично и сейчас я не назову тот выпуск достаточно достоверным. А, вот, о книге Сергея я, пожалуй, так сказать смогу. Видно, что перелопачено огромное количество источников, чтобы максимально правдиво рассказать о пути развития вычислительных наук, да и не только вычислительных.

Я читаю книгу и понимаю, что по духу она очень близка книге "Инноваторы", о которой я как-то рассказывал в одном из постов, и которую я считаю, наверное, лучшей книгой про технологии и людей, дающей более менее полную картину развития компьютерной техники через раскрытие личностей инженеров и предпринимателей, напрямую в этом участвовавших. И при этом в книге Сергея Маркова гораздо больше строгости, свойственной ученым, хотя не обходится и без эмоциональных историй, а также юмора. Думаю, что книга формирует правильное отношение к ИИ, в целом, хотя сам я еще и не дочитал до глав, посвященных безопасности и этичности ИИ-технологий. Я могу ее порекомендовать очень широкому кругу читателей, и в первую очередь, лицам, принимающим решения, чтобы быть в одном контексте с теми, кто двигает это направление. Возможно, тогда и решения будут гораздо более взвешенными и основанными на хорошей исторической базе, а не мифах, транслируемых СМИ уже многими десятилетиями. Это как раз о важности понимания контекста, если кто не понял :)

1. Ссылка на страницу сайта Сергея Маркова, с которой можно скачать книги в электронном виде (или даже заказать бумажные экземпляры)
2. Выпуск Machine Learning Podcast с Сергеем "Русская GPT-3 и роботы-коллекторы от Сбера"
3. Выпуск Machine Learning Podcast с Сергеем "ruDALL-E. Генерация картинок по текстовому описанию"
4. Пост про книгу "Инноваторы"

Стать специалистом по машинному обучению

16 Jun 2024 16:04

Кажется, я довольно часто повторяю мысль, что любые технологии, практики их применения и названия важно изучать не сами по себе, а в рамках исторического контекста. Тогда, во-первых, будет понятнее, какие задачи призвана решать та или иная технология, во-вторых, легче будет запомнить, чтобы лишний раз в гугл не бегать, а в-третьих, будет меньше недоумевания по поводу того, почему это работает так, и почему это казалось, а, возможно, и оказалось, хорошим решением.

Поэтому, я всегда стараюсь перед изучением чего-то нового погрузиться в исторический контекст. Это позволяет и саму технологию лучше понять, и мотивацию ее создателей, что, в конечном итоге, мне верится, приводит к более эффективному ее использованию.

А записать эту мысль ещё раз меня сподвигло очередное открытие в рамках нейминга команд Linux. Все знают команду cat для быстрого просмотра содержимого файла, но оказывается, ее предназначение не столько в этом, сколько в том, чтобы объединять несколько файлов в один поток вывода, потому и называется она как сокращение от "concatenate". А я все время думал, ну причем здесь какой-то кот, когда надо файл быстро посмотреть 🤷

Такие открытия случаются постоянно и позволяют посмотреть на очень привычные вещи по-новому, и в дальнейшем, более полно использовать их функционал.

Стать специалистом по машинному обучению

10 Jun 2024 16:54

Продолжается эпопея войны с виндой. Но вроде, кажется, удалось победить. По крайней мере, докер пока работает и синий экран смерти больше не появлялся. А, да, пришлось полностью переустановить винду, потому что после ряда шаманских манипуляций по обновлению системы, переустановки WSL, исправлению конфига докера и т.п. компьютер стал самопроизвольно вырубаться почти сразу после загрузки рабочего стола. При этом не помогало ни исправление ошибок файловой системы, ни еще куча манипуляций, описанных в разных колдовских гайдах.

В общем, все снес, скачал образ из официального источника (через VPN) и... Началась эпопея с созданием загрузочной флешки. Дело в том, что у меня больше нет под рукой компа с виндой и загрузочную флешку я мог создать только на macOS или Ubuntu. Сначала ExFAT ему не нравился, ок, переформатировал в NTFS через платную утилиту с триалом Paragon NTFS - все равно ноут не видит загрузочную флешку. Ни в UEFI, ни в Legasy режимах.

В итоге помогла мне вот эта утилита: https://github.com/TechUnRestricted/WinDiskWriter. Спасибо тебе, друг! Загрузочная флешка была опознана в UEFI-режиме и система встала. Затем установил WSL и докер. И, вот, теперь все работает. И я, наконец, снова могу тестировать работу с брокером сообщений NATS, о котором прямо сейчас пишу в курсе, под управлением Windows. Пусть маленькая, но все-таки победа! С чем себя и поздравляю! Спасибо за внимание :)

Стать специалистом по машинному обучению

03 Jun 2024 17:32

С другой стороны, очень давно хотелось поглубже разобраться как работают компьютерные сети и собрать лоскуты теоретико-практических знаний воедино. Начал с этого курса. Давно подписан на автора и курс по сетям тоже очень нравится.
https://www.youtube.com/playlist?list=PLtPJ9lKvJ4ojPWFLuUz6g8c73Ta45bUN8

Стать специалистом по машинному обучению

24 May 2024 12:23

Хочу рассказать о классном событии для всех, кто интересуется данными и машинным обучением, — 25 мая в Москве пройдет офлайн-конференция Data Fest 2024. Состоится в офисе VK. В программе доклады по рекомендательным системам, управлению командами data science, обработке естественного языка, компьютерному зрению. Советую не упускать.

UPD. Регистрация закрыта, но будет трансляция!

Стать специалистом по машинному обучению

21 May 2024 18:51

Как-то в гостях подкаста у меня был Юрий Кацер - специалист по временным рядам. Сейчас по одной задаче нужно глубже разобраться во временных рядах и я насматриваю/начитываю разные материалы по теме. Наткнулся на хорошую вводную лекцию от Юрия. С нее, прям, хорошо начинать, чтобы получить общее представление о теме и проблемах, которые приходится решать.
https://www.youtube.com/watch?v=_r4DU6apcgY

Стать специалистом по машинному обучению

14 May 2024 16:10

В MLbookClub забросили чтение Дайзенрота (как минимум те, о ком я знаю), потому что книга оказалась сильно несбалансированной, с резкими скачками сложности и не очень логичными переходами. Решили попробовать читать не какую-то одну книгу, а то, что кому ближе подходит по контексту, а по субботам встречаться, обсуждать и делиться впечатлениями.

Я выбрал для текущей книги Сару Бослаф. Статистика для всех. Услышал ее в рекомендациях в одном подкасте, о котором как-нибудь напишу отдельно, когда автор, наконец, будет чуть посвободнее и найдет время пообщаться :) Первые впечателения от книги хорошие - очень структурированное изложение сразу с введения. Прям, как я люблю.

Пока искал эту книгу открыл для себя сайт Национальной электронной библиотеки, на котором есть много хороших книг в свободном доступе, в том числе и вышеупомянутая книга по статистике. Лежит здесь, если кому интересно.

Стать специалистом по машинному обучению

02 May 2024 18:54

Яндекс проведет бесплатный фестиваль Young Con для студентов и молодых специалистов, желающих построить карьеру в IT

Главной идеей станет «Вселенная Яндекса» из девяти тематических «миров». В их основе будут сервисы и технологии компании. Участники смогут лучше узнать задачи и челленджи разных команд, пообщаться с разработчиками и продуктовыми лидерами, вдохновиться их опытом, задать вопросы и узнать про возможности построения карьеры в разных частях компании. Прямо на фестивале можно будет пройти экспресс-собеседование — успешный результат повысит шансы попасть на стажировку в Яндекс.

Завершится фестиваль выступлением групп The Hatters и ХЛЕБ, а также финалом турнира по спортивному программированию «Баттл вузов. Кубок Y&&Y», где лучшие команды вузов сразятся за призовой фонд в 1 млн рублей.

Фестиваль пройдет 27 июня в московском Live Арена, а также в онлайне.
Регистрируемся здесь.

Стать специалистом по машинному обучению

10 Apr 2024 14:41

Рад представить очередной выпуск подкаста!

В гостях Лаида Кушнарева - Старший Академический Консультант, Huawei, которую в мире Data Science больше знают как Техножрицу. Общаемся про то, как обстоят дела в мире исследований вокруг машинного обучения. Как поменять математику на программирование, но продолжить заниматься математикой. Почему вычисления квадратного корня на калькуляторе необратимы и причем здесь головастики. Плюсы и минусы в работе современного ученого. Как проходит день исследователя. Докатился ли кризис воспроизводимости научных исследований до DS. Почему культура проведения эксперимента не менее важна, чем математическая обоснованность его предпосылок. Обо всем этом и многом другом в эпизоде!

https://mlpodcast.mave.digital/ep-59

Стать специалистом по машинному обучению

07 Apr 2024 15:40

Непонятно, как я это пропустил 🤷‍♂️ Небезызвестный YouTube (и не только YouTube) преподаватель selfedu, оказывается, сделал целый курс по машинному обучению. Курс не так, чтобы для начинающих, то есть могу его порекомендовать, если у вас уже есть какая-то база, но лекции Воронцова и Николенко вы пока еще не тянете.

Мог бы порекомендовать и для совсем начинающих, если бы было чуть меньше матана и чуть больше примеров практического применения.

Мы в книжном клубе читали Себастьяна Рашку - Python и машинное обучение, так вот, материал курса похожий, а связность изложения и постоянный, недерганный уровень сложности дает курсу много очков вперед перед книгой. Если хотите структурировать свои знания в ML, приглашаю к просмотру.
https://www.youtube.com/playlist?list=PLA0M1Bcd0w8zxDIDOTQHsX68MCDOAJDtj

Стать специалистом по машинному обучению

05 Apr 2024 09:16

Из рубрики "Для самых маленьких". Нашел короткие видео по статистике с самого-самого нуля, с очень подробным объяснением. Подойдёт для школьников или тех, кто раньше со статистикой вообще не имел дело.
sigma-stat?si=0XTAs_q34dBbuCPa" rel="nofollow">https://youtube.com/@sigma-stat?si=0XTAs_q34dBbuCPa

Стать специалистом по машинному обучению

01 Apr 2024 08:44

🫡 Я Хошев Павел, и это не апрельская шутка!
📖 Мой новый курс Многопоточный Python готов увидеть мир!

💥NEW💥
✅ Многопоточный Python
🕰 Старт курса 1 апреля в 9:00.

📝 Курс нацелен на практическое применение многопоточности. В курсе я рассказываю не только о том, как и где её применять, но и создал много практических задач, которые необходимо решить для получения сертификата с отличием.

👨‍🏫 На курсе есть преподаватели, которые с готовностью ответят на любые ваши вопросы, возникшие в процессе обучения, и помогут разобраться во всех сложностях многопоточности.

📈 Присоединяйтесь к нашему сообществу уже сегодня и изучайте многопоточность вместе!

Цена курса — 4350 / 2175 рублей.
Весь апрель скидка 50%

🎁 Приобрести курс Многопоточный Python!
📨 Наш чат в Telegram

Стать специалистом по машинному обучению

31 Mar 2024 15:42

Теория про радары

https://www.ti.com/video/series/mmwave-training-series.html - видео к ppt ([Introduction to mmwave Sensing: FMCW Radars](https://www.ti.com/content/dam/videos/external-videos/2/3816841626001/5415528961001.mp4/subassets/mmwaveSensing-FMCW-offlineviewing_0.pdf))

[Deep Learning Applications of Short-Range Radars](https://ieeexplore.ieee.org/document/9321436) - большая книга по использованию радаров с нейронными сетями

Стать специалистом по машинному обучению

31 Mar 2024 15:40

Дмитрий Матвейчев. Компьютерное зрение в радиосвязи

Стать специалистом по машинному обучению

14 Mar 2024 19:34

Если вы только собираетесь изучать pytorch и не знаете с чего начать - рекомендую видео от Татьяны Гайнцевой. Самая база, но дает общее представление как конструировать свои сетки.
https://youtu.be/EfgFeqc0H6M?si=kK-LD7BxoaNac88I

Стать специалистом по машинному обучению

17 Jun 2024 09:33

Как разобраться в вышмате за 1 вечер? 😨

Да никак. Но можно научиться понимать математику. И сберечь месяцы жизни, кучу нервов и сил.

В помощь вам - полезный канал о высшей математике. Его автор - выпускник СПБГУ, а ныне — преподаватель предмета.

На простом языке объясняет сложные вещи, даёт шпаргалки и проводит эфиры с решением задач 📈

Находка для всех, кому нужен вышмат по жизни. От полезных материалов и разборов до ответов на любые вопросы и живых дискуссий в комментариях.

Посмотрите сами 👉 @lav_math

Стать специалистом по машинному обучению

12 Jun 2024 10:45

Яндекс запустил Lite-версию генеративной текстовой модели YandexGPT 3

YandexGPT 3 Lite — это облегчённая версия генеративной модели Яндекса нового поколения. Особенность таких Lite-моделей заключается в более высокой скорости ответов, что позволяет решать простые задачи бизнеса буквально в режиме реального времени. Поэтому нейросеть хорошо показывает себя в сценариях, где важны время реакции и оптимизация затрат: например, бот-консультант на сайте, система подсказок для операторов колл-центров или суммаризатор результатов деловых встреч.

✈️ По данным замеров, YandexGPT 3 Lite стала ещё быстрее и точнее — и она уже доступна в режиме release candidate на облачной платформе Yandex Cloud. То есть клиенты могут протестировать её и плавно внедрить в свои продукты через API уже в ближайшее время.

Одним из ключевых этапов обучения модели стало выравнивание (Alignment), включающее в том числе стадию обучения с подкреплением (RL). В статье на Хабре - детали реализации Alignment и RL.

Стать специалистом по машинному обучению

08 Jun 2024 22:01

Ну, вы, скорее всего, знаете, что я пишу курсы по телеграм-ботам. Причем, я стараюсь давать больше принципов, чем конкретных реализаций, потому что твердо убежден, что знание некоторых общих подходов заменяет знание тысяч частных решений. Сам я разрабатываю, в основном, на MacOS и чуть в меньшей степени на Linux. Винду трогаю только из-за того, что у многих студентов она стоит как основная операционная система и, чтобы предвосхитить потенциальные проблемы - тестирую все на специально выделенном ноутбуке с Win 10. 11-ю туда, увы, не поставить, процессор уже устарел.

Ну, так вот. Сломался у меня докер. Ни с того, ни с сего перестал запускаться docker engine. Жалуется на проблемы с WSL. Начинаю гуглить и допытывать ChatGPT, решение не приходит. Пока не победил, короче. Но знаете, что заметил? Поиск решения реально похож на колдовство и шаманство. Один пишет, что у него завелось после того, как два раза переустановил докер. Второй пишет, что сначала надо откатить последнее обновление системы, потом деинсталлировать докер, потом накатить обновление, а потом снова инсталлировать докер. Третий пишет, что у него сработала какая-то хитрая команда в PowerShell. Кто-то систему полностью переустановил. Кто-то говорит, что кеш надо почистить. И никто не объясняет почему сработало. Ну чем не шаманство?

Повернись лицом на север, три раза перекрестись, подпрыгни на одной ноге с промежутком ровно 3 секунды 20 раз, повернись на 180 градусов, ударь в бубен и все заработает. Но это не точно. И между прочим, это, по сути близко к бэкенду, где все должно быть логично, предсказуемо и понятно. Я теперь все больше понимаю специалистов по ML, у которых этого шаманства еще больше.

Мораль? Да хз, бесит.

PS. Ну, отлично, еще и Телеграм не работает. Тоже шаманы сейчас, наверное, с бубнами скачут по серверной.

Стать специалистом по машинному обучению

03 Jun 2024 17:08

Прекрасный инструмент ChatGPT - умеет решать задачи, которые я и сам умею :)

Стать специалистом по машинному обучению

23 May 2024 20:28

Очень бы хотелось порекомендовать что-то, прям, годное по временным рядам на русском языке, но пока самое лучшее, что нашел - это вот этот ютуб-мини-курс, к которому у меня масса претензий, начиная от низкого качества звука и заканчивая очень поверхностным объяснением происходящего. Но, в целом, разобраться можно и общий пайплайн понятен. Может, пригодится кому. Ну, или кто-то посмотрит, поймет, что хорошего материала нет и сделает :) Можно чтобы не совсем с нуля, но и не уровень бог Воронцова, пожалуйста :)
https://www.youtube.com/watch?v=92EF4vqaBSE&list=PL7GGfr9mTeYWniRK11xuFsEky07oUQ_tX

Стать специалистом по машинному обучению

15 May 2024 11:48

Yandex приглашает поучаствовать в Practical ML Conf 14 сентября!

На конференции поговорим о том, как применять ML-технологии в бизнесе и реальных продуктах. Регистрируйтесь уже сейчас — те, кто сделает это раньше всех, попадут на закрытый мини-ивент в июле.

А если хотите поделиться своим опытом в ML, станьте спикером, оставив заявку. Ключевые темы конференции — CV, RecSys, MLOps, NLP, Speech и Analytics. После подачи программный комитет рассмотрит заявки и примет решение об участии каждого претендента.

🔹 Сбор заявок завершится 13 июля.

Реклама. ООО "Яндекс", ИНН 7736207543.

Стать специалистом по машинному обучению

03 May 2024 14:02

Не только машины учить, но и просто данные анализировать!

Сегодня хочу порекомендовать вам курс, посвященный прохождению собеседований в продуктовой аналитике. Почему это может быть полезно?
⁃ Во-первых, вопросы аналитикам и ml-щикам часто пересекаются. Помимо машин лернинга на собесах спрашивают всё то же, что и у аналитиков — SQL, статистику, программирование. Все типовые вопросы по этим темам покрыты в курсе.
⁃ Во-вторых, курс не про то, как научиться чему-то (раз вы читатете этот канал, то проблем с «теорией» у вас нет), а про то, как именно ваши знания будут проверять на собесе. И как их лучше раскрыть перед интервьюерами.
⁃ В-третьих, это просто повод посмотреть на то, что происходит у коллег-аналитиков. Вдруг и вас заинтересует? Автор курса сам начинал карьеру с DS/ML, но потом оказался в продуктовой аналитике, да так и остался.

С содержанием курса можно ознакомиться по ссылке , для подписчиков канала до конца мая действуют особые условия

Стать специалистом по машинному обучению

10 Apr 2024 16:02

Лаида Кушнарева. Алхимики, шаманы и жрецы современного DS

Стать специалистом по машинному обучению

09 Apr 2024 20:31

Го реп ковырять. Пишут, на средней карточке запускается!

Стать специалистом по машинному обучению

07 Apr 2024 09:09

Самое простое введение в теорию групп из тех, что я встречал! https://youtube.com/playlist?list=PLnbH8YQPwKblIpRi0ARO2VadnMwntvF51&si=jUHIhFPhClQ2uwaV

Стать специалистом по машинному обучению

04 Apr 2024 16:47

🔥 Крутая находка - 1900 вопросов с собеседований по анализу данных, машинному обучению. Фишка в том, что вопросы разбирают Сеньоры, которые сами проводят собесы и дают примеры правильных ответов. Вы легко получите оффер, изучив популярные вопросы 💼

А здесь собрана целая папка для тех, кто любит машинное обучение

Стать специалистом по машинному обучению

31 Mar 2024 15:42

Производители (моей компании тут не будет - мы не продаём по штучно)

Infineon

https://www.infineon.com/cms/en/product/sensor/radar-sensors/ - 60GHz для решений задач на расстоянии до ~6м https://www.infineon.com/cms/en/product/sensor/radar-sensors/radar-sensors-for-iot/60ghz-radar/

Texas Instruments - https://www.ti.com/product/IWR6843

Стать специалистом по машинному обучению

31 Mar 2024 15:42

Статьи по нейронным сетям с использованием FMCW mmwave радаров

google soli - https://github.com/simonwsw/deep-soli - проект распознавания жестов от гугл (использовался в google pixel)

Ramp-CNN - https://github.com/Xiangyu-Gao/Radar-multiple-perspective-object-detection?utm_source=catalyzex.com - датасет + статья и код по обнаружению людей и машин

https://www.researchgate.net/publication/341034527_Continuous_Human_Activity_Classification_With_Unscented_Kalman_Filter_Tracking_Using_FMCW_Radar - классификация человеческих активностей

SincNet https://github.com/mravanelli/SincNet - параметризация свертки как частотного фильтра

https://github.com/ZHOUYI1023/awesome-radar-perception/blob/main/README.md курируемый лист датасетов и проектов использующих FMCW радары

Стать специалистом по машинному обучению

31 Mar 2024 14:16

Очередной горячий выпуск подкаста в эфире!

В гостях выпуска Дмитрий Матвейчев - Deep Learning Researcher, PhD кандидат, занимающийся разработкой нейронных сетей для решения задач компьютерного зрения с использованием mmwave FMCW радаров. Разговариваем о том, зачем компьютерное зрение нужно в радиосвязи на примере микроволновых радаров. Как совместить классическую цифровую обработку сигналов с современными подходами из области машинного обучения, что такое радары и какие у них есть применения в гражданской промышленности, заменят ли радары камеры и лидары в беспилотных автомобилях, сколько стоит вставить радар в ухо и зачем потом махать руками, почему большой брат теперь не только смотрит за тобой, но и чувствует чем ты занимаешься, а также многое другое в выпуске.

https://mlpodcast.mave.digital/ep-58

Стать специалистом по машинному обучению

11 Mar 2024 09:06

🖥🧠 Хочешь получить профессию будущего? Мечтаешь создавать новые технологии и работать на переднем крае инженерной мысли? Если искусственный интеллект и RnD — твоя стихия, то ждем тебя в Инженерной школе Новосибирского госуниверситета!

⭐️ ИШ — это программа бакалавриата Мехмата НГУ по искусственному интеллекту и прикладному инжинирингу:

✨ Здесь готовят инженеров нового типа, которые работают на стыке математики и IT и умеют решать передовые задачи современности.
✨ Проектная деятельность — это то, что лежит в основе обучения. Тебя ждет практика, море практики.
✨ Ты научишься использовать различные инструменты, в том числе нейронные сети, методы глубокого машинного обучения, генетические алгоритмы и многое другое.
✨ Ты будешь учиться у крутых практиков и сможешь поработать в реальных высокотехнологичных проектах.

🔥Хочешь пройти тест-драйв обучения в ИШ уже сейчас? Записывайся в нашу отборочную Предшколу — получи фору и дополнительные баллы при поступлении! Предшкола пройдет 28-30 марта.

⁉️ Хочу в Предшколу, что нужно сделать?
- Заполнить анкету абитуриента.
- Заполнить заявку на участие в отборе.
- Пройти собеседование.

Меняй мир вместе с нами!
⚡️ Об Инженерной школе: https://education.nsu.ru/engineering_school/
™️ Группа ВК: https://vk.com/engineering_school_nsu
💬 Есть вопросы? Приходи на День открытых дверей НГУ 24 марта или подключайся к трансляции ИШ.

@nsuniversity