🕰 TimeGPT - это мощная генеративная модель прогнозирования, которая может генерировать точные прогнозы для = временных рядов без необходимости обучения.

TimeGPT может точно прогнозировать различные области, такие как розничная торговля, электроэнергетика, финансы и информационные технологии, всего с помощью нескольких строк кода.

▪ Github

@data_analysis_ml

Читать полностью…

⚡️ Простое объяснение сложных концепций AI и ML на пальцах

Держите подборку полезных анимаций от Tom Yeh
Профессор очень просто объясняет такие понятия как MoE, умножение матриц, работу MLP в PyTorch, прямое/обратное распространение, работу GAN, устройство векторной БД и много всего ещё

▶️ Анимации с объяснением

@data_analysis_ml

Читать полностью…

⚡️ Open-source справочник по статистике

Здесь на 80 страницах конспективно и по существу излагаются важные концепции из статистики, вроде биномиального распределения, линейной регрессии, теоремы Байеса, распределения Бернулли, Пуассона, и другие темы статистики.
Отличная шпаргалка, полезно заглядывать время от времени

📎 PDF

@data_analysis_ml

Читать полностью…

🌟 Mistral-finetune — кодовая база для файнтюнинга моделей Mistral

cd $HOME && git clone https://github.com/mistralai/mistral-finetune.git

cd mistral-finetune
pip install -r requirements.txt

Буквально вчера выкатили Mistral-finetune;
это легкая кодовая база, позволяющая эффективно использовать память и выполнять finetune моделей Mistral. В основе Mistral-finetune LoRA — метод обучения при котором большинство весов не меняется, а корректируются только 1-2 % весов.

Для достижения максимальной эффективности рекомендуется использовать графические процессоры A100 или H100.
Кодовая база оптимизирована для обучения на нескольких GPU, но для небольших моделей, таких как 7B, достаточно одного GPU.

🖥 GitHub
🟡 Погонять в Google Colab

@data_analysis_ml

Читать полностью…

🌟 TruLens — позволяет создавать LLM-приложения быстрее, объективно оценивать качество и эффективность приложений

— pip install trulens-eval

TruLens предоставляет набор инструментов для разработки и мониторинга приложений с нейросетями, LLM-приложений.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

⚡️ Albumentations — библиотека для апскейла изображений

— pip install -U albumentations

Albumentations — это быстрая и гибкая библиотека Python для увеличения изображений.
Широко используется в промышленности, исследованиях в области Deep Learning, в соревнованиях по Machine Learning и в разных open-source проектах.

🖥 GitHub
🟡 Доки
🟡 Примеры использования Albumentations

@data_analysis_ml

Читать полностью…

Думаете, что знаете все о рекомендательных системах? Поверьте, мы вас удивим

Многие продвинутые IT-специалисты, практикующие ML, не умеют работать с сингулярным разложением. Мы знаем, как это исправить!

Всего за пару часов вы:
- узнаете, как строить рекомендательные системы на основе сингулярного разложения;
- реализуете его самостоятельно и посмотрите на готовые имплементации;
- освоите теорию и примените алгоритм на практике.

Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.

Занятие пройдет 30 мая в 18:00 мск и будет приурочено к старту большого курса «Machine Learning. Advanced».

Регистрируйтесь: https://otus.pw/p8OP/

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963

Читать полностью…

Как развиться в сфере аналитики данных?

Присмотритесь к программе «Аналитик PRO» от Changellenge Education. Это самый полный курс обучения аналитике на рынке.

«Аналитик PRO» разработан Changellenge Education – школой, которая уже больше 6 лет специализируется именно на обучении аналитике, выпустила больше 3500 аналитиков, которые работают в Яндексе, VK, Газпроме и других крупных компаниях.

Курс подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик – в нем есть всё, что нужно для роста в любом направлении аналитики с нуля:

Практическая направленность: 75% курса — это работа над реальными кейсами таких компаний, как Тинькофф. Вы не просто учитесь, вы получаете реальный опыт, который сможете добавить в резюме.

Ключевые навыки: Вы освоите 11 важных аналитических инструментов, включая Excel, Python, SQL и BI-системы. Эти знания помогут вам получить интересные офферы с высокой зарплатой.

Поддержка экспертов: Онлайн мастер-классы от специалистов из Avito, BCG, Google, VK и помощь менторов помогут вам преодолеть все трудности в учебе.

Карьерная поддержка: Консультации с HR-специалистами, помощь с резюме и подготовка к собеседованиям позволят вам уверенно шагнуть на новый карьерный уровень.

Высокие результаты: 83% студентов находят работу сразу после окончания курса.

Сообщество Alumni: После завершения учебы вы вступите в сообщество выпускников, работающих в таких компаниях, как Альфа-Банк, McKinsey, Google и Яндекс.

Оставьте заявку прямо сейчас. До 28 мая на программу действует скидка 50%, а по промокоду DATA10 вас ждет дополнительная скидка в 10 000 руб. от нашего канала. Оставьте заявку по ссылке и начните свою карьеру в аналитике уже сегодня!

Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid: 2VtzqvLHPDD

Читать полностью…

🌟 Megatron-Core — библиотека PyTorch для обучения трансформеров

docker run --ipc=host --shm-size=512m --gpus all -it nvcr.io/nvidia/pytorch:24.02-py3

pip install megatron_core
pip install tensorstore==0.1.45
pip install zarr

Megatron-Core — это самодостаточная, легкая библиотека PyTorch, в которой собрано все необходимое для обучения трансформеров.
Предлагает большую коллекцию GPU-методик для оптимизации памяти и вычислений, использует массу наработок Megatron-LM и Transformer Engine.

Megatron-Core обеспечивает гибкость для разработчиков и облегчает разработку собственного LLM-фреймворка на вычислительной инфраструктуре NVIDIA.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

🆕 Хотите начать писать приложения с использованием последних моделей lama?

Разработчики Lama 3только что опубликовали серию пошаговых руководств, которые помогут вам начать работу с моделью на Linux, Windows, Mac и других системах.

Смотрите видео здесь ➡️ https://www.youtube.com/playlist?list=PL86eLlsPNfygWBnJZ7AXSeHECJrpCdKtu

@data_analysis_ml

Читать полностью…

⚡️ Bend — высокоуровневое управление параллельными вычислениями вместо CUDA и Metal

Опубликованы первые версии проекта Bend, развивающего высокоуровневый язык программирования для параллельных вычислений, который позиционируется как альтернатива низкоуровневыми языкам, таким как CUDA и Metal, обладающая выразительным синтаксисом и возможностями для повышения удобства разработки, свойственными таким языкам, как Python и Haskell.

Из возможностей языка Bend отмечается быстрое распределение объектов, поддержка использования функций высшего порядка, замыканий, продолжений, неограниченной рекурсии, сопоставления с образцом, рекурсивных сопоставлений (fold) и циклов (bend), целочисленных, строковых и списочных типов. Поддерживается два варианта синтаксиса: в стиле Python и в стиле Haskell. В программах не требуется указание управляющих распаралелливанием аннотаций, явного создания потоков и выставления блокировок. Распараллеливание производится автоматически, например, при вычислении выражения "((1 + 2) + (3 + 4))", операции "1 + 2" и "3 + 4" будут выполнены параллельно.

Программы на языке Bend могут выполняться на оборудовании, обеспечивающем массовый пареллелизм, например на GPU, демонстрируя практически линейный рост производительности в зависимости от числа вычислительных ядер. Код на языке Bend компилируется в низкоуровневое промежуточное представление HVM2 (Higher-order Virtual Machine 2), которое затем компилируется в представление на C и CUDA.

🖥 Код проекта написан на языке Rust и распространяется на GitHub под лицензией Apache 2.0.

@data_analysis_ml

Читать полностью…

⚡️ Выпущена Mistral v3!

В базе расширен словарный запас до 32768. Instruct поддерживает вызов функций! Токены с 5 по 9 предназначены для вызова функций, остальные пусты.

https://huggingface.co/mistralai

@data_analysis_ml

Читать полностью…

Data Analyst, Data Architect, Data Engineer…
🤓 Полезная подборка бюджетных и качественных онлайн-программ обучения начинающих IT-специалистов от Московского физико-технического института (МФТИ).

Не затягивай с подачей заявки. Количество свободных мест ограничено 🔥

Кому подойдёт обучение?
🔹️ Начинающим IT специалистам;
🔹️ практикующим разработчикам;
🔹️ студентам технических специальностей.

💻 Ты получишь доступ  к материалам онлайн-курса, регулярным вебинарам и консультациям с практикующими экспертами ведущих вузов и IT-компаний.

Решай реальные кейсы, чтобы применить полученные знания на практике.

По окончании обучения — защита проекта и апгрейд портфолио 📝

Занятия начнутся уже 17 июня 📅

Стоимость обучения — 100 000 рублей, из них 76 000 оплачивает государство и только 24 000 слушатель.

✔️ Программы МФТИ прошли конкурсный отбор ДПО в области искусственного интеллекта.

Читать полностью…

Приходите на High SQL — митап ЮMoney о работе с базами данных 😎

Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.

На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.

Темы докладов ⤵️

🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.

Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️

Читать полностью…

💻 Kafka БАЗА по Теории и Практике.

https://www.youtube.com/watch?v=W7ZCXcxQxV8

@data_analysis_ml

Читать полностью…

🌟 Подборка полезных ресурсов по Data Science и ML

Здесь собраны open-source книги, туториалы по работе с данными при помощи R и Python, гайды с объяснением ML-алгоритмов

▶️ Полезные ресурсы

@data_analysis_ml

Читать полностью…

Что нужно знать о генеративном Computer Vision

Генеративные модели — самая обсуждаемая и быстро развивающаяся тема в DL за последние 2 года. В CV это DALL-E, Midjourney, Stable Diffusion и прочие.

Но на волне хайпа многие забывают, что помимо генерации авокадо-кресел, генеративки используют в медицине, робототехнике, фешн-индустрии, рекламе и других областях.

Если переживаете, что эпоха генеративных моделей проходит мимо вас, приходите на открытую лекцию “Погружение в Generative CV” от команды DeepSchool.

На лекции вы узнаете:
- почему генеративные модели стали так популярны
- какие задачи решают в Generative CV и какие там есть направления
- с чего начать погружение в эту область
- почему CV-инженеру важно знакомиться с GenCV

Также команда DeepSchool представит программу курса "Generative Computer Vision" и подарит скидки участникам🎁

📌 Лекция пройдет в четверг, 30 мая в 18:00 МСК

💡 После регистрации вы получите miro-схему с описанием направлений и инструментов в Generative CV — это поможет быстро сориентироваться и погрузиться в сферу.

Регистрируйтесь по ссылке!

Читать полностью…

✍️ Яндекс открыл приём заявок на международную научную премию Yandex ML Prizeх

Премия вручается молодым исследователям, научным руководителям и преподавателям за достижения в области компьютерного зрения, машинного перевода, распознавания и синтеза речи, анализа данных и генеративных моделей.

В этом году будет 5 номинаций:
▪️ Первая публикация,
▪️ Исследователи,
▪️ Молодые научные руководители,
▪️ Научные руководители,
▪️ Преподаватели ML.

Лауреаты получат денежные премии. Исследователи — по 500 тысяч рублей, научные руководители и преподаватели — по миллиону рублей.
↗️ Приём заявок продлится до 21 июня, вручение премии состоится осенью.

Реклама. ООО "Яндекс", ИНН 7736207543.

Читать полностью…

Работаете в области проектирования ПО и хотите ускорить свой профессиональный рост? Выйти на новый уровень будет гораздо проще с онлайн-магистратурой Яндекса и ИТМО «ПО высоконагруженных систем».

Поступив на программу, вы с первого семестра погрузитесь в работу над реальными задачами из индустрии. Собирая ценные кейсы в портфолио, вы прокачаете навыки проектирования сложных систем и управления крупными проектами. Всё это — онлайн, из любой точки мира!

Программа подходит как выпускникам профильных вузов и стажёрам, так и специалистам с опытом. Первым можно будет пройти двухлетний стандартный трек, а вторым — ускоренный, изучая интересующие дисциплины на протяжении года.

Подайте заявку на магистратуру и выйдите на новый уровень в IT.

Читать полностью…

⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.

https://www.youtube.com/watch?v=bsbW8UoA0zA

@data_analysis_ml

Читать полностью…

🌟 PennyLane — open-source кроссплатформенный фреймворк Python для квантового Machine Learning и квантовых вычислений

— pip install pennylane

PennyLane — это фреймворк для квантового Machine Learning и не только; некий аналог TensorFlow и PyTorch, но для квантовых вычислений.
PennyLane может работать практически на любом оборудовании.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

🌟 Xinference — лёгкая замена LLM в своём приложении

pip install "xinference[all]"
xinference-local

Xinference позволяет заменить GPT от OpenAI в своём приложении на другую LLM, изменив всего одну строчку кода.

Быстрый старт с помощью Docker (предполагается, что CUDA настроен):
docker run --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v </on/your/host>:/data --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@data_analysis_ml

Читать полностью…

🔥 Haystack — фреймворк Python для создания приложений на базе LLM

— pip install haystack-ai

Haystack — это фреймворк для создания настраиваемых, готовых к продакшену LLM-приложений.
Позволяет подключать компоненты (разные модели, векторные БД, конвертеры файлов) к конвейерам или агентам для взаимодействия с данными.
Благодаря продвинутым методам поиска, он лучше всего подходит для создания RAG, чат-ботов или семантического поиска.

Haystack бурно развивается, относительно недавно вышло значительное обновление — Haystack 2.0.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

Как понять, подходит ли вам финтех?

Дата-аналитиками работают те, кому нравятся большие данные и большие зарплаты. Если узнали в этом описании себя — финтех для вас.

30 мая в 18:00 мск пройдёт день открытых дверей онлайн-магистратуры МФТИ и Нетологии «Финансовые технологии и аналитика». На встрече вы узнаете о задачах Data Analyst, трендах индустрии и карьерных возможностях для студентов вуза. Отдельно расскажем, как работает онлайн-образование и что нужно для поступления.

Записывайтесь на встречу, если хотите узнать больше о финтехе и возможностях онлайн-образования.
🔗Ссылка: https://netolo.gy/da9m
Реклама ООО “Нетология” 2VSb5ykbrYQ

Читать полностью…

🌟 Репозиторий с лучшими практиками в области создания рекомендательных систем

Этот репозиторий — проект Linux Foundation по AI и данным, — создан с целью помочь ML-исследователям в создании прототипов, экспериментировании и внедрении в продакшен современных рекомендательных систем.

🖥 GitHub

@data_analysis_ml

Читать полностью…

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://society.ton.org/activities/open-league

Читать полностью…

⚡️ Your Guide to Generative AI Courses

Лучший способ изучить генеративный ИИ - это создать собственный проект. Новый ресурс, который поможет вам погрузится в эту тему!

Новое руководство от DeepLearningAI
по созданию RAG приложения, с пошаговой схемой создания RAG и список кратких уроков, подготовленных кураторами, которые содержат как теоретические знания, так и практические примеры с кодом.

https://deeplearning.ai/resources/generative-ai-courses-guide/

@ai_machinelearning_big_data

Читать полностью…

🌟 Smile — система для работы с ML-моделями и не только

Smile (Statistical Machine Intelligence and Learning Engine) — это быстрая и комплексная система ML, NLP, линейной алгебры, графов, интерполяции и визуализации.
Написана Smile на Java и Scala, большой упор сделан на производительность.
В дополнение ко всему вышеперечисленному, Smile хорошо документирована

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

⚡️ Neural Networks: Zero to Hero — блок из 8 лекций и практических занятий от Андрея Карпати

Это курс по нейросетям от с самых азов, возможно лучший во всём интернете.
Курс представляет собой серию видеороликов на YouTube, в которых Карпати показывает, как проектировать и обучать нейронные сети.
Все эти результаты записаны в Jupyter-Notebook'ах, можно скачать их и экспериментировать

▶️ Neural Networks: Zero to Hero

@data_analysis_ml

Читать полностью…

🌟 hosseinmoein/DataFrame — для статистического, финансового и ML-анализа на современном C++

DataFrame — это аналитическая библиотека на C++, предназначенная для анализа данных, аналогичная библиотекам в Python и R.
Её можно сравнить с Pandas, R data.frame или Polars.

При помощи DataFrame можно организовывать данные различными способами; можно объединять, группировать данные.
Можно запускать различные статистические, обобщающие, финансовые и ML-алгоритмы на данных. Можно легко добавлять свои собственные алгоритмы.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…