🌟 TruLens — позволяет создавать LLM-приложения быстрее, объективно оценивать качество и эффективность приложений

— pip install trulens-eval

TruLens предоставляет набор инструментов для разработки и мониторинга приложений с нейросетями, LLM-приложений.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

⚡️ Albumentations — библиотека для апскейла изображений

— pip install -U albumentations

Albumentations — это быстрая и гибкая библиотека Python для увеличения изображений.
Широко используется в промышленности, исследованиях в области Deep Learning, в соревнованиях по Machine Learning и в разных open-source проектах.

🖥 GitHub
🟡 Доки
🟡 Примеры использования Albumentations

@data_analysis_ml

Читать полностью…

Думаете, что знаете все о рекомендательных системах? Поверьте, мы вас удивим

Многие продвинутые IT-специалисты, практикующие ML, не умеют работать с сингулярным разложением. Мы знаем, как это исправить!

Всего за пару часов вы:
- узнаете, как строить рекомендательные системы на основе сингулярного разложения;
- реализуете его самостоятельно и посмотрите на готовые имплементации;
- освоите теорию и примените алгоритм на практике.

Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.

Занятие пройдет 30 мая в 18:00 мск и будет приурочено к старту большого курса «Machine Learning. Advanced».

Регистрируйтесь: https://otus.pw/p8OP/

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963

Читать полностью…

Как развиться в сфере аналитики данных?

Присмотритесь к программе «Аналитик PRO» от Changellenge Education. Это самый полный курс обучения аналитике на рынке.

«Аналитик PRO» разработан Changellenge Education – школой, которая уже больше 6 лет специализируется именно на обучении аналитике, выпустила больше 3500 аналитиков, которые работают в Яндексе, VK, Газпроме и других крупных компаниях.

Курс подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик – в нем есть всё, что нужно для роста в любом направлении аналитики с нуля:

Практическая направленность: 75% курса — это работа над реальными кейсами таких компаний, как Тинькофф. Вы не просто учитесь, вы получаете реальный опыт, который сможете добавить в резюме.

Ключевые навыки: Вы освоите 11 важных аналитических инструментов, включая Excel, Python, SQL и BI-системы. Эти знания помогут вам получить интересные офферы с высокой зарплатой.

Поддержка экспертов: Онлайн мастер-классы от специалистов из Avito, BCG, Google, VK и помощь менторов помогут вам преодолеть все трудности в учебе.

Карьерная поддержка: Консультации с HR-специалистами, помощь с резюме и подготовка к собеседованиям позволят вам уверенно шагнуть на новый карьерный уровень.

Высокие результаты: 83% студентов находят работу сразу после окончания курса.

Сообщество Alumni: После завершения учебы вы вступите в сообщество выпускников, работающих в таких компаниях, как Альфа-Банк, McKinsey, Google и Яндекс.

Оставьте заявку прямо сейчас. До 28 мая на программу действует скидка 50%, а по промокоду DATA10 вас ждет дополнительная скидка в 10 000 руб. от нашего канала. Оставьте заявку по ссылке и начните свою карьеру в аналитике уже сегодня!

Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid: 2VtzqvLHPDD

Читать полностью…

🌟 Megatron-Core — библиотека PyTorch для обучения трансформеров

docker run --ipc=host --shm-size=512m --gpus all -it nvcr.io/nvidia/pytorch:24.02-py3

pip install megatron_core
pip install tensorstore==0.1.45
pip install zarr

Megatron-Core — это самодостаточная, легкая библиотека PyTorch, в которой собрано все необходимое для обучения трансформеров.
Предлагает большую коллекцию GPU-методик для оптимизации памяти и вычислений, использует массу наработок Megatron-LM и Transformer Engine.

Megatron-Core обеспечивает гибкость для разработчиков и облегчает разработку собственного LLM-фреймворка на вычислительной инфраструктуре NVIDIA.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

🆕 Хотите начать писать приложения с использованием последних моделей lama?

Разработчики Lama 3только что опубликовали серию пошаговых руководств, которые помогут вам начать работу с моделью на Linux, Windows, Mac и других системах.

Смотрите видео здесь ➡️ https://www.youtube.com/playlist?list=PL86eLlsPNfygWBnJZ7AXSeHECJrpCdKtu

@data_analysis_ml

Читать полностью…

⚡️ Bend — высокоуровневое управление параллельными вычислениями вместо CUDA и Metal

Опубликованы первые версии проекта Bend, развивающего высокоуровневый язык программирования для параллельных вычислений, который позиционируется как альтернатива низкоуровневыми языкам, таким как CUDA и Metal, обладающая выразительным синтаксисом и возможностями для повышения удобства разработки, свойственными таким языкам, как Python и Haskell.

Из возможностей языка Bend отмечается быстрое распределение объектов, поддержка использования функций высшего порядка, замыканий, продолжений, неограниченной рекурсии, сопоставления с образцом, рекурсивных сопоставлений (fold) и циклов (bend), целочисленных, строковых и списочных типов. Поддерживается два варианта синтаксиса: в стиле Python и в стиле Haskell. В программах не требуется указание управляющих распаралелливанием аннотаций, явного создания потоков и выставления блокировок. Распараллеливание производится автоматически, например, при вычислении выражения "((1 + 2) + (3 + 4))", операции "1 + 2" и "3 + 4" будут выполнены параллельно.

Программы на языке Bend могут выполняться на оборудовании, обеспечивающем массовый пареллелизм, например на GPU, демонстрируя практически линейный рост производительности в зависимости от числа вычислительных ядер. Код на языке Bend компилируется в низкоуровневое промежуточное представление HVM2 (Higher-order Virtual Machine 2), которое затем компилируется в представление на C и CUDA.

🖥 Код проекта написан на языке Rust и распространяется на GitHub под лицензией Apache 2.0.

@data_analysis_ml

Читать полностью…

⚡️ Выпущена Mistral v3!

В базе расширен словарный запас до 32768. Instruct поддерживает вызов функций! Токены с 5 по 9 предназначены для вызова функций, остальные пусты.

https://huggingface.co/mistralai

@data_analysis_ml

Читать полностью…

Data Analyst, Data Architect, Data Engineer…
🤓 Полезная подборка бюджетных и качественных онлайн-программ обучения начинающих IT-специалистов от Московского физико-технического института (МФТИ).

Не затягивай с подачей заявки. Количество свободных мест ограничено 🔥

Кому подойдёт обучение?
🔹️ Начинающим IT специалистам;
🔹️ практикующим разработчикам;
🔹️ студентам технических специальностей.

💻 Ты получишь доступ  к материалам онлайн-курса, регулярным вебинарам и консультациям с практикующими экспертами ведущих вузов и IT-компаний.

Решай реальные кейсы, чтобы применить полученные знания на практике.

По окончании обучения — защита проекта и апгрейд портфолио 📝

Занятия начнутся уже 17 июня 📅

Стоимость обучения — 100 000 рублей, из них 76 000 оплачивает государство и только 24 000 слушатель.

✔️ Программы МФТИ прошли конкурсный отбор ДПО в области искусственного интеллекта.

Читать полностью…

Приходите на High SQL — митап ЮMoney о работе с базами данных 😎

Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.

На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.

Темы докладов ⤵️

🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.

Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️

Читать полностью…

💻 Kafka БАЗА по Теории и Практике.

https://www.youtube.com/watch?v=W7ZCXcxQxV8

@data_analysis_ml

Читать полностью…

⚡️ Redka (Red is re-implemented with SQLite)

Выпущена новая версии Redka 1.0. В ней реализованы строки, списки, сеты, хэши, отсортированные сеты, а также управление ключами и транзакциями.

▪Github

@data_analysis_ml

Читать полностью…

🌟 R для не программистов — открытая книга по анализу данных в R от Daniel Dauber

В этой свободно распространяемой книге описывается использование языка R для большого количество реальных кейсов; изложены важные концепции, с которыми сталкивается аналитик данных в своей работе

📎 Книга

@data_analysis_ml

Читать полностью…

🔥 Model Explorer — обозреватель моделей от Google

pip install ai-edge-model-explorer
model-explorer

Model Explorer — это инструмент визуализации, который позволяет анализировать модели и графики машинного обучения, ускоряя развертывание на целевых устройствах.

Можно запустить Model Explorer полностью локально в окне браузера.
Ну и конечно же, Model Explorer хорошо работает в Colab, а это означает, что вы можете интегрировать его в существующий рабочий процесс разработки моделей.

🖥 GitHub

@data_analysis_ml

Читать полностью…

🌟 DVC — open-source инструмент для управления версиями данных и многого другого, что может понадобиться при работе с AI

— brew install dvc

Позволяет управлять данными, используемыми при обучении ML-моделей, такими как изображения, аудио-, видео- и текстовые файлы
Позволяет удобно организовывать воспроизводимые рабочие процессы, связанные с ML.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.

https://www.youtube.com/watch?v=bsbW8UoA0zA

@data_analysis_ml

Читать полностью…

🌟 PennyLane — open-source кроссплатформенный фреймворк Python для квантового Machine Learning и квантовых вычислений

— pip install pennylane

PennyLane — это фреймворк для квантового Machine Learning и не только; некий аналог TensorFlow и PyTorch, но для квантовых вычислений.
PennyLane может работать практически на любом оборудовании.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

🌟 Xinference — лёгкая замена LLM в своём приложении

pip install "xinference[all]"
xinference-local

Xinference позволяет заменить GPT от OpenAI в своём приложении на другую LLM, изменив всего одну строчку кода.

Быстрый старт с помощью Docker (предполагается, что CUDA настроен):
docker run --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v </on/your/host>:/data --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@data_analysis_ml

Читать полностью…

🔥 Haystack — фреймворк Python для создания приложений на базе LLM

— pip install haystack-ai

Haystack — это фреймворк для создания настраиваемых, готовых к продакшену LLM-приложений.
Позволяет подключать компоненты (разные модели, векторные БД, конвертеры файлов) к конвейерам или агентам для взаимодействия с данными.
Благодаря продвинутым методам поиска, он лучше всего подходит для создания RAG, чат-ботов или семантического поиска.

Haystack бурно развивается, относительно недавно вышло значительное обновление — Haystack 2.0.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

Как понять, подходит ли вам финтех?

Дата-аналитиками работают те, кому нравятся большие данные и большие зарплаты. Если узнали в этом описании себя — финтех для вас.

30 мая в 18:00 мск пройдёт день открытых дверей онлайн-магистратуры МФТИ и Нетологии «Финансовые технологии и аналитика». На встрече вы узнаете о задачах Data Analyst, трендах индустрии и карьерных возможностях для студентов вуза. Отдельно расскажем, как работает онлайн-образование и что нужно для поступления.

Записывайтесь на встречу, если хотите узнать больше о финтехе и возможностях онлайн-образования.
🔗Ссылка: https://netolo.gy/da9m
Реклама ООО “Нетология” 2VSb5ykbrYQ

Читать полностью…

🌟 Репозиторий с лучшими практиками в области создания рекомендательных систем

Этот репозиторий — проект Linux Foundation по AI и данным, — создан с целью помочь ML-исследователям в создании прототипов, экспериментировании и внедрении в продакшен современных рекомендательных систем.

🖥 GitHub

@data_analysis_ml

Читать полностью…

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://society.ton.org/activities/open-league

Читать полностью…

⚡️ Your Guide to Generative AI Courses

Лучший способ изучить генеративный ИИ - это создать собственный проект. Новый ресурс, который поможет вам погрузится в эту тему!

Новое руководство от DeepLearningAI
по созданию RAG приложения, с пошаговой схемой создания RAG и список кратких уроков, подготовленных кураторами, которые содержат как теоретические знания, так и практические примеры с кодом.

https://deeplearning.ai/resources/generative-ai-courses-guide/

@ai_machinelearning_big_data

Читать полностью…

🌟 Smile — система для работы с ML-моделями и не только

Smile (Statistical Machine Intelligence and Learning Engine) — это быстрая и комплексная система ML, NLP, линейной алгебры, графов, интерполяции и визуализации.
Написана Smile на Java и Scala, большой упор сделан на производительность.
В дополнение ко всему вышеперечисленному, Smile хорошо документирована

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

⚡️ Neural Networks: Zero to Hero — блок из 8 лекций и практических занятий от Андрея Карпати

Это курс по нейросетям от с самых азов, возможно лучший во всём интернете.
Курс представляет собой серию видеороликов на YouTube, в которых Карпати показывает, как проектировать и обучать нейронные сети.
Все эти результаты записаны в Jupyter-Notebook'ах, можно скачать их и экспериментировать

▶️ Neural Networks: Zero to Hero

@data_analysis_ml

Читать полностью…

🌟 hosseinmoein/DataFrame — для статистического, финансового и ML-анализа на современном C++

DataFrame — это аналитическая библиотека на C++, предназначенная для анализа данных, аналогичная библиотекам в Python и R.
Её можно сравнить с Pandas, R data.frame или Polars.

При помощи DataFrame можно организовывать данные различными способами; можно объединять, группировать данные.
Можно запускать различные статистические, обобщающие, финансовые и ML-алгоритмы на данных. Можно легко добавлять свои собственные алгоритмы.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Читать полностью…

Онлайн-день AvitoTech на Data Fest | 26 мая с 13:00 до 18:00

В программе:
• Общение с рекрутерами и лидами Авито в Spatial Chat;
• Участие в ML System Design Game с Михаилом Каменщиковым, руководителем команды рекомендаций в Авито.

Воркшоп поможет получить опыт работы над крупными проектами и подготовиться к собеседованиям, а также развивать свои идеи в интерактивном формате. Регистрация на онлайн и офлайн-активности по ссылкам.

И помните, 1 июня ожидается большой офлайн-день в московском офисе Авито. Подробности программы здесь.

Читать полностью…

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее Fast Track мероприятия:

• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.

Зарегистрироваться

Читать полностью…

🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять

⚡Машинное обучение

Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест

💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных

#️⃣C#

С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

☕ Java

Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend

💥 Бесплатный Chatgpt бот

Читать полностью…

🖥 Запиливаем новый проект по машинному обучению.

@data_analysis_ml

Читать полностью…