Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE channel_name = 'data_analysis_ml'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать.

ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта.

Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах.

Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1

Читать полностью…

Приглашаем погрузиться в аналитику данных вместе с Яндексом!

Data Driven — это наша ежегодная конференция для тех, кто анализирует данные, чтобы принимать бизнес-решения.

26 октября приглашаем дата-сайентистов и всех, кто интересуется Big Data, послушать спикеров из Крауда, Рекламы, Алисы и других команд.

В программе: доклады о фичах на основе пользовательских отзывов, машинном переводе, обучении YandexGPT, метриках KPI и многом другом.

📍Место: Москва, ст. м. «Парк культуры»

📅 Дата: 26 октября в 12:00

💻 Регистрация

Реклама. ООО "Яндекс", ИНН 7736207543.

Читать полностью…

⚡️ Metalingus - это минимальная и быстрая библиотека для обучения LLM и логических выводов, предназначенная для научных исследований

📊 Ключевые особенности

- Мощная и быстрая библиотека для обучения LLM и логических выводов для научных исследований
- Использует модифицируемые компоненты PyTorch для экспериментов с архитектурами и моделями
- Предоставляет инструменты для понимания скорости и стабильности работы ваших приложений
- Структурирован с использованием базовой библиотеки "lingua" и "приложений"

🚀 Сравнение производительности Lingua с другими моделями

- Модели 1B, обученные на токенах 60B, соответствуют производительности DCLM (DataComp-LM) по многим задачам
- Модели 7B (Mamba, Llama) показывают высокие результаты в таких тестах, как ARC, MMLU, BBH
- Модель токенов Llama 7B в квадрате ReLU 1T позволяет получать высокие баллы за выполнение заданий

▪ Github

@data_analysis_ml

Читать полностью…

Каждый день мы наблюдаем за ростом возможностей искусственного интеллекта, и новости о его прорывах появляются все чаще. Но что это значит для профессионалов, чья работа, казалось бы, может быть автоматизирована? 🤔

Некоторые специалисты беспокоятся, что AI может вскоре занять их места. Однако нам кажется, что AI — это не замена, а инструмент, который помогает достигать новых высот в аналитике, видеомонтаже, копирайтинге и других сферах.

А что думаете вы? Какие инструменты и технологии помогают вам в работе, и как вы их оцениваете?

Пройдите опрос, который займет всего 5 минут ⏳ и поможет разработчикам генеративных нейросетей улучшить их инструменты.

Как бонус, мы разыгрываем среди участников:
👾 годовой доступ к Telegram Premium
👾месяц премиум-подписки на ChatGPT
👾 подписку на два месяца в Альпина Digital

Участвуйте, и давайте вместе строить будущее технологий!

Erid: 2VtzqwE1B4P

Читать полностью…

🔥 Deep seek только что выпустили Janus, модель "Any-to Any" (мультимодальный ввод и вывод!)

🚀 Janus: революционная платформу авторегрессии для мультимодального ИИ!

Она превосходит предыдущие модели как в понимании, так и в генерации.

🤗 Hf: https://huggingface.co/deepseek-ai/Janus-1.3B
📄 Paper: https://arxiv.org/abs/2410.13848
💻 Project page: https://github.com/deepseek-ai/Janus

@data_analysis_ml

Читать полностью…

🖥 TensorRT Model Optimizer — это библиотека от NVIDIA для оптимизации глубоких нейросетей с помощью современных методов, таких как квантование, прунинг и дистилляция.

Цель оптимизатора — уменьшить размер моделей и повысить скорость их выполнения на GPU

🌟 Библиотека поддерживает TensorRT и TensorRT-LLM для ускорения работы с большими языковыми моделями и генеративными ИИ. Библиотека предоставялет Python API для упрощенной интеграции и развертывания моделей.

▪️Github

@data_analysis_ml

Читать полностью…

⚡️ Mistral AI представила новые модели 3B и 8B.

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.

Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.

Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.

Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.

▶️ Ministral 3B доступна для некоммерческого использования по запросу через форму.

▶️ Ministral 8B-Instruct опубликована в отрытом доступе:

🟢Architecture: Transformer
🟢Parameters: 8B
🟢Layers: 36
🟢Heads: 32
🟢Dim: 4096
🟢Hidden Dim: 12288
🟢Vocab Size: 131K
🟢Context Length: 128K
🟢Tokenizer: V3-Tekken
🟢Language: multilingual

Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.

⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.

⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM


📌Лицензирование : MRL-0.1


🟡Страница проекта
🟡Модель
🟡Demo Ministral 8B-Instruct


@ai_machinelearning_big_data

#AI #ML #LLM #Ministraux #MistralAI

Читать полностью…

🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5.

🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face

https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8

@data_analysis_ml

Читать полностью…

🔥 Руководство по оценке больших языковых моделей (LLM), созданное командой Hugging Face. Оно включает как практические советы, так и теоретические знания, собранные при управлении Open LLM Leaderboard и разработке инструмента lighteval

Hugging Face выложила на Github руководство по оценке LLM.

В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.

Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.

Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.

Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.

▶️Оглавление:

🟢Автоматические бенчмарки
🟢Оценка человеком
🟢LLM-судья
🟢Устранение неполадок
🟢Базовые знания

📌 Планы на будущие гайды:

🟠Описание автоматических метрик;
🟠Какие основные моменты вы всегда должны учитывать при построении задачи;
🟠Зачем нужна оценка LLM;
🟠Почему сравнивать модели между собой - это сложно.

▪️Github

@data_analysis_ml

Читать полностью…

🔥 awesome-llm-powered-agent — полезный репозиторий, который содержит подборку различных проектов, библиотек и ресурсов, которые связаны с агентами, работающими на основе больших языковых моделей (LLM, large language models)

🌟 Здесь собраны инструменты и проекты, которые помогают разрабатывать или использовать интеллектуальных агентов для автоматизации задач и взаимодействия с окружающей средой через языковые модели

🔐 Лицензия: MIT

▪️Github

@data_analysis_ml

Читать полностью…

🖥 ChatHub — получайте ответ от ChatGPT, Claude, Gemini и других моделей разом!

💡 С ChatHub вы можете легко задать один и тот же вопрос нескольким чат-ботам на основе искусственного интеллекта и сравнить их ответы бок о бок! Также в этом сервисе можно генерировать картинки и проводить поиск ресурсов в интернете!

🔗 Ссылка: *клик*

@data_analysis_ml

Читать полностью…

📖 AI-Scientist — это проект, направленный на создание системы для автоматизации научных открытий и исследований. Использует модели обработки естественного языка, обучение с подкреплением и графовые нейронные сети для чтения научной литературы, генерации гипотез, проектирования экспериментов и анализа результатов

🌟 Цель — помочь исследователям находить новые направления и автоматизировать рутинные задачи, делая научный процесс более эффективным

▪️Github

@data_analysis_ml

Читать полностью…

🤗 Hugging Face Llama Recipes

Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2.

▪️Github

@data_analysis_ml

Читать полностью…

@data_analysis_ml

Читать полностью…

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/dataanlitics
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

🖥 Новые модификации архитектуры трансформеров от исследователей NVIDIA

nGPT: Трансформер на основе гиперсферы, обеспечивающий в 4-20 раз более быстрое обучение и улучшенную стабильность для LLM

🔗 Читать подробнее: *клик*

@data_analysis_ml

Читать полностью…

🖥 AdalFlow — это библиотека для создания и автоматической оптимизации задач, связанных с большими языковыми моделями (LLM).


Легкий, модульный и не зависящий от модели конвейер задач
LLM ; AdalFlow помогает разработчикам быстро создавать из них любые приложения, от приложений GenAI, перевод, обобщение, генерация кода, RAG и автономные агенты, до классических задач NLP, таких как классификация текста и распознавание именованных объектов.

🌟Содержит два фундаментальных, но мощных базовых класса: Component для конвейера и Data Class для взаимодействия с LLMS. В результате получилась библиотека с минимумом абстракции, предоставляющая разработчикам максимальную настраиваемость.

🔐 Лицензия: MIT

▪️GitHub

@data_analysis_ml

Читать полностью…

🖥 optillm — инструмент для оптимизации процесса вывода языковых моделей (LLM) через прокси-сервер. Он поддерживает различные подходы к оптимизации, такие как цепочки размышлений (CoT), самоотражение, алгоритм R* и другие. Этот инструмент позволяет использовать модели, совместимые с OpenAI API, и позволяет легко интегрировать их с существующими инструментами и фреймворками.

🌟 Основная цель — упростить работу с крупными языковыми моделями, обеспечивая их более эффективное использование, включая поддержку нескольких техник вывода и оптимизации

🔐 Лицензия: Apache-2.0

▪️Github

@data_analysis_ml

Читать полностью…

🔥 Lightning Thunder — компилятор для PyTorch, который позволяет ускорить выполнение моделей до 40%

🌟 Thunder компилирует код PyTorch, объединяя и оптимизируя операции, что повышает производительность на различных аппаратных платформах, таких как GPU, и поддерживает как одиночные, так и многопроцессорные конфигурации. Он работает с множеством исполнительных механизмов, включая такие технологии, как nvFuser, torch.compile и cuDNN и позволяет распределённые вычисления для больших моделей с использованием стратегий DDP и FSDP

🔐 Лицензия: Apache-2.0

▪️Github

@data_analysis_ml

Читать полностью…

Вышел PyTorch 2.5 🔥

Выпуск #PyTorch 2.5, в котором представлена новая серверная часть cuDNN для SDPA, компиляция torch.compile и ускорения производительности серверной части TorchInductor CPP

Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/

@data_analysis_ml

Читать полностью…

⚡️ Компания Open Sora Plan выпустила версию 1.3 своей модели генерации видео.

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md

@data_analysis_ml

Читать полностью…

🤗 Большое обновление для локальных LLM!

⚡️ Ollama получила поддержку запуска моделей GGUF с Huggingface.

Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.

На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.

▶️Быстрый запуск:

ollama run hf.co/{username}/{repository}
▶️Запуск с выбором типа квантования:

ollama run hf.co/{username}/{repository}:{quantization}
По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.

Он создается на основе встроенных метаданных tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template.

Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Например:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

📌 Список всех доступных параметров доступен в документации репозитория Ollama.

⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как hf.co, так и huggingface.co.


🟡Документация
🖥GitHub


Документация: https://huggingface.co/docs/hub/ollama

@data_analysis_ml

Читать полностью…

🖥 awesome-ai-agents — полезный репозиторий, который содержит список различных автономных ИИ-агентов, таких как AutoGPT, BabyAGI, GPT Engineer и других!

🌟 Здесь представлены библиотеки и инструменты для работы с искусственным интеллектом, включая автономные агенты и разработки на основе GPT. Репозиторий служит полезным ресурсом для тех, кто хочет исследовать или создавать ИИ-агентов для различных задач!

▪ 150+ ИИ-агентов и фреймворков.
▪ Фильтр по сценариям использования.
▪ Фильтр по открытому/закрытому исходному коду.
▪ Фильтр новых продуктов ИИ
▪ Возможность получать обновления о конкретном агенте ИИ.

▪️Github

@data_analysis_ml

Читать полностью…

Бизнесу данные нужны как воздух📊

На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы.

Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио.

Вы научитесь:

- использовать Python для анализа данных;
- применять методы ИИ в своих задачах;
- работать с базами данных;
- визуализировать данные.

После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.

Освойте профессию на стыке IT и бизнеса

Реклама. ООО "Нетология". Erid 2VSb5xPwBwn

Читать полностью…

Как стать высокооплачиваемым специалистов в ML?

Изучать тренды в Data Science с экспертами топовых компаний на продвинутом курсе «Machine Learning. Professional» от OTUS 

Приглашаем на открытый урок, где рассмотрим современную модель TSMixter от Google которая умеет автоматически раскладывать временной ряд на сложные компоненты и строить прогноз на их основе.

✅ Изучение и практика: научимся загружать и работать с моделью

Сравним ее с более сложными трансформенными моделями, такими как NBEATS, NHITS, iTransformers, PatchTST и TimesNet.

👇 Регистрация на урок: 
https://otus.pw/OdX9/?erid=LjN8KLFMu

#реклама
О рекламодателе

Читать полностью…

Вечерний митап для ML-инженеров в Белграде и онлайн

📅 17 октября в 18:00 собираемся в хабе «Сербская Роза», чтобы обсудить тренды, новые подходы, решения и вызовы индустрии в неформальной обстановке.

Спикеры и темы докладов:

🔸 Илья Ирхин, руководитель подразделения аналитики в Яндекс Еде. Подробно рассмотрит рекламу ресторанов в сервисе: аукцион, ранжирование, ценообразование

🔸 Дмитрий Солодуха, руководитель группы в Алисе и Умных устройствах Яндекса. Покажет, как мы учим Алису откликаться без имени

🔸 Антон Клочков, руководитель подгруппы распознавания текста в VLM в Яндекс Поиске. Расскажет о развитии навыков распознавания текста в VLM

🔸 Пётр Вытовтов, руководитель группы в Яндекс Погоде. Рассмотрит трансформеры сервиса и расскажет, как начать прогнозировать до миллиметра осадков

После докладов офлайн-участников ждёт нетворкинг с экспертами из разных компаний!

📎 Регистрация и подробности тут.

Ждём вас на ML Party в Белграде!

Реклама. ООО "Яндекс", ИНН 7736207543.

Читать полностью…

МТС True Tech Champ

Прими участие в чемпионате от МТС, запрограммируй робота и поборись за главный приз 4000 0000 руб. Участникам будет предложено просканировать виртуальный лабиринт, получить массив данных о расположении стен и создать алгоритм для самого быстрого поиска оптимального маршрута робота-мыши. Финал чемпионата пройдет в формате зрелищной гонки роботов.

Регистрация: до 15 октября
Доступ к промежуточным онлайн заданиям: до 16 октября
Финал в МТС Live Холл: 8 ноября

Трек по программированию роботов будет интересен разработчикам Python, JS, Java, C#, С++, Go и не только. Для участия не обязательно разбираться в устройстве роботов: эксперты трека уже сконструировали их и создали прошивку.

Успей зарегистрироваться до 15 октября по ссылке.

Читать полностью…

🖥 anthropic-gradio — интерфейс для взаимодействия с моделями Anthropic через платформу Gradio.

Он позволяет пользователям легко подключать и тестировать модели искусственного интеллекта от Anthropic в интерактивной среде Gradio, которая предназначена для создания пользовательских интерфейсов.

🌟 Инструмент помогает разработчикам быстрее интегрировать AI-модели в свои приложения, упрощая взаимодействие с этими моделями через простые интерфейсы.

▪️Github

@data_analysis_ml

Читать полностью…

🖥 MLE-bench — новый бенчмарк от OpenAI для оценки того, как хорошо ИИ-агенты справляются с задачами машинного обучения. Для этого были собраны 75 соревнований с Kaggle, где проверяются такие навыки, как подготовка данных, тренировка моделей, работа с алгоритмами.

🌟 Лучшая конфигурация — OpenAI o1-preview с AIDE — достигла уровня бронзовой медали в 16.9% конкурсов.

📖 Arxiv: *клик*
▪️Github

@data_analysis_ml

Читать полностью…

🖥 open-webui — это проект, ориентированный на взаимодействие с большими языковыми моделями (LLM) через веб-интерфейс. Он представляет собой платформу для создания пользовательских интерфейсов, которые упрощают взаимодействие с различными AI-моделями в режиме реального времени. Основной акцент делается на поддержку многомодальных возможностей и интеграцию с популярными моделями для обработки текста и других типов данных.

🌟 Платформа предназначена для упрощения работы разработчиков и исследователей, которые хотят создать удобные интерфейсы для взаимодействия с мощными AI-моделями, не углубляясь в сложные настройки и конфигурации

🔐 Лицензия: MIT

▪️Github

@data_analysis_ml

Читать полностью…