Анализ данных (Data analysis)

04 May 2024 18:06

Большое обновление для таблицы лидеров Massive Text Embedding Benchmark (MTEB), которое упрощает поиск нужной модели !

Добавлены фильтры для поиска моделей, по памяти, размеру и параметрам.

https://huggingface.co/spaces/mteb/leaderboard

@data_analysis_ml

Анализ данных (Data analysis)

03 May 2024 12:37

🖥 Обнаружение аномалий с помощью PyOD

— pip install pyod

PyOD — это универсальная масштабируемая библиотека Python для поиска аномалий в многомерных данных.

Содержит ряд очень полезных алгоритмов:
🟡TODS — для обнаружения выбросов временных рядов

🟡PyGOD — для обнаружения выбросов на графиках

Кстати, к PyOD прилагается 45-страничный подробный документ по эталонному обнаружению аномалий (если не открывается, вы знаете)

И да, PyOD отлично скейлится — здесь инструкция по запуску PyOD на распределенных системах и на центрах обработки данных

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

02 May 2024 21:31

📚 Anthropic-cookbook

Коллекция ноутбуков/ советов, гайдов, демонстрирующих интересные и эффективные способы использования Claude.

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

02 May 2024 08:46

💨 Scaling hierarchical agglomerative clustering to trillion-edge graphs

Кластеризация графов объединяет похожие элементы в группы, что помогает лучшему понять взаимосвязи в данных.

В этой статье инженеры Google рассказывают о ключевых методах, которые позволили им построить мощнейший алгоритм, позволяющий группировать графы с триллионами ребер.

https://research.google/blog/scaling-hierarchical-agglomerative-clustering-to-trillion-edge-graphs/

@data_analysis_ml

Анализ данных (Data analysis)

01 May 2024 15:03

📌PyTorch Sentiment Analysis — анализ эмоциональной составляющей текста

В этом репозитории содержатся разные реализации анализа текста в PyTorch:
— с использованием "мешка слов" (bag of words)
— с помощью рекурретной нейросети (RNN)
— посредством свёртной нейросети (CNN)
— с помощью модных трансформеров

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

30 Apr 2024 10:47

🔥Common Voice 17 теперь на hf.

Common Voice 17 - датасет С 31 175 часами аудиозаписей (и транскрипций) на 124 языках 🎶

Большинство аудио в датасете содержат демографические метаданные, такие как возраст, пол и акцент, которые могут помочь повысить точность систем распознавания речи.

Хотите попробовать?

from datasets import load_dataset

cv17 = load_dataset("mozilla-foundation/common_voice_17_0", 
                       "hi", 
                       split="test", 
                       streaming=True)

Анализ данных (Data analysis)

29 Apr 2024 19:38

🧠 Open AI только что добавили новую функцию памяти в Chatgpt.

Память теперь доступна всем пользователям ChatGPT Plus.

Пользоваться памятью очень просто: просто запустите новый чат и напишите ChatGPT все, что вы хотели бы, чтобы он запомнил.

Функция памяти ChatGPT позволяет запоминать нужные вам детали, чтобы в будущем сделать общение актуальным и персонализированны.

ChatGPT автоматически сохраняет такие детали, как ваши личные предпочтения, но вы также можете попросить ChatGPT запомнить конкретную информацию, сказав:
"Запомнить это" или "Сохрани это в своей памяти".

Примечание:
1. Эта функция доступна только в GPT-4, но не в версии 3.5.
2. Если вы хотите удалить что-либо из памяти, вы можете сделать это через настройки управления памятью
3.Похоже, что это замедляет работу GPT-4, потому что он пытается получить доступ к памяти, а затем отвечает.

Память можно включить или отключить в настройках.

@data_analysis_ml

Анализ данных (Data analysis)

28 Apr 2024 20:14

⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.

▪Смотреть
▪Данные
▪Ноутбук

@machinelearning_interview

Анализ данных (Data analysis)

28 Apr 2024 17:03

🖥 Giskard — библиотека Python для оценки и тестирования LLM-, ML-моделей

Помогает обнаруживать проблемы в моделях.
Сканирует LLM, позволяет определить производительность, фиксирует проблемы безопасности.

Установка: pip install "giskard[llm]" -U

▶️ Попробовать в Google Colab
🖥 GitHub 3.1k ⭐️

@data_analysis_ml

Анализ данных (Data analysis)

27 Apr 2024 16:03

🌟 Mage-ai — отличная замена Airflow

Позволяет:
• интегрировать и синхронизировать данные из сторонних источников
• создавать конвейеры обработки данных в реальном времени и в пакетном режиме, используя Python, SQL и R
• производить запуск, мониторинг и оркестровку тысяч конвейеров

🖥 GitHub 7k ⭐️

@data_analysis_ml

Анализ данных (Data analysis)

26 Apr 2024 16:02

📌Классификация и ординация с помощью R

В этой статье мы поговорим о том, как делать кластерный анализ и строить тепловые карты экспрессии в R.

Рассмотрим такие понятия как:
• Многомерные данные
• Облако точек в многомерном пространстве
• Коэффициенты сходства-различия
• Евклидово расстояние
• Коэффициент Жаккара
• Иерархическая кластеризация
• Алгоритмы иерархической кластеризации на основании расстояний
• Метод ближайшего соседа
• Метод отдаленного соседа
• Метод невзвешенного попарного среднего

📎 Статья

@data_analysis_ml

Анализ данных (Data analysis)

26 Apr 2024 10:02

Когда опять ничего не получается

Помните, как котёнок в мультике складывает кубики и приговаривает: «Опять ничего не получается. Ну, и пожалуйста, ну и не нужно»? Так многие бросают английский, думая, что научиться звучать уверенно невозможно.

На самом деле всё реально. Есть три слагаемых в изучении английского, которые помогают прийти к результату и повысить уровень. Первое: чёткая цель, которая будет мотивировать двигаться дальше. Второе: продуманный план обучения, а не отдельные занятия время от времени, чтобы видеть постоянный прогресс. И третье: большое количество разговорной практики, чтобы наконец избавиться от языкового барьера.

На курсах английского от Яндекс Практикума всё именно так:
✺ Преподаватели-профессионалы, прошедшие отбор: они сфокусированы на вашем результате и помогают достигать целей в комфортной обстановке.
✺ План обучения, который адаптируется под текущий уровень языка — так вы не будете снова учить то, что хорошо знаете, а сможете сосредоточиться на темах, которые пока вызывают сложности.
✺ Много разговорной практики, в том числе с иностранцами, чтобы раскрепоститься в общении и почувствовать себя увереннее, например в поездках.
✺ Программа, разработанная методистами с кембриджским дипломом DELTA: чтобы развивать навыки по международным стандартам обучения.

Начните путь к новому уровню английского с малого: запишитесь на бесплатную консультацию. Куратор определит языковой уровень и подберёт курс под ваши цели и амбиции. Всего 30 минут, которые ни к чему вас не обязывают, но помогут поверить в свои силы.

Анализ данных (Data analysis)

25 Apr 2024 09:03

Эффективный способ быстрого освоения ChatGPT.

Создание правильных промптов и обучение нейронной сети - это долгий процесс, требующий значительных временных затрат.

Здесь разработан краткий курс из 5 уроков по ChatGPT. После его прохождения вы сможете создать 9 нейронных сетей, которые помогут вам:

▪️ найти ошибки и оптимизировать код
▪️ генерировать посты в Телеграме
▪️ создавать заголовки для рекламы
* отдать всю рутину на выполнение нейронке

Вы также сможете разработать своих нейро-помощников для продаж, маркетинга и других целей.

Бесплатный доступ доступен сразу после регистрации.

Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395. erid: LjN8KYXR3

Анализ данных (Data analysis)

24 Apr 2024 19:04

⚡️ Quix Streams - это облачная нативная библиотека для обработки данных в Kafka с использованием Python.

Инструмент разработан, чтобы предоставить возможности распределенной системы в виде легкой библиотеки, сочетая низкоуровневую масштабируемость и отказоустойчивость функций Kafka с простым в использовании интерфейсом Python.

Отлично подходит для новичков, которые хотят познакомиться с потоковой обработкой.

python -m pip install quixstreams

• Github
• Docs

@data_analysis_ml

Анализ данных (Data analysis)

24 Apr 2024 16:03

🖥 Обнаружение статистических выбросов в Python

Выбросы — значения или наблюдения, отклоняющиеся от других данных. Всегда нужно сравнивать наблюдение с другими значениями, полученными тем же способом, прежде чем называть их выбросами.

Имеет смысл формально выделять два класса выбросов: экстремальные значения и ошибки. Экстремальные значения интереснее, потому что они возможны, но маловероятны.

В этой статье — несколько подходов к обнаружению выбросов в Python; от простых методов, таких как описательная статистика (включая минимальные, максимальные значения, гистограмму, прямоугольную диаграмму и процентили), до более формальных методов, таких как фильтр Хэмпеля, тесты Граббса, Диксона и Рознера.

📎 Поехали
📎 Кстати, по анализу выбросов в R

#junior

@data_analysis_ml

Анализ данных (Data analysis)

04 May 2024 11:20

🌟 Большой список ресурсов для практики Data Science

Это подборка библиотек Python, ссылок на туториалы, ссылок на примеры кода для решения DS-задач.

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

03 May 2024 10:36

Регистрация на «Я Железо 2024» открыта✨

Яндекс — это не только софт. Мы расскажем вам о создании умных устройств, автономного транспорта и роботов.

В этом году будет два трека:

🦾 HardWare — презентуем доклады об устройстве шасси робота, голосовом управлении в ТВ, изменениях в тестировании умных устройств, системе питания в роботе и требованиях к автомобильной электронике и её испытанию.

🌍 SoftWare — расскажем, как софт Яндекса управляет автомобилем, о локализации в беспилотных технологиях и использовании DSP и NPU-чипов, тестировании Алисы и о том, как устроен Test-driven Development в Embedded.

А еще вы сможете поболтать с Алисой, познакомиться со складскими роботами, разобраться в типах лидаров и узнать, как вас видит робот-доставщик.

В конце программы всех участников ждёт афтерпати!

Когда: 18 мая в Москве офлайн + онлайн
Зарегистрироваться и посмотреть программу мероприятия можно тут.

Реклама. ООО "Яндекс", ИНН 7736207543.

Анализ данных (Data analysis)

02 May 2024 15:03

🖥 Whisper.cpp для перевода аудио в текст

🟡Высокопроизводительный интерфейс на C++ для модели Whisper от OpenAI, которая отлично распознаёт текст.
Простая реализация на C/C++ без зависимостей.

Особенности самой модели Whisper:
— Хорошо распознает русский текст (даже с вкраплениями английского)
— Хорошо распознает цифры

🖥 GitHub
🟡 Использование

Кстати, интересный факт: Whisper.cpp был написан Георгием Гергановым всего за 5 дней

@data_analysis_ml

Анализ данных (Data analysis)

01 May 2024 18:33

🔥 Animation with text that highlights important events

Анимация является выразительным средством, оживляющим ваши данные, и Matplotlib предлагает специализированные инструменты для этой цели.

Это руководство представляет собой подробное пошаговое руководство с кодом, который вы можете воспроизвести для создания эффектных анимаций.

• Читать

@data_analysis_ml

Анализ данных (Data analysis)

01 May 2024 09:15

🌟 О работе трансформеров с контекстом

Отличная статья для глубокого понимания, как трансформеры работают с контекстом.
Детально описаны механизмы, благодаря которым это вообще возможно, в том числе и механизм внимания.

Выдвигается гипотеза, что обучение трансформеров в контексте возникает благодаря неявной реализации градиентного спуска по функции потерь, построенной на основе данных, взятых из контекста.

📎 Arxiv
🟡 Кстати, полезная статья об архитектуре трансформеров на Хабре
🟡 Визуализация механизма внимания от 3b1b

@data_analysis_ml

Анализ данных (Data analysis)

29 Apr 2024 20:26

🌟 Cognita — опенсорсный RAG-фреймворк для построения сложных приложений с LLM

🟡Langchain/LlamaIndex предоставляют простые в использовании абстракции, которые можно использовать для быстрых экспериментов и создания прототипов в Jupyter Notebook. Но когда нужно сделать что-то крупнее пет-проекта, возникают ограничения — например, компоненты должны быть модульными и легко масштабируемыми.
И вот здесь отлично пригодится Cognita.

🟡Cognita использует Langchain/Llamaindex под капотом и обеспечивает организацию вашей кодовой базы, где каждый из компонентов RAG является модульным, управляемым API и легко расширяемым. Cognita может быть легко использована локально, при этом инструмент предоставляет вам готовую к производству среду вместе с поддержкой пользовательского интерфейса без кода.

🖥 GitHub
▶️ Затестить Cognita можно тут

@data_analysis_ml

Анализ данных (Data analysis)

29 Apr 2024 10:03

🌟 Perplexica — открытый поисковой движок с AI

Созданный на основе Perplexity AI, этот движок с открытым исходным кодом не просто ищет в интернете, но и понимает ваши вопросы.
Perplexica использует передовые ML-алгоритмы для уточнения результатов и предоставляет четкие ответы со ссылками на источники.

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

28 Apr 2024 18:40

👨‍🎓 100 лекций по математике от Оксфорда

Оксфорд публикует лекции по математике, чтобы дать представление об опыте студентов и о том, как они преподают математику в Оксфорде.

В этом плейлисте собраны лекции из различных курсов за все студенческие годы (включая целые курсы).

За всеми лекциями следуют учебные занятия, на которых студенты встречаются со своим преподавателем и решают задачи.

Примерно 80 часов отборной математики.

• Плейлист

@data_analysis_ml

Анализ данных (Data analysis)

28 Apr 2024 15:03

📌ИИ может определить политические взгляды по лицу

🟡Исследователи из Высшей школы бизнеса Стэнфордского университета подтвердили, что распознавание лиц можно использовать, чтобы определять политические убеждения человека. Это создаёт новые угрозы приватности со стороны систем распознавания лиц.

🟡591 человека спросили об их политических предпочтениях, а потом «скормили» их фотографии обученной на распознавание лиц модели. Та смогла по чертам лица определить политические предпочтения участников исследования.

🟡Точность определения сравнивали с точностью предсказаний того, как хорошо собеседования определяют успех на работе или алкоголь повышает агрессивность. Достоверность увеличивалась, если показывать ИИ не только фото, но и добавлять контекст: возраст, пол, этническую принадлежность. Модель определяет не принадлежность к конкретной партии, а скорее спектр взглядов человека — консервативные они или либеральные. Судя по представлению модели и небольшой выборке, у либералов лица меньше, а у консерваторов — больше. Вот и пришли мы к ИИ, который мерит черепа и даёт людям оценку, ориентируясь на «большие данные».

📎 Подробнее

@data_analysis_ml

Анализ данных (Data analysis)

27 Apr 2024 10:47

▶️Microsoft представила Infra Copilot, который использует GitHub Copilot для генерации инфраструктурного кода

⏩Microsoft представила новый инструмент Infra Copilot, предназначенный для помощи в написании кода для инфраструктурных систем (подход Infrastructure as Code). В качестве основы инструмент использует GitHub Copilot.

⏩«Infra Copilot использует возможности машинного обучения для интерпретации намерений, стоящих за промптами, и быстрого создания инфраструктурного когда. Он понимает контекст инфраструктурных задач и позволяет профессионалам задавать вопросы на естественном языке и получать соответствующие предложения по коду», — указывает Microsoft.

⏩Infra Copilot доступен пользователям, у которых установлена последняя версия Visual Studio Code и есть лицензия GitHub Copilot.

@data_analysis_ml

Анализ данных (Data analysis)

26 Apr 2024 12:02

⚡️ Искусственный интеллект Adobe превращает размытое видео в HD

🟡Исследователи из Adobe разработали модель генеративного искусственного интеллекта (ИИ) VideoGigaGAN, которая может до восьми раз увеличить разрешение видео, снятого в низком качестве. В описании технологии разработчики утверждают, что новый ИИ превосходит другие методы повышения разрешения видео (VSR), поскольку он обеспечивает высокую детализацию, не добавляя заметных артефактов редактирования.

🟡Как правило, при масштабировании видео с помощью генеративно-состязательных нейросетей в кадрах появляются эффекты мерцания и другие нежелательные артефакты. Другие методы позволяют избежать этого, но картинка теряет четкость и детализацию. VideoGigaGAN обеспечивает высокое качество видео с меньшим количеством проблем, заявляют разработчики.

🟡Компания предоставила несколько примеров, демонстрирующих работу ИИ. В демонстрационных клипах действительно видно высокое качество обработки и незаметны эффекты редактирования. Например, текстура кожи или детали внешности выглядят естественно.
Пока неизвестно, будет ли VideoGigaGAN доступен простым пользователям в Creative Cloud или Adobe планирует иначе использовать новую модель.

▶️ Вживую посмотреть на работу VideoGigaGAN можно тут

@data_analysis_ml

Анализ данных (Data analysis)

25 Apr 2024 10:03

📌Вопросы и ответы к собеседованию по Data Science

Держите, полезная подборка ответов на распространенные вопросы из собеседований по Data Science и немного по ML

🔗 Вопросы/ответы
🔗 14 типичных вопросов с собеседования по ML
🔗 Большая подборка вопросов для собеседования по DS
🔗 Подготовка к собеседованию по ML: ответы на основные вопросы
🔗 Вопросы для собеседования на позицию ML-инженера
🔗 Вопросы с собеседований статистика
🔗 Вопросы по теории вероятности
🔗Материалы для подготовки к интервью по направлению
🔗Задачи с собеседований SQL

@data_analysis_ml

Анализ данных (Data analysis)

24 Apr 2024 20:30

⚡️ Snowflake только что запустила самую крупную модель с открытым исходным кодом на сегодняшний день.

482 млрд параметр MoE.

17 млрд. активных параметров и 128 экспертов, обученных на 3,5 Т токенов.

Даже описание данных с открытым исходным кодом!

pip install git+https://github.com/Snowflake-Labs/transformers.git@arctic

https://huggingface.co/Snowflake/snowflake-arctic-instruct

@data_analysis_ml

Анализ данных (Data analysis)

24 Apr 2024 17:03

Пробный ЕГЭ по информатике: бесплатно!

Центральный университет приглашает 11-классиков, которые хотят:
– потренироваться в написании ЕГЭ и проверить свой уровень знаний в баллах ЕГЭ
– повысить свои шансы на успех
– разобрать ошибки и понять, как не потерять баллы на экзамене
– подготовиться морально к экзамену, снизив стресс

📅 Когда: 28 апреля, 10:00 МСК
📍 Где: Центральный университет, Москва, ул. Гашека, 7 или онлайн на платформе edu.tinkoff.ru
📚 Что: ты получишь: диагностику знаний, опыт сдачи ЕГЭ, экспертные комментарии, разбор ошибок

Регистрируйся до 25 апреля 23:59

erid:2VtzqwXpLcQ
Реклама, АНО ВО «Центральный университет», ИНН 7743418023

Анализ данных (Data analysis)

24 Apr 2024 14:03

Tarantool Column Store — это новая российская in-memory колоночная СУБД для гибридной транзакционно-аналитической обработки данных (HTAP) в реальном времени.

Позволяет анализировать данные в real-time, ускорять аналитические расчеты. Обладает высокой производительностью благодаря многопоточности.

Где можно применять новую СУБД:

• Формирование финансовой отчетности в real-time;
• Ускорение и повышение точности антифрод-систем — обнаружение подозрительных транзакций практически с нулевой задержкой;
• Повышение производительности системы выдачи кредитов. Tarantool Columnstore в реальном времени анализирует матрицы, в которых содержится более 100 000 вариантов кредитных предложений и дополнительных услуг.

Попробуйте высокую производительность и скорость — 1,6 млн. сканирований и 200 тыс. агрегаций в секунду на ядро, <200 микросекунд на запрос.

➡️ Оставить заявку