bigdatai | Unsorted

Telegram-канал bigdatai - Big Data AI

15160

@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста

Subscribe to a channel

Big Data AI

💊 Machine Learning: Медицинский дайджест за период 7.09 - 14.09 2024 года

🟩 BrainWave: модель для анализа сигналов головного мозга.

BrainWave – модель, обученная на 40 000 часах инвазивных (iEEG) и неинвазивных (EEG) записей мозговой активности 16 тыс пациентов. Это первая фундаментальная модель для анализа сигналов мозга, объединяющая данные из разных источников.

🟩 DS-ViT: Visual Transformer для ранней диагностики болезни Альцгеймера.

Dual-Stream Vision Transformer (DS-ViT) -метод, который объединяет сегментацию и классификацию для улучшения точности обучения моделей, обрабатывающих снимки МРТ головного мозга.

Он использует FastSurfer в качестве обучающей модели для детальной сегментации для обучаемой ViT-модели ADAPT (модель диагностики болезни Альцгеймера).

🟩 EyeCLIP: фундаментальная VLM для офтальмологических изображений.

EyeCLIP, визуально-языковая фундаментальная модель (VLM), обученная на более чем 2,77 миллионах мультимодальных офтальмологических изображений и 11 180 текстовых описаний от 128 000 пациентов.

Модель может выполнять задачи классификации заболеваний глаз, прогнозирование системных заболеваний, поиск информации по изображению и тексту и ответы на вопросы, связанные с изображениями патологии глаз.

🟩 Возможности SAM для сегментации опухолей мозга.

В исследовании изучается эффективность SAM для сегментации опухолей головного мозга на основе набора данных BraTS2019, который содержит изображения четырех модальностей (T1, T1ce, T2, FLAIR). Авторы оценивают эффективность SAM с использованием двух типов маркирования - точки и рамки и анализируют влияние количества маркирования на точность сегментации.

Результаты показывают, что SAM с маркировкой в виде рамок превосходит по точности маркировку в виде точек. Увеличение количества точек улучшает производительность до определенного предела, после которого точность начинает снижаться. Комбинирование точечных и рамочных маркировок позволяет добиться наилучших результатов.

🟩 MEDIC: Оценка языковых моделей для клинического применения.

MEDIC использует пять ключевых измерений клинической компетентности: медицинское мышление, этические аспекты и предвзятость, понимание данных и языка, контекстное обучение и клиническая безопасность.

Оценка проводится тестированием на задачах: ответы на закрытые и открытые вопросы, суммирование медицинских текстов и создание клинических заметок. Для оценки безопасности моделей используется набор данных Med-Safety, содержащий 900 сценариев с потенциально опасными медицинскими запросами.

Приложения с использованием языковых моделей.


🟪 KARGEN: генерация отчетов рентгенографии грудной клетки с использованием графа знаний и больших языковых моделей.

KARGEN - фреймворк, объединяющий большие языковые модели с графом знаний, специально разработанным для анализа рентгенограмм грудной клетки.

Архитектура KARGEN: энкодеры визуальных признаков (Swin Transformer), модуль слияния (element-wise fusion + modality-wise fusion) и генератор отчетов.

Энкодер визуальных признаков извлекает признаки из рентгеновского изображения, граф знаний, построенный на основе взаимосвязей между 14 заболеваниями из набора данных Chexpert, используется для извлечения признаков, связанных с этими заболеваниями.

🟪 i-MedRAG: итеративный поиск информации для ответов на сложные медицинские вопросы.

i-MedRAG - архитектура RAG, предназначенная для ответов на сложные медицинские вопросы, требующие многоэтапных рассуждений. В отличие от традиционных RAG-систем, i-MedRAG использует итеративный подход к поиску информации.

Методики и техники

🟦 Автоматическая сегментация клеток с использованием UNet в DeepChem.


В статье описан эксперимент создания​​ интеграции модели UNet, архитектуры, известной своей эффективностью в задачах сегментации изображений, с python библиотекой DeepChem, предназначенной для машинного и глубокого обучения в биологии и химии, для задач автоматической сегментации клеток на различных наборах данных микроскопических изображений.

🔥Полный дайджест

@ai_machinelearning_big_data

#news #ai #ml #medtech

Читать полностью…

Big Data AI

⚡️ Как генерировать сложные 3D-сцены с высокой реалистичностью?

LT3SD разлагает 3D-сцены на латентные древовидные объекты, а диффузия на латентных деревьях обеспечивает бесшовный бесконечный синтез 3D-сцен!

https://quan-meng.github.io/projects/lt3sd/

@bigdatai

Читать полностью…

Big Data AI

Привет! Я Женя, Senior ML Engineer в AdTech, админ канала ML Advertising, автор курсов по MLOps на PyMagic (раз, два).

В своем канале пишу боевые заметки с полей Web рекламы, разработку высоконагруженных приложений и динамическое ценообразование.

Вот мои самые крутые посты (по моей оценке):
- ML в AdTech
- Как работает рекламная платформа
- Что такое аукционы в реальном времени
- Стратегии ставок в Avito
- Динамическое ценообразование в рекламе

Мои видео на YouTube:
- Traffic Filtering in Programmatic Ads
- Virtual Advertising

Присоединяйтесь, будет интересно!

Читать полностью…

Big Data AI

🌟 LLaMA-Omni: Речевое управление LLM

LLaMA-Omni - модель, построенная на основе Llama-3.1-8B-Instruct, которая поддерживает голосовое взаимодействие с низкой задержкой ответа и высоким качеством синтеза аудио, одновременно генерируя текстовые и речевые ответы на основе голосовых инструкций.

LLaMA-Omni не требует транскрипции речи, напрямую передавая адаптированное речевое представление в LLM. LLM генерирует текстовый ответ, и, параллельно декодер речи генерирует соответствующие дискретные речевые единицы, используя скрытые состояния инференса LLM. Применение этой конструктивной особенности значительно сокращает задержку ответа до в 226 мс на chunk-size размерности 10.

Для установки и локального запуска понадобятся GPU => 20GB и набор :

🟢Модель Llama-3.1-8B-Omni
🟢Модель Whisper-large-v3;
🟠HiFi-GAN вокодер;
🟠Тулкит Fairseq;
🟠Flash-attention.

⚠️ Примечания:

🟠Gradio плохо воспроизводит потоковое аудио, поэтому автовоспроизведение в нем отключено;

🟠Чтобы запустить СLI-инференс локально, организуйте файлы речевых инструкций в соответствии с форматом в omni_speech/infer/examples, а затем обратитесь скрипту omni_speech/infer/run.sh.

▶️Установка :

# Clone repository 
git clone https://github.com/ictnlp/LLaMA-Omni
cd LLaMA-Omni

# Install packages
conda create -n llama-omni python=3.10
conda activate llama-omni
pip install pip==24.0
pip install -e .

# Install fairseq
git clone https://github.com/pytorch/fairseq
cd fairseq
pip install -e . --no-build-isolation

# Install flash-attention
pip install flash-attn --no-build-isolation


▶️ Выполните команды, описанные в разделах Quick Start и Gradio Demo. Интерфейс будет доступен в вашем браузере по адресу http://localhost:8000/


📌Лицензирование : Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Llama #SpeechToSpeech

Читать полностью…

Big Data AI

Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Jina AI представили интересную технику, которая улучшает эмбединги текста длинного контекста для задач поиска, кодируя целые документы перед их разбиением.

📝https://arxiv.org/abs/2409.04701
👨🏽‍💻https://github.com/jina-ai/late-chunking

@bigdatai

Читать полностью…

Big Data AI

✔️ Поиск нового поколения и RAG с Vertex AI.

В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com

@bigdatai

Читать полностью…

Big Data AI

👩‍⚕️ Большой Медицинский дайджест самых интересных проектов.

🟩 CancerLLM: LLM для онкологии.

CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).

🔸Arxiv

🟩 MedUnA: метод создания VLM для обработки медицинских снимков.

Medical Unsupervised Adaptation (MedUnA) состоит из двух этапов.

На первом этапе описания, сгенерированные LLM, соответствующие меткам классов, передаются через текстовый энкодер BioBERT. Результирующие текстовые эмбеддинги выравниваются по меткам классов с помощью упрощенного адаптера.

На втором этапе обученный адаптер интегрируется с визуальным энкодером MedCLIP, используя entropy-based loss и prompt tuning для эффективного выравнивания визуальных эмбеддингов.

🔸Arxiv


🟩 DARES: Базовая модель для роботизированной эндоскопической хирургии.

Метод, код и базовая модель для для выполнения самоконтролируемой монокулярной оценки глубины в задачах эндоскопической роботизированной хирургии.

🔸Arxiv🔸Github 🔸Model


🟩 Med-MoE: Mixture-of-Experts для медицинских VLM.

Med-MoE (Mixture-of-Experts) - легкий фреймворк для решения дискриминативных и генеративных мультимодальных медицинских задач.

Med-MoE работает в три этапа: cогласование медицинских изображений с лексемами LLMs, выбор экспертов для настройки инструкций с помощью обучаемого маршрутизатора и настройка выбранных экспертов в требуемой области.

🔸Arxiv 🔸Github


🟩 CanvOI: Визуальная модель для онкологии.

CanvOI - VL модель для цифровой патологии, основанная на ViT-g/10, оптимизированная для онкологических гистопатологических изображений. Благодаря использованию плиток размера 380 x 380 пикселей и патчей размера 10², CanvOI эффективна в задачах обучения по нескольким экземплярам (Multiple Instance Learning).

🔸Arxiv


🟩 UniUSNet: прогнозирование заболеваний на основе УЗИ.

UniUSNet - метод, код и претрейн-модель для задач классификации и сегментации ультразвуковых изображений, способный работать с различными типами УЗИ, анатомическими позициями и форматами входных данных. Обучена на более чем 9,7 тыс. аннотаций по 7 анатомическим позициям.

🔸Arxiv 🔸Github 🔸Model

Бенчмарки и наборы данных для оценки


🟥 TrialBench: Датасет клинических испытаний.

23 набора мультимодальных данных, предварительно структурированных для использования в задачах файнтюна моделей, оценки и прогнозирования ключевых результатов по показателям: продолжительность испытаний, отсев пациентов, уровень смертности и одобрение испытаний.

🔸Arxiv 🔸Github 🔸Dataset


🟥 LLM для бенчмарка по MedQA.

Исследование использования LLM для автоматизации оценки медицинских систем вопросов и ответов, традиционно требующих ручной оценки экспертов. Траектория изысканий сосредоточена на том, могут ли LLM имитировать человеческую оценку, анализируя ответы на вопросы, полученные из данных о пациентах.

Спойлер — могут, с абсолютной погрешностью 0,62 по шкале от 0 до 3.

🔸Arxiv


🟥 MedFuzz: Исследование надежности медицинских LLM.

MedFuzz от Microsoft Research - это состязательный метод проверки устойчивости LLM в эталонных тестах MedQA путем модификации вопросов таким образом, чтобы использовать нереалистичные предположения.

MedFuzz показывает, как LLM могут ошибаться таким образом, чтобы не обмануть медицинских экспертов, выявляя пробелы в их обобщении для реальных клинических условий.

🔸Arxiv


🟥MedS-Bench + Medicines: Оценка работы LLM в клинических задачах и датасет для обучения.

MedS-Bench - бенчмарк и датасет для оценки эффективности моделей в решении 11 клинических задач из 3 областей: обобщение отчетов, диагностика и рекомендации по лечению.

MedS-Ins - набор данных для настройки инструкций с 5 миллионами экземпляров для 122 задач.

🔸Arxiv 🔸Leaderboard 🔸Github 🔸Dataset MedS-Ins

🔥Полный дайджест

@ai_machinelearning_big_data

#news #ai #ml #medtech

Читать полностью…

Big Data AI

👁️ YOLOv9 - лучший детектор объектов, с самой высокой точностью обнаружения

В то же время, он имеет на 15% меньше параметров, чем YOLOv8.

ссылка: https://roboflow.github.io/model-leaderboard

@bigdatai

Читать полностью…

Big Data AI

😖 Google DeepMind только что выпустили еще один крутой биотех инструмент с искусственным интеллектом: AlphaProteo

Это AI для разработки новых белков. Он поможет в разработке лекарств, для лечения рака, аутоиммунных заболеваний, а так же лечения множества других заболеваний 🧬

Ученые предрекают возможность создания нового белкового материала, который будет связываться с белками, участвующими в передаче сигналов между раковыми клетками, нарушая их функцию и вызывая их гибель

Исследователи смогу смоделировать и лучше понять, как функционируют биологические системы, сэкономить время на исследованиях, усовершенствовать разработку лекарств и многое другое. 🧵

Анонс
Статья

@ai_machinelearning_big_data

#deepmind #ai #ml #biology #biotech

Читать полностью…

Big Data AI

⭐️ Крутой проект на Github - openperplex - поисковая система искусственного интеллекта с открытым исходным кодом

- Полный поиск с источниками, цитатами и соответствующими вопросами
- Простой поиск для быстрых ответов
- Потоковый поиск для обновлений в реальном времени
- Поиск содержимого сайта (текст, разметка и даже скриншоты!)
- Запрос на основе URL
- Бесплатный уровень: 500 запросов в месяц

https://github.com/YassKhazzan/openperplex_backend_os

@bigdatai

Читать полностью…

Big Data AI

🔥MLR-Copilot: автономные ресерчеры в области машинного обучения, работающие с помощью агентов LLM, которые:

→ генерируют идеи для исследований
→ проводят эксперименты
→ выполняют реализацию с обратной связью от человека

📑 Статья https://arxiv.org/abs/2408.14033
🔨Code https://github.com/du-nlp-lab/MLR-Copilot
🤗Demo https://huggingface.co/spaces/du-lab/MLR-Copilot

@bigdatai

Читать полностью…

Big Data AI

Мечта каждого мужчины

@bigdatai

Читать полностью…

Big Data AI

⚡️Spann3R: 3D-реконструкция с пространственной памятью

Duster снова в ударе!

Статья: https://arxiv.org/abs/2408.16061
Проект: https://hengyiwang.github.io/projects/spanner

@bigdatai

Читать полностью…

Big Data AI

🖥 Text2SQL is Not Enough: Unifying AI and Databases with TAG

Генерация с расширением таблиц (TAG) - это унифицированная парадигма общего назначения для ответа на вопросы на естественном языке с использованием баз данных.

Text2SQL представляет широкий спектр взаимодействий между LM и базой данных, которые ранее не применялись в таких методах, как Text2SQL и RAG.

📚 Статья: https://arxiv.org/abs/2408.14717
🛠️ Код: https://github.com/tag-research/tag-bench

@bigdatai

Читать полностью…

Big Data AI

🌟LongVILA: Масштабирование VLM с длинным контекстом для обработки длинных видео.

LongVILA, полнофункциональное решение на основе LLaVA, разработанное NVLabs, для длинноконтекстных VLM, включающее программный набор, претрейн-моделей и разработку набора данных для обучения.

Программная реализация основывается на Multi-Modal Sequence Parallelism (MM-SP).
Это распределенный фреймворк для обучения и вывода, который предназначен для визуальных языковых моделей (VLM) с длинным контекстом. Он решает сложную задачу обработки огромных объемов данных и вычислений, необходимых для обучения и развертывания VLM на длинных видео.

Ядром MM-SP является двухэтапная стратегия шардинга и механизм 2D-внимания.
На первом этапе изображения равномерно распределяются по устройствам, обеспечивая сбалансированное кодирование изображений.
Второй этап включает в себя шардинг токенов уровня глобального зрения и текстовых входных данных с добавлением фиктивных токенов для совместимости с кольцевым вниманием.
Механизм 2D-внимания повышает эффективность в MM-SP, объединяя кольцевой стиль и стиль Улисса (Ulysses) последовательного параллелизма, используя внутриузловое общение All-2-All и межузловое общение P2P.

MM-SP распределяет вычислительную нагрузку по нескольким устройствам позволяя проводить обучение и вывод на чрезвычайно длинных последовательностях. Кроме того гибридная стратегия параллелизма минимизирует накладные расходы на связь еще больше улучшая пропускную способность обучения и сокращая время вывода.

Полный стек решения LongVILA расширяет число возможных кадров VILA в 128 раз (с 8 до 1024 кадров) и улучшает оценку аннотирования длинных видео с 2,00 до 3,26 (в 1,6 раза), демонстрируя 99,5% точности в 1400-кадровом видео (длина контекста 274k).

Претрейн модели основаны на Llama-3-8B и предназначены для рассуждений с использованием нескольких изображений и имеют навык визуальной цепочки мышления.
Опубликованы 3 модели:

🟢Llama-3-LongVILA-8B-128Frames;
🟢Llama-3-LongVILA-8B-256Frames;
🟢Llama-3-LongVILA-8B-512Frames.

Эти модели были обучены на 53 миллионах пар "изображение-текст" и могут быть развернуты на конечных устройствах от Jetson Orin для FP16 версий до потребительских ноутбуков в квантованной 4-bit размерности через TinyChat.


📌Лицензирование кода : Apache 2.0 license.

📌Лицензирование моделей: CC-BY-NC-SA-4.0 license.


🟡Arxiv
🟡Набор моделей
🖥Github [ Stars: 1.2K | Issues: 33 | Forks: 92]


@ai_machinelearning_big_data

#AI #NVLab #VLM #ML

Читать полностью…

Big Data AI

⚡️ Vchitect-2.0, модель генерации видео 2B, поддерживающая разрешение до 720x480 и генерацию 5-20 секунд.

👉 Сайт: https://vchitect.intern-ai.org.cn
👉 Код: https://github.com/Vchitect/Vchitect-2.0
👉 Демо: https://huggingface.co/spaces/Vchitect/Vchitect-2.0

@bigdatai

Читать полностью…

Big Data AI

✍️ Гайд по тензорам

Книга- гайд, в которое есть все, что нужно знать о тензорах.

Тензор — это контейнер, в котором могут храниться данные в N измерениях. Часто и ошибочно используемые взаимозаменяемо с матрицей (которая, в частности, является двумерным тензором), тензоры представляют собой обобщения матриц на N -мерное пространство.

🔗 Ссылка

@bigdatai

Читать полностью…

Big Data AI

👀 ReshotAI — это крутая нейросеть для редактирования фотографий всего за несколько кликов.

С её помощью можно легко добавить улыбку, изменить положение глаз и рта.

Фотографии теперь всегда будут получаться идеальными.

📌 Попробовать

#nn #soft

@bigdatai

Читать полностью…

Big Data AI

🚨 Новая мощная открытая модель преобразования текста в речь: Fish Speech 1.4 - обучена на 700 тыс. часов речи, многоязычная (8 языков)🔥

> Мгновенное клонирование голоса
> Сверхнизкая задержка
> ~1 ГБ веса модели

> Веса модели на HF 🤗

https://huggingface.co/fishaudio/fish-speech-1.4

@bigdatai

Читать полностью…

Big Data AI

Новостной дайджест

✔️ 3.7 миллиона фальшивых звезд GitHub.

Сервис Socket обнаружили 3.7 миллиона фальшивых звезд GitHub, что указывает на тенденцию роста угроз, связанных с мошенничеством, финансовыми махинациями и вредоносным ПО. Эти кампании быстро активизировались за последние шесть месяцев.

Фальшивые звезды используются для обмана пользователей, чтобы распространять вредоносное ПО и для привлечения инвестиций венчурных фондов в подставные компании с плохими показателями.

Алгоритм Socket выявил 3 746 538 подозрительных звезд за последние пять лет (с июля 2019 года по июль 2024 года) и 10 155 репозиториев, которые, по-видимому, проводили кампании по накрутке.
socket.dev

✔️ LLM не могут объяснить свои рассуждения.

В статье автор приводит интерактивную демонстрацию для проверки способности LLM распознавать и объяснять числовые последовательности, генерируемые случайными программами.
Несмотря на то, что модели в некоторых случаях определяют правильную последовательность, их объяснения бывают неверными. Этот эксперимент подтверждает существующие ограничения в рассуждающих способностях LLM, несмотря на их показатели в популярных бенчмарках.
jonathanychan.com

✔️ YouTube создает инструменты для обнаружения дипфейков лиц и голосов.

Компания представила две новые технологии: первая позволяет автоматически обнаруживать ИИ-контент, который имитирует голоса исполнителей, а вторая - обнаруживать и управлять контентом, созданным с помощью ИИ, на котором присутствуют лица людей.

Новые функции основаны на многолетнем опыте YouTube в разработке технологических подходов к решению проблем с правами в больших масштабах.

YouTube дополнительно ведет разработку новых способов предоставления авторам выбора в отношении того, как третьи стороны могут использовать их контент на платформе.
blog.youtube

✔️ Поиск нового поколения и RAG с Vertex AI.

В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com

✔️ Повышение эффективности отладки C++ с помощью breakpoint expressions, генерируемых искусственным интеллектом.

В статье Devblogs Microsoft представлена новая функция в Visual Studio 2022, использующая искусственный интеллект для генерации выражений для условных точек останова и точек трассировки в коде C++. Эта функция, работающая на базе GitHub Copilot поможет разработчикам сэкономить время и силы, позволив ИИ предлагать подходящие условия или создавать собственные. В статье приводится пошаговое руководство по включению и использованию этой функции в Visual Studio 2022.
devblogs.microsoft.com


@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Big Data AI

Обновление VBench: VBench-Long Leaderboard 🏆VBench Update: VBench-Long Leaderboard 🏆

VBench теперь поддерживает оценку более длинных видео. Появилась таблица лидеров VBench-Long Leaderboard для моделей, которые генерируют видео длительностью 5 секунд и более.

Код VBench-Long: https://github.com/Vchitect/VBench
Таблица лидеров VBench-Long: https://huggingface.co/spaces/Vchitect/VBench_Leaderboard

@bigdatai

Читать полностью…

Big Data AI

🎮 Произошло важное событие в мире открытого программного обеспечения: известный среди разработчиков DeveloperHarris выгорел и опубликовал все свои проекты на GitHub.

Среди них немало интересных проектов, в том числе на C#: искусственный интеллект-версия Dungeons & Dragons с виртуальным рассказчиком, целый поселок с ИИ-агентами в стиле Stardew Valley и множество других любопытных вещей.

По словам самого Харриса, несмотря на все его усилия, он понял одну печальную истину: его идеи недостаточно привлекательны, чтобы игроки возвращались снова и снова.

GitHub

@bigdatai

Читать полностью…

Big Data AI

🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов

Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.

DEMO
GitHub

@bigdatai

Читать полностью…

Big Data AI

🚀 Yi-Coder находится в открытом доступе!

Маленький, но могучий» LLM обеспечивает производительность SOTA при параметрах 10B. Превосходное редактирование кода, завершение, отладка и математические рассуждения.

✅ 2 размера: 9B и 1,5B (Chat и Base).
✅ 128K длины контекста
✅ Поддержка 52 языков программирования

Узнайте об этом прямо сейчас👇
https://huggingface.co/collections/01-ai/yi-coder-66bdb00f5bdd611f9a008f30

@bigdatai

Читать полностью…

Big Data AI

Новостной дайджест

✔️ Laion перевыпустит датасет Laion 5B.

Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).

В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai

✔️ Pixar следующего поколения: как искусственный интеллект объединит фильмы и игры.

Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.

Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com

✔️ Sam Altman, Bill Gates и создатель Youtube примут участие в TВ-шоу на канале ABC.

Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.

В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com

✔️ Новая архитектура нейронных сетей может сделать ИИ более понятными.

Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.

Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com

✔️ Новый метод непрерывного дообучения моделей компьютерного зрения и языка.

В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.

Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.

Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Big Data AI

🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML

pip install txtai

Особенности txtai:
— Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д.
— Можно запускать локально или масштабировать с помощью оркестрации контейнеров

🖥 GitHub
🟡 Доки

@bigdatai

Читать полностью…

Big Data AI

🔥 Яндекс анонсировал Practical ML Conf — конференцию о практическом применении ML

Событие пройдет 14 сентября в Москве в пространстве «Суперметалл», для участия нужно зарегистрироваться и получить приглашение. Также будет доступна онлайн-трансляция докладов.

🟡 Узнать подробности и зарегистрироваться можно здесь.

@bigdatai

Читать полностью…

Big Data AI

🚀XR-среда: погружаемся в метавселенные вместе с Sber Metaverse Tech и СберМаркетингом

Представители крупных брендов расскажут, какие технологии используют для создания метавёрса, где его можно применять и как он помогает бизнесу.

Совсем скоро обсудим:

➡️детские тренды и взрослые бренды: как работать с молодой аудиторией метавселенных
➡️геймификацию HR: игровые механики в найме и развитии сотрудников
➡️как влюбить в хоккей с помощью Roblox: кейс «Метавселенная хоккея» от КХЛ
➡️Roblox: от разовых спецпроектов к глубокой интеграции

📆 Встречаемся 4 сентября в 11:00 по адресу Москва, Кутузовский проспект, д. 32Г

Вход бесплатный, но нужна предварительная регистрация.

Читать полностью…

Big Data AI

ТОП-профессия у работодателей сразу после айтишников — аналитик

Искусственный интеллект, большие данные, нейросети — самый сок технологий собрался в сфере аналитики и Data Science. При этом в профессию нередко идут бывшие «гуманитарии».

Разобраться в сфере, направлениях, рабочих задачах и даже написать свой первый SQL-запрос можно на бесплатном курсе Нетологии «Профессии в аналитике: что выбрать».

За 4 занятия вы узнаете:

- Как работает наука о данных — что такое Big Data, искусственный интеллект, машинное обучение.
- Какие инструменты используют аналитики, попробуете написать свой первый код.
- Какие задачи решают разные специалисты, разберёте примеры.
- Как стартовать в аналитике, даже с нуля.

Обо всём этом простым языком расскажут преподаватели со стажем. Начните учиться бесплатно — https://netolo.gy/dqfj

Реклама. ООО "Нетология". Erid 2VSb5wvyGh6

Читать полностью…

Big Data AI

Когда ментор Слёрма Николай Марков решил стать Data-инженером, он не представлял, какие сюрпризы его ждут в профессии. А участники первого реалити-шоу про Data-инженеров уже успели прочувствовать эту атмосферу.

От неожиданных сбоев в коде до неуловимых багов — они испытали на себе вызовы, которые стоят за работой с большими данными. Кто смог раскрыть потенциал в нашей гонке, а кто слился после первых заданий?

👉🏻 Переходите, чтобы узнать, кто готов идти до конца и как стать Data-инженером

Внутри — гайд «Инструменты Data-специалиста», Roadmap для начинающего Data-инженера и ещё много полезного — статьи, ссылки, рекомендации и бесплатные вебинары 👉🏻 @gdedata

Реклама. ИП Аердинов Н.В. ИНН 638103515932 erid: LjN8K97oM

Читать полностью…
Subscribe to a channel