data_analysis_ml | Unsorted

Telegram-канал data_analysis_ml - Анализ данных (Data analysis)

48228

Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚

Subscribe to a channel

Анализ данных (Data analysis)

🌍 NVIDIA лидирует в опенсорсе в области ИИ, а китайские лаборатории только догоняют.

Всего пару лет назад большинство моделей - особенно крупные языковые - были закрыты
.
Теперь всё иначе: экосистема открытого ИИ растёт взрывными темпами. Только за последние 90 дней на Hugging Face появилось более миллиона новых репозиториев.

NVIDIA вышла в лидеры по количеству открытых проектов в 2025 году: серии Nemotron, BioNeMo, Cosmos, Gr00t и Canary.

Китайские компании (Alibaba Cloud с Qwen, Baidu, Tencent и другие) активно догоняют и уже способны конкурировать с западными лабораториями.

Открытый ИИ стал не только про гигантов - тысячи независимых разработчиков публикуют модели, датасеты и адаптации (например, LoRA). Это превращается в целое движение.

Меняется глобальная карта ИИ: Китай и США усиливают позиции, а Европа и другие страны всё больше уходит в тень.

⚠️ Но есть нюансы:

Открытость ≠ качество: важно следить за достоверностью данных, этикой и устойчивостью моделей.

Рост числа репозиториев требует фильтрации — не всё из нового имеет практическую ценность.

Лицензии и совместимость становятся критически важными: ошибки здесь могут стоить дорого.

📎 Подробнее: https://aiworld.eu/story/nvidia-leads-open-source-ai-momentum-as-chinese-labs-close-in

#OpenSourceAI #NVIDIA #China #Innovation #AI #Ecosystem

Читать полностью…

Анализ данных (Data analysis)

Uber запускает новый способ заработка для водителей в США 💰

Теперь водители смогут получать деньги, выполняя «цифровые задачи» — короткие задания, которые занимают всего пару минут и доступны даже во время ожидания пассажиров.

Примеры таких задач:
▫️ разметка данных для обучения ИИ
▫️ загрузка меню ресторанов
▫️ запись голосовых сэмплов
▫️ озвучка сценариев на разных языках

Потенциал огромен: компании вроде Scale AI и Surge AI, занимающиеся разметкой данных, уже оцениваются примерно в $30 млрд каждая.

В начале октября Uber также приобрёл бельгийский стартап Segments AI, специализирующийся на разметке данных, чтобы усилить свои позиции в этой сфере.

Читать полностью…

Анализ данных (Data analysis)

📘 На Stepik вышел курс — «MLOps-инженер: С нуля до продакшена»

Хотите автоматизировать ML-пайплайны, версионировать модели и выстраивать надёжный деплой в production? Этот курс — полный путь MLOps-инженера.

ML Pipeline: MLflow, Airflow, автоматизация обучения и валидации моделей
Эксперименты: DVC, Weights & Biases, версионирование и воспроизводимость
Model Serving: TensorFlow Serving, ONNX, A/B тестирование моделей
Контейнеризация: Docker для ML, GPU-контейнеры, оптимизация образов
Kubernetes: Kubeflow, автомасштабирование inference
Feature Store: Feast, управление фичами, data drift detection
Мониторинг: Evidently AI, model drift, data quality
CI/CD для ML: автотесты моделей, staged rollout
Облака: SageMaker, Vertex AI, cost optimization
Production: model registry, canary deployments, SLA для ML

🎓 Сертификат — добавьте в резюме или LinkedIn

🚀 Скидка 25%, действует 48 часов

👉 Пройти курс на Stepik

Читать полностью…

Анализ данных (Data analysis)

📈 Вышел новый важный бенчмарк для исследовательских ИИ

LiveResearchBench - это *живой пользовательский бенчмарк* для оценки глубинных исследовательских систем на реальных, «полевых» задачах.

Он проверяет, могут ли исследовательские агенты создавать отчеты с корректными цитатами под реальные запросы пользователей. Всего собрано *100 задач в 7 доменах и 10 категориях*, на разработку ушло 1500 часов работы экспертов.

Старые бенчмарки устарели, были узкими и часто пересекались с данными предобучения.
Поэтому авторы ввели 4 строгих правила:
- задачи должны быть ориентированы на пользователя
- четко определены
- использовать актуальные данные из интернета
- требовать синтеза информации из множества источников

Каждая задача проходила 6 стадий создания (от интервью с пользователями до экспертной доработки) и 5 стадий проверки качества (независимые ревью и контроль качества).

Для оценки результатов создан фреймворк DeepEval, который оценивает отчеты по 6 критериям: структура, фактическая точность, корректность цитирования и др.
Используются чек-листы, парные сравнения и древовидные рубрики.

Для снижения смещения авторы использовали ансамбль моделей Gemini 2.5 Pro и GPT-5 как оценщиков, что сделало результаты стабильнее.

Тесты 17 агентных систем показали:
- мультиагентные решения лучше оформляют отчеты и ставят цитаты
- одиночные агенты стабильнее, но уступают в глубине рассуждений

Это важный шаг к тому, чтобы измерять, могут ли ИИ-агенты работать как настоящие исследователи - находить, анализировать и цитировать информацию из живых источников.

🔗 https://arxiv.org/abs/2510.14240

Читать полностью…

Анализ данных (Data analysis)

☀️ Google DeepMind и Commonwealth Fusion Systems запускают проект по созданию управляемого ИИ ядерного синтеза

Google DeepMind объединяется с Commonwealth Fusion Systems (CFS), чтобы применить искусственный интеллект для ускорения разработки термоядерной энергии — того самого процесса, который питает Солнце.

🔬 Как это работает:
DeepMind создаёт систему управления, способную с помощью ИИ смоделировать миллионы виртуальных экспериментов в симуляторе TORAX.
Ещё до запуска установки SPARC, ИИ определяет наиболее стабильные и энергоэффективные режимы плазмы, находя оптимальные условия для удержания температуры и плотности.

🔥 При работе на полную мощность SPARC выделяет огромное количество тепла, сконцентрированного в очень малой области.
ИИ будет в реальном времени управлять формой и динамикой плазмы, чтобы равномерно распределять это тепло и защищать материалы реактора.

> «Мы исследуем, как агенты с подкреплением могут научиться динамически контролировать плазму — чтобы поддерживать устойчивую работу и избегать перегрева.»

💡 Этот проект открывает новую эру - “AI-guided fusion”:
ИИ становится не просто инструментом анализа, а активным управляющим звеном, которое помогает человечеству приблизиться к источнику чистой, безопасной и практически бесконечной энергии.

⚡ Благодаря ИИ путь к «пост-дефицитной» цивилизации становится реальностью - и, возможно, гораздо ближе, чем кажется.

https://deepmind.google/discover/blog/bringing-ai-to-the-next-generation-of-fusion-energy/


#AI #DeepMind #FusionEnergy #Google #CFS #ReinforcementLearning #SPARC #CleanEnergy #Science #Innovation

Читать полностью…

Анализ данных (Data analysis)

🏆 Sakana AI выиграла ICFP 2025 - благодаря новой системе эволюции кода ShinkaEvolve

Исследователи из Sakana AI и команда Unagi показали, что большие языковые модели можно использовать не просто для генерации программ, а для пошаговой эволюции и оптимизации уже существующего кода.

ShinkaEvolve - это эволюционный фреймворк, где языковая модель играет роль «генетического программиста».
Она не пишет решения с нуля, а мутирует, оценивает и улучшает уже работающий код.
Процесс идёт циклами, похожими на естественный отбор.

1. Инициализация
Модель получает исходный код (обычно корректный, но неоптимальный) и описание метрики — например, скорость или точность.

2. Мутации (Variations)
LLM вносит небольшие изменения: перестраивает цикл, меняет структуру данных, переписывает логику с рекурсии на итерацию, удаляет лишние вычисления и т.д.

3. Оценка (Evaluation)
Каждая версия автоматически компилируется и запускается на тестах.
Система измеряет, стало ли решение быстрее или стабильнее.

4. Отбор (Selection)
Лучшие варианты проходят дальше, худшие отбрасываются.
LLM получает обратную связь: что сработало, а что нет.

5. Итерации
Процесс повторяется десятки или сотни раз.
В исследовании — около 320 поколений за ~60 долларов вычислительных затрат.

Изначально решение ICFP-задачи использовало SAT-кодирование (логическую форму для solver'а), но плохо масштабировалось.
ShinkaEvolve смогла:
- переписать часть кода, чтобы сократить количество ограничений;
- внедрить промежуточное представление («дверь → вершина → дверь»), что уменьшило сложность;
- оптимизировать поиск и кэширование данных.

Результат — ускорение до 10×, а на некоторых тестах — почти в 10 раз быстрее базового решения.

ShinkaEvolve — не просто автоматический оптимизатор.
Это новый способ мышления об ИИ-программировании: модель не заменяет разработчика, а ведёт себя как «цифровой соавтор», который предлагает гипотезы и тестирует их сотни раз быстрее, чем человек.

🟠Подробнее: https://sakana.ai/icfp-2025
🟠Код: https://github.com/SakanaAI/ShinkaEvolve
🟠Статья: https://arxiv.org/abs/2509.19349
🟠Блог: https://sakana.ai/shinka-evolve/

Читать полностью…

Анализ данных (Data analysis)

🚀 Школа аналитиков данных МТС Web Services: прием заявок

Возможность получить дополнительное профессиональное образование для студентов последних курсов технических специальностей, Junior/middle аналитиков данных, ИТ-специалистов, желающих лучше изучить анализ данных.

🔹 Что вас ждет:

10-месячное бесплатное онлайн-обучение по программе, разработанной с учетом ключевых направлений в изучении больших данных: SQL, Python, ML, Big Data, работа с нейросетями и рекомендательными системами.

Регулярные вебинары от действующих экспертов из разных продуктов Центра BigData MWS и обратная связь специалистов в течение всего курса, в том числе разбор практических кейсов.

🎯 Самые талантливые студенты смогут пройти стажировку в МТС Web Services и получить оффер.

Оставить заявку и пройти профильное тестирование можно до 30 октября здесь.

Читать полностью…

Анализ данных (Data analysis)

ByteDance представила FaceCLIP - новую модель для генерации изображений с сохранением личности

Модель FaceCLIP обучается представлять лицо (Identity) и текстовое описание в едином векторном пространстве, что позволяет создавать изображения, где сохраняется похожесть субъекта и при этом учитывать желаемую стилистику или указания из текста.

Авторы отказались от подходов с адаптерами и предложили унифицированную мультимодальную стратегию кодирования: лицо + текст → общее представление, которое направляет генеративную модель (UNet / DiT) при синтезе.

Преимущества FaceCLIP:
- лучшие результаты в сохранении идентичности на портретах
- более точное соответствие текстовым инструкциям
- высокая реалистичность по сравнению с предыдущими методами
Модель доступна под лицензией MIT / некоммерческое исследовательское использование — с предупреждением об ответственном использовании.

📄 HF: https://huggingface.co/ByteDance/FaceCLIP

Читать полностью…

Анализ данных (Data analysis)

🚀 Новый курс на Stepik: AI Agents PRO

Если вы работаете с ML/DS и хотите перейти от моделей → к готовым продуктам на базе LLM, без понимания агентов уже никуда.

🔹 Что внутри:

Архитектура агентов (FSM, DAG, Supervisor–Worker, Critic–Executor).

Интеграции: API, БД, браузеры, CRM.

Retrieval-Augmented Generation (Qdrant, Weaviate, FAISS).

Надёжность: ретраи, guardrails, работа с PII.

LLMOps: метрики качества, A/B-тесты, дашборды.

Продакшн-деплой: Docker, очереди сообщений, CI/CD.

Итоговый проект: собственный агент под реальный бизнес-кейс.

🎯 По итогу вы сможете строить и выкатывать production-ready AI-агентов, а не просто писать демки в ноутбуках.

🔥 Спец-условия: только по промо AGENTS30-30% на старт (действует 48ч).

👉 Пройти курс со скидкой

Читать полностью…

Анализ данных (Data analysis)

🎥 Lynx: Высококачественная генерация персонализированного видео

Lynx — это модель генерации видео, которая создает персонализированные ролики на основе одного изображения. Использует Diffusion Transformer с адаптерами для сохранения идентичности и улучшения деталей.

🚀 Основные моменты:
- Генерация видео с высоким качеством из одного изображения.
- Легковесные модели для эффективного создания видео.
- Поддержка различных адаптеров для улучшения качества.

📌 GitHub: https://github.com/bytedance/lynx

#python

Читать полностью…

Анализ данных (Data analysis)

⚡️ Mamba-3 тихо и без объявления вышла на ICLR - и это может стать началом конца эпохи Transformers.

Новая архитектура Mamba-3 делает модели быстрее, стабильнее и эффективнее при работе с длинными контекстами.

Главная идея - не в слоях внимания, а в state-space моделях, где модель хранит и обновляет внутреннее состояние во времени.

📘 Краткие эускурс:
- Mamba-1 ввела непрерывную динамику и выборочное обновление памяти - помнила эффективно без высокой цены attention.
- Mamba-2 показала, что обновления состояния и attention - это две стороны одной математики, что ускорило вычисления на GPU.
- Mamba-3 довела концепцию до зрелости: теперь внутренняя память развивается плавнее и устойчивее за счёт перехода от простого шага Эйлера к трапецеидальному интегрированию.

Вместо простого шага Эйлера, как в Mamba-2, Mamba-3 аппроксимирует интеграл обновления состояния не только по правому концу интервала, но усреднением между началом и концом, с коэффициентом λ, зависящим от данных. Это даёт более точное приближение (второго порядка) и делает динамику состояния более выразительной.

🧠 Что изменилось под капотом:

- Память стала «ритмичной»: теперь модель может хранить повторяющиеся и периодические паттерны (например, структуры языка или музыки).

- Новый multi-input-multi-output дизайн позволяет обрабатывать несколько потоков параллельно — идеально для современных GPU.

⚙️ Что это даёт на практике:
- Эффективная работа с длинными последовательностями: документы, геномы, временные ряды.

- Линейное время выполнения и стабильная задержка делают её идеальной для реального времени: чат-ботов, перевода, речи.

- Энергоэффективность и масштабируемость открывают путь к on-device AI, где большие модели работают локально, без облака.

Mamba-3 - это не просто ускоренная альтернатива Transformers.

Это новая архитектура, которая объединяет глубокое понимание контекста, скорость и устойчивость, от серверных систем до умных устройств.

🟢 Подробности: https://openreview.net/pdf?id=HwCvaJOiCj

@ai_machinelearning_big_data


#ssm #mamba3 #llm,#architecture #ai

Читать полностью…

Анализ данных (Data analysis)

🚀 Улучшение промптов для генерации изображений

PromptEnhancer — это утилита для переписывания подсказок, которая сохраняет исходный замысел и делает его более ясным и логичным. Подходит для задач генерации изображений и других приложений, требующих структурированных запросов.

🚀 Основные моменты:
- Сохраняет ключевые элементы запроса (субъект, действие, стиль и т.д.)
- Создает последовательные и логически структурированные подсказки
- Поддерживает настраиваемые параметры вывода для разнообразия и детерминизма
- Обеспечивает надежный парсинг выходных данных с возможностью резервного копирования

📌 GitHub: https://github.com/Hunyuan-PromptEnhancer/PromptEnhancer

#python

Читать полностью…

Анализ данных (Data analysis)

🖥 Новый курс на Stepik - PostgreSQL для разработчиков: от основ к созданию API

Здесь на пальцах объясняют не только как писать SQL-запросы, а строить настоящие backend-сервисы с базой данных как у профи.

В этом курсе ты шаг за шагом создашь REST API на FastAPI + PostgreSQL:
от установки среды и первых таблиц - до масштабируемого приложения с безопасностью и CRUD-операциями.

🔹 На практике разберете:
• SQL-запросы, фильтры, агрегаты и подзапросы
• Связи между таблицами и нормализацию БД
• Взаимодействие Python и PostgreSQL
• Реализацию REST API и подключение базы
• Оптимизацию и разбор реальных задач с собеседований

⚡ После курса у вас будет свой работающий API-проект и реальные навыки работы с PostgreSQL в продакшене.

🎁 Спешите пока действует скидка –30% от цены!

🚀 Прокачаю свои знания: https://stepik.org/course/255542/

Читать полностью…

Анализ данных (Data analysis)

✔️GPT-5 Pro стал лидером ARC-AGI Semi-Private Benchmark

Модель GPT-5 Pro заняла первое место среди всех проверенных frontier-LLM на закрытом бенчмарке ARC-AGI Semi-Private. Этот тест оценивает способность моделей к абстрактному рассуждению и решению сложных задач.

Интересно, что GPT-5 Pro всё ещё уступает результатам старого o3-preview, который OpenAI тестировал ещё в декабре прошлого года. Однако тот экспериментальный вариант был почти в 50 раз дороже в вычислительных затратах и никогда не был публично выпущен.

Версия o3-preview (high) достигала впечатляющих 87,5 % точности на ARC-AGI-1, но потребляла 172 раза ресурсов, чем версия (low). Из-за этого она не попала в официальный лидерборд - по правилам, тесты с compute-стоимостью выше $10 000 не публикуются.

GPT-5 Pro является самой мощной из доступных и подтверждённых моделей на Semi-Private ARC-AGI.

✔️Журнал TIME опубликовал ежегодный список The Best Inventions of 2025 - подборку из 300 инновационных продуктов и идей, которые, по мнению редакции, способны изменить будущее.

В список вошли достижения в самых разных областях: ИИ робототехника, медицина, экология, образование, энергетика и дизайн. Среди ключевых технологий - Claude Sonnet 4 от Anthropic, новая версия ИИ-модели, которая продемонстрировала более точные и безопасные ответы; NVIDIA DGX Spark - «настольный» AI-суперкомпьютер, делающий высокопроизводительные вычисления доступнее; UiPath Agentic Automation, объединяющая работу AI-агентов; и XReal One - компактные AR-очки, приближающие смешанную реальность к массовому использованию.

TIME отметили разработки в области биотехнологий, биопечати тканей, устойчивых источников энергии и переработки отходов. Эти изобретения демонстрируют, как технологии становятся не просто инструментами, а основой будущего образа жизни.
time

✔️ Google Cloud показал 1001 реальный кейс использования генеративного ИИ в бизнесе

Google Cloud опубликовал обновлённый список из 321 корпоративного примера применения генеративного ИИ, что в 10 раз больше, чем годом ранее. Это показывает, что AI уже массово используется в продакшене по всему миру.

В банках и ритейле Commerzbank ИИ обрабатывает 2 млн клиентских чатов с 70% успешных решений, Best Buy ускоряет анализ отзывов, а Mercedes внедрил голосового ассистента на базе Gemini.

Внутри компаний ИИ автоматизирует рутину: Toyota экономит более 10 000 часов в год, Manipal Hospitals сократил передачу смен с 90 до 20 минут, Equifax - 97% сотрудников хотят сохранить AI-лицензии.

Wayfair ускорил настройку окружений на 55%, CME сэкономил 10,5 часов в месяц, а BMW и UPS используют цифровых двойников для моделирования логистики и производств.
Подробнее

✔️ Taiwan отказывается от идеи 50 на 50 с США по производству чипов

Министр экономики Тайваня заявил, что TSMC сохранит свои самые передовые технологии и основное производство на острове, несмотря на предложение США сделать «50 на 50».

Компания вкладывает $165 млрд в шесть фабрик в США, но строит десять на Тайване и планирует новые - там останутся ведущие технологические узлы.

По словам министра, зарубежные заводы допустимы только при реальных заказах, прибыли и отсутствии рисков для безопасности.

Идея «50-50» возникла из-за стремления США увеличить долю внутренних чипов после кризиса поставок 2020–2021 годов.

Аналитики считают, что перенос производства в США слишком дорог и займёт годы, поэтому Вашингтон делает ставку на «friendshoring» - распределённые цепочки поставок между союзниками.
times

✔️ UserLM-8B от Microsoft

Microsoft представила новую модель UserLM-8B, созданную для симуляции поведения пользователя в диалоге. В отличие от обычных LLM, эта модель генерирует реплики от лица человека, включая уточнения, эмоции и ошибки, как в реальном общении.

Модель построена на базе Llama3.1 8B и дообучена на корпусе WildChat-1M, где она анализировала сотни тысяч реальных и синтетических диалогов. Такой подход позволяет создавать реалистичные сценарии общения для тестирования чат-ботов, обучения ассистентов и генерации синтетических данных.
HF

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Анализ данных (Data analysis)

🌍 State of AI Report 2025 - Главное из отчёта

Ежегодный отчёт State of AI Report - это самый влиятельный обзор тенденций в области искусственного интеллекта, публикуемый с 2018 года инвестором Nathan Benaich и фондом Air Street Capital.

В 2025 году отчёт охватывает 6 направлений: исследования, индустрию, политику, безопасность, опрос практиков и прогнозы.

📊 Ключевые выводы


1. OpenAI удерживает лидерство, но Китай быстро сокращает отрыв. DeepSeek, Qwen и Kimi почти сравнялись в задачах рассуждения и программирования.
2. Год рассуждения — модели научились планировать, самоисправляться и мыслить пошагово.
3. ИИ стал научным соавтором, примеры: Co-Scientist от DeepMind и Virtual Lab от Stanford.
4. Chain-of-Action планирование — роботы теперь рассуждают перед действием (Google Gemini Robotics 1.5, AI2 Molmo-Act).
5. Коммерциализация ускорилась:
- 44 % компаний в США платят за ИИ-инструменты (в 2023 г. - 5 %)
- Средний контракт - $530 000
- Стартапы с ИИ растут в 1.5× быстрее обычных
6. Опрос 1200 специалистов:
- 95 % используют ИИ дома или на работе
- 76 % платят за него из собственного кармана
- Большинство отмечают устойчивый рост продуктивности
7. Началась индустриальная эра ИИ - мегадата-центры (Stargate, фонды США, ОАЭ, Китая). Энергия становится новым лимитирующим фактором.
8. Политика ИИ ужесточилась:
- США делают ставку на *America-first AI*
- Европейский AI Act буксует
- Китай развивает открытые модели и собственные чипы
9. Безопасность переходит к прагматизму:
- Модели имитируют выравнивание (alignment), усиливая дискуссию о прозрачности
- Бюджеты safety-организаций несопоставимы с расходами лидеров
10. Риски экзистенции сменились фокусом на надёжность, киберустойчивость и долгосрочное управление автономными системами.

🔮 Прогнозы авторов

- Рост затрат на обучение сверхмоделей → дефицит энергии и GPU
- Конкуренция между OpenAI, DeepSeek, Anthropic и Google усилится
- Frontier-модели будут тренироваться в многоэтапных средах с постоянной самопроверкой
- Всё больше экспериментов с «живыми агентами» в физическом мире
- Усиление регулирования и новые требования к прозрачности reasoning-цепочек

📘 Полный отчёт доступен здесь: https://www.stateof.ai/

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🖼️✨ Удаление водяных знаков из видео Sora 2 с помощью ИИ

Этот проект позволяет эффективно удалять водяные знаки из видео, созданных с помощью Sora 2, используя технологии искусственного интеллекта. Пользователь загружает видео, система анализирует каждый кадр и удаляет водяной знак с помощью инпейнтинга.

🚀Основные моменты:
- Использует ИИ для точного удаления водяных знаков
- Поддерживает Windows, MacOS и Linux
- Обработка видео с сохранением качества
- Легкий в использовании интерфейс для загрузки видео

📌 GitHub: https://github.com/hate0s/sora2-watermark-remover

Читать полностью…

Анализ данных (Data analysis)

Илон Маск написал у себя в X:

«У Grok 5 примерно 10 % шансов стать AGI - и он может оказаться очень близок к этому уровню.»


Большинство разногласий вокруг сроков появления AGI сводятся к тому, как именно его определяют.

Например, по последнему мнению Андрея Карпатия, настоящая AGI — это не просто языковая модель, а интеллект с телом: продвинутые роботы, способные выполнять физическую работу и даже решать проблему согласования (alignment).

Если придерживаться такого определения, то даже 10 лет - слишком оптимистичный прогноз.

Читать полностью…

Анализ данных (Data analysis)

⚡️ Anthropic обнаружила тревожную уязвимость в обучении языковых моделей: всего 250 подставных документов достаточно, чтобы «внедрить» скрытую команду (backdoor) в модель размером от 600 миллионов до 13 миллиардов параметров - даже если среди данных есть в 20 раз больше нормальных примеров.

Главное открытие: не процент заражённых документов, а их абсолютное количество определяет успех атаки. Увеличение объёмов данных и масштаба модели не защищает от целенаправленного отравления.

Backdoor остаётся незаметным - модель работает как обычно, пока не встретит секретный триггер, после чего начинает выполнять вредоносные инструкции или генерировать бессмыслицу.

Даже если продолжать обучение на «чистых» данных, эффект стирается очень медленно - backdoor может сохраняться длительное время.

Вывод: защита LLM требует контроля происхождения данных, проверки целостности корпусов и мер по выявлению скрытых иньекций.

🟢 Подробнее: https://www.anthropic.com/research/small-samples-poison

Читать полностью…

Анализ данных (Data analysis)

📱 MobileLLM-Pro - языковая модель (~1B параметров) , оптимизированная для эффективной работы *на устройстве* (on-device).

Модель превосходит Gemma 3 1B и Llama 3.2 1B по задачам рассуждения, знаний и длинного контекста, поддерживая до 128 000 токенов.
Благодаря гибридному вниманию (локальное + глобальное в соотношении 3:1, окно 512) достигается низкая задержка и экономия памяти KV-кэша.

Квантование в 4-бит (int4) почти не снижает качество:
• CPU - групповое квантование весов и динамическая активация
• GPU - поканальное квантование

Модель дополнительно прошла instruction fine-tuning, что делает её подходящей для задач общения, генерации и обработки текста.

https://huggingface.co/facebook/MobileLLM-Pro

Читать полностью…

Анализ данных (Data analysis)

Технологическая платформа Авито ускорила в 5 раз процесс поиска и проверки уязвимостей. Компания внедрила в работу отдела кибербезопасности собственную языковую модель, которую обучили на тысячах примерах уязвимостей. К работе также подключили сканер от Авито DeepSecrets — каждый разработчик может бесплатно его использовать, все лежит на GitHub.

Модель научилась выявлять 99 из 100 потенциальных уязвимостей — она анализирует потенциально чувствительные данные и учитывает контекст кода. Чтобы не пропустить угрозы, код проверяют дополнительными алгоритмами, а инженеры выборочно оценивают работу нейросети. Такой подход позволил освободить 25% рабочего времени специалистов по кибербезопасности. Если раньше на оценку 50 000 предупреждений специалисты могли потратить полгода, то сейчас с этим объемом машина справляется за день.

В планах Авито — внедрить ИИ в оценку рисков и моделирование угроз. Это эффективно, как доказывают исследования: компании, которые применяют ИИ, на 100 дней быстрее находят утечки данных.

Подпишитесь на полезные каналы Авито

Читать полностью…

Анализ данных (Data analysis)

🧠 Учёные из Penn State обнаружили нечто **дикое**: грубость делает ChatGPT умнее.

Они протестировали ChatGPT-4o на 250 вопросах с 5 уровнями вежливости:

• Очень вежливо → 80.8% точности
• Вежливо → 81.4%
• Нейтрально → 82.2%
• Грубо → 82.8%
• Очень грубо → 84.8%

Статистический анализ подтвердил: это не случайность — жёсткие запросы стабильно дают лучший результат.

Ещё интереснее: старые модели вроде GPT-3.5 реагировали *наоборот*.
А вот GPT-4 и новее становятся точнее, когда с ними разговаривают резче.

Источник: https://arxiv.org/abs/2510.04950

Читать полностью…

Анализ данных (Data analysis)

💡 Еще один дикий пример работы Gemini 3.0 Pro , модель превращает один длинный промпт в полноценный сайт.

По одному промпту получили интерактивную страницу с эффектами симуляции: сетки под объектами, прогрессивная подгрузка текстур, глюки физики, матричный дождь кода, переключение между видами rendered и source, фоновый шум процессора и финальный мета-момент, где сайт признаёт, что на него смотрят.

Всё укладывается в один HTML-файл и открывается в Chrome.

Промпт:

Write code for a mysterious website about simulation theory. Make it feel like reality is rendering in real-time — wireframe grids that appear under solid objects, textures that load progressively, physics glitches where elements float momentarily. Include matrix-style falling code backgrounds, sections that flicker between "rendered" and "source code" views, ambient computer processing sounds, and a final meta moment where the website acknowledges it's being viewed. Design it like a philosophy professor's existential crisis coded by a game engine developer. make sure I can paste it all into a single HTML file and open it in Chrome.


🟢 Код: https://codepen.io/ChetasLua/pen/ogbGqwW
🟢Пост: https://x.com/chetaslua/status/1978226719225004290

Читать полностью…

Анализ данных (Data analysis)

Goldman Sachs: ИИ съест 20% всей мировой энергии к 2030 году

По прогнозу Goldman Sachs, к 2030 году спрос на электроэнергию со стороны дата-центров вырастет на 25%, а доля ИИ в общем энергопотреблении достигнет 20%.

🔥 Когда-то огонь изменил жизнь человека - с ним началась кулинария, эволюция мозга и социальное развитие.
⚙️ Затем электричество стало топливом индустриальной эпохи, двигая экономику и прогресс.
🤖 Теперь настала очередь искусственного интеллекта: один запрос к ChatGPT потребляет около 2,9 ватта, почти в 10 раз больше, чем обычный поиск Google.

Если ИИ реализует хотя бы часть своего потенциала, то энергия станет главным ограничителем его роста.
И, как отмечает Goldman, это создаёт новую инвестиционную волну — не только в чипы и модели, но и в энергетику.

📊 По оценке McKinsey, к 2030 году потребление электроэнергии дата-центрами в США вырастет с 3–4% до 11–12%, увеличившись с 25 до 80 ГВт.

Читать полностью…

Анализ данных (Data analysis)

🍏Ничего сверхъестественного - просто Gemini 3 Pro за один (!) промпт разворачивает полноценную симуляцию macOS или Windows прямо в браузере.

Всего 900 строк кода - и у вас уже есть рабочий интерфейс с анимациями, меню, браузером и даже терминалом.

Модель справляется с этим за 172 секунды.

Код и демо уже доступны - а инсайдеры шепчут, что официальный релиз выйдет на этой неделе.
Первые тестеры называют Gemini 3 Pro «лучшим ИИ для кодинга на сегодня».

https://codepen.io/ChetasLua/pen/EaPvqVo

Читать полностью…

Анализ данных (Data analysis)

⚡️ Samsung идёт на риск, чтобы вернуть лидерство в гонке AI-памяти - ставка на сверхбыструю HBM4

Samsung решила изменить правила игры на рынке чипов и убедить Nvidia повысить официальную скорость HBM4, даже несмотря на то, что конкуренты: SK Hynix и Micron - раньше показали первые образцы.

Обычно разработчики HBM (High Bandwidth Memory) делают акцент на контроле температуры, ведь многослойная DRAM быстро нагревается. Но теперь Nvidia потребовала большего - выше частоты, выше скорость.

Для Hynix и Micron это стало неожиданностью: их решения оптимизированы под стабильность, а не под разгон.

А вот Samsung оказалась готова. Её HBM4-чипы уже достигли более высоких частот на тестах - благодаря технологическому преимуществу:
- DRAM-чипы производятся по 1c-процессу (6-е поколение 10 нм),
- базовый логический кристалл - на 4-нм техпроцессе Samsung Foundry.
Для сравнения:
- SK Hynix использует 12-нм процесс TSMC,
- Micron - старый DRAM-процесс.

Более продвинутая литография даёт Samsung лучший контроль над энергопотреблением и сигналами.

Компания уже ускоряет производство и планирует вывести HBM4 на рынок в 2026 году, когда спрос на память для AI-систем резко превысит предложение.
Такой шаг может вернуть Samsung утраченные позиции после неудачи с HBM3E.

Ключевой момент - тесты Nvidia Rubin. Если HBM4 покажет проблемы с нагревом или надёжностью при интеграции, вся стратегия может рухнуть.
Но если всё пройдёт успешно, Samsung сможет опередить Hynix и Micron, снова захватив лидерство в памяти для AI-ускорителей.

Итог: Samsung делает ставку на скорость, технологии и масштаб. Это рискованный, но стратегический шаг, который может определить баланс сил на рынке AI-чипов в ближайшие годы.

🟠Подробности

#Samsung #Nvidia #AI

Читать полностью…

Анализ данных (Data analysis)

NVFP4 - новый формат, который обучает 12B Mamba Transformer в 4 бита без потери точности

Исследователи представили NVFP4 - способ хранить числа в 4 битах вместо 8 или 16, почти без потери качества обучения.
Главная идея - умное блочное квантование:

- Все значения делятся на блоки по 16 чисел.
- Каждый блок имеет свой локальный scale (8 бит).
- Весь тензор получает глобальный scale (32 бита).

Так сохраняется высокая точность локальных значений и не теряются экстремально большие или маленькие числа.

📊 Результаты:
- Обучение 12B Mamba Transformer на 10T токенов в 4 битах показало точность, сопоставимую с FP8.
- Вычисления стали в 2–3 раза быстрее, а использование памяти снизилось на 50%.
- Потеря точности не превышает 1–1.5% по метрикам.
- MMLU Pro: 62.58% (NVFP4) против 62.62% (FP8).
- MBPP+: 55.91% против 59.11%.
- Градиенты используют стохастическое округление, чтобы избежать накопления ошибок.
- По сравнению с MXFP4, NVFP4 требует на 36% меньше данных для того же уровня потерь.

На поздних этапах обучения переход на BF16 почти устраняет разрыв в качестве.
NVFP4 уже поддерживается в Transformer Engine и на Blackwell GPU, включая все нужные режимы округления.

📄 Исследование: https://arxiv.org/abs/2509.25149

Читать полностью…

Анализ данных (Data analysis)

🖥 Чип, который работает как мозг человека

Учёные из Monash University создали микрочип размером с монету, который ведёт себя как настоящие нейроны мозга.

💧 В основе — жидкостная структура из металлоорганического каркаса (MOF).
Через микроскопические каналы внутри неё проходят ионы, как электрические импульсы в мозге, — именно так чип обрабатывает сигналы.

Главная особенность — он запоминает прошлые импульсы и меняет своё поведение на основе опыта.
То есть этот чип не просто считает — он обучается, как нейросеть в нашем мозге.

⚡ Это может стать началом новой эры компьютеров — умных, адаптивных и “живых”, где вычисление и память объединены в одном устройстве.

phys.org/news/2025-10-scientists-nanofluidic-chip-brain-memory.html

Читать полностью…

Анализ данных (Data analysis)

⚡️ DeepMind выпустила удобный Colab-ноутбук для дообучения модели Gemma 3-270M на задаче генерации эмодзи.

Это лёгкий эксперимент - всего 270 млн параметров, используется QLoRA и короткие последовательности,
поэтому обучение можно спокойно запускать на локальной машине или в Colab.

Модель также легко встраивается в JavaScript -приложения через transformers.js.
Все материалы автор обещал выложить в треде.

Задача генерации эмодзи имеет короткую длину последовательности,поэтому модель обучается эффективно даже с ограниченными ресурсами.
Это даёт шанс понять процесс обучения на практике,
а не просто повторить код в отличие от многих “игрушечных” ноутбуков по RL и fine-tuning,
где видишь синтаксис, но не реальные кривые обучения и поведение модели.

Colab

Читать полностью…

Анализ данных (Data analysis)

🧠 DataMind - открытая система для умных дата-агентов

DataMind - это новая архитектура для создания универсальных агентов анализа данных, которые уже превосходят GPT-5 и DeepSeek-V3.1 по качеству рассуждений и работе с кодом.

🧩 Зачем создан DataMind
Сегодня большинство дата-агентов используют закрытые модели и зависят от промпт-инжиниринга.
Открытые решения не умеют устойчиво рассуждать по шагам и работать с разными форматами данных.
Команда DataMind решила эти три главные проблемы:
1. Недостаток качественных данных для обучения
2. Неправильные стратегии обучения
3. Ошибки при многошаговом исполнении кода

🔧 Как устроен DataMind
Система включает полный цикл - от генерации данных до обучения и выполнения задач.
Она использует:
- классификацию задач и создание запросов от простых к сложным
- фильтрацию траекторий через self-consistency (самопроверку ответов)
- комбинацию динамического обучения SFT и RL, что делает процесс стабильным
- оптимизированное выполнение кода в изолированной среде

📊 Результаты
- Модель DataMind-14B показала 71.16 % среднего результата и превзошла GPT-5 и DeepSeek-V3.1
- Лёгкая версия DataMind-7B стала лучшей среди open-source решений — 68.10 %, обучена на 12 000 траекторий

💡 Главные выводы
- Фильтрация через self-consistency эффективнее, чем выбор одной «лучшей» траектории
- Потери SFT стабилизируют обучение, но при ошибочной настройке вызывают колебания
- RL сокращает разрыв между моделями, но не меняет общий рейтинг

Команда открыла датасет DataMind-12K и модели DataMind-7B и 14B, чтобы сообщество могло строить своих аналитических агентов.

📄 Исследование: https://arxiv.org/abs/2509.25084
💻 Код: https://github.com/zjunlp/DataMind
📊 Модели и данные: https://huggingface.co/collections/zjunlp/datamind-687d90047c58bb1e3d901dd8)

#AI #DataScience #LLM #Agents #OpenSource #DataAnalysis #ReinforcementLearning #NLP

Читать полностью…

Анализ данных (Data analysis)

Привет, ML-специалист! 😎 Надоели базовые туториалы и предсказуемые датасеты? Пора разобраться с тем, что действительно крутит этот мир — рекомендательными системами!

Приглашаем на бесплатный вебинар продвинутого курса «Machine Learning. Advanced», где будем вскрывать матричные разложения без анестезии!

На вебинаре с Марией Тихоновой (Senior Data Scientist, SberDevices):
— Изучим специфику построения RS
— Разложим по полочкам матричные разложения
— Научимся создавать свои рекомендательные системы

Это ваш шанс не просто послушать, а протестировать обучение на курсе! А если решите остаться — ловите промокод MLADV_10 для выгодного зачисления.

👉Регистрируйтесь сейчас - напомним перед вебинаром: https://otus.pw/kd5F/?erid=2W5zFGNyaTA

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Читать полностью…
Subscribe to a channel