Data Science | Machinelearning [ru]

15 January 2026 19:37

Ученые нашли способ безопасно дублировать информацию в квантовых компьютерах 💻

Учёные из Университета Ватерлоо (Канада) нашли способ безопасно сохранять и дублировать квантовую информацию. Это открытие — большой шаг вперёд для всей квантовой вычислительной науки. Но давайте разберемся, что стоит за этим.

Квантовые компьютеры — это не просто крутые гаджеты для учёных. Это будущее вычислений, где данные могут существовать в состоянии «и-да, и-нет» одновременно, благодаря суперпозиции и квантовой запутанности. Но вот беда, с копированием квантовой информации всё не так просто.

Знаете ли вы, что квантовая информация не может быть скопирована как обычный файл? Это не просто ограничение технологий, а сам закон квантовой физики! Он называется теорема о невозможности клонирования (no-cloning theorem). Она утверждает, что вы не можете просто взять и создать точную копию какого-либо квантового состояния.

Как обойти квантовые законы? 😠

Ученые придумали способ, как обойти этот закон. Их метод заключается в шифровании квантовых данных, а уже потом их копировании.

Всё довольно просто на первый взгляд, но с нюансами. Квантовые данные сначала шифруются, а затем создаются их копии. Причём, вы можете делать это сколько угодно раз. Но есть важное замечание: как только копия расшифровывается, ключ шифрования уничтожается. Это значит, что, если ключ утратил свою силу, все копии вскрываются одновременно.

Data Science | Machinelearning [ru]

13 January 2026 09:37

😭 Количество задаваемых вопросов на StackOverflow близится к нулю

Спад начался еще пару лет назад с появлением ИИ, но сейчас достиг рекордно низких значений. Так, за весь декабрь поступило всего 3800 вопросов, а за первые дни января ~300.

F легенде!

✖️ xCode Journal

Data Science | Machinelearning [ru]

10 January 2026 09:07

Nvidia и Siemens запускают первый ИИ-завод в 2026 году 😡

Nvidia и Siemens объявили о запуске первого ИИ-завода, который начнёт свою работу в 2026 году. Это будет настоящий технологический прорыв, и сегодня расскажу, что это значит для будущего производства.

Процесс будет выглядеть так, как будто завод становится живым существом, только без всех этих эмоций. Всё потому, что в основе новой Industrial AI Operating System от Nvidia и Siemens — идея внедрения ИИ во все этапы производства. Причём не как просто симуляцию, а как активный «мозг», который будет не просто наблюдать, а и активно управлять процессом.

Nvidia предоставит всю свою инфраструктуру для ИИ, включая библиотеки симуляции и фреймворки, а Siemens подкинет профессионалов по промышленному ИИ, а также всё необходимое оборудование. Идея простая, но гениальная: цифровые двойники станут не просто моделями для тестирования, а настоящими агентами, которые помогают улучшать процессы на реальной производственной линии.

Вся система будет работать благодаря ИИ-мозгу, который будет непрерывно следить за цифровыми двойниками производственных линий, проверять изменения в процессах и переносить проверенные улучшения в реальный мир. Всё это будет работать так быстро, что процесс будет ускоряться в 2, а то и в 10 раз 😮

Завод Siemens Electronics Factory в Эрлангене (Германия) станет первым местом, где всё это будет реализовано. Здесь будут выпускаться преобразователи и силовая электроника, и если всё пойдет по плану, к 2026 году он будет полностью управляться ИИ.

Кроме того, Siemens переводит весь свой симуляционный софт на GPU-ускорение с поддержкой CUDA-X и PhysicsNeMo, что позволит ускорить ключевые процессы на порядок. Это будет настоящий прорыв, который окажет влияние на всю промышленность.

Что это даст? 😂

Технология уже протестирована такими гигантами, как Foxconn, HD Hyundai, KION Group и PepsiCo. А самое интересное, что рабочие на этих заводах получат умные очки Ray-Ban с функцией AR. Представьте: вы на сборочной линии, а у вас перед глазами сразу вся информация о безопасности, подсказки и реальная обратная связь прямо на очках.

Data Science | Machinelearning [ru]

09 January 2026 17:07

Cursor делает смелый шаг: от статического контекста к динамическому 😐

В мире ИИ обновления бывают разные, но иногда приходят такие решения, которые заставляют подойти и задуматься, насколько они могут изменить правила игры. Сегодня поговорим о том, как Cursor взял и полностью перешел на динамический контекст.

Для тех, кто не в курсе: раньше многие модели ИИ использовали так называемый статический контекст — когда все данные буквально вываливаются в модель сразу. Логи, документы, история чатов — всё это забрасывается в систему и оказывается доступным в любой момент. Ну а что из этого получается? Контекст переполняется, важные детали теряются, и память модели забивается лишним мусором.

Теперь же Cursor решает уйти от этого подхода и переходить на динамическое обнаружение контекста. Это как если бы агент сам по ходу работы мог «собирать» себе нужную информацию, а не ждать, пока её кто-то закинет.

Что это означает на практике? 🍿

— История чатов и файлы: Вместо того чтобы хранить всю историю чатов в контексте, теперь Cursor сохраняет её в виде файла. Если при суммировании контекста какие-то важные моменты забылись, агент может зайти в файл, найти нужную информацию и восстановить недостающие детали.

— Ответы от тулов: Когда нужно обработать длинный ответ от какого-то инструмента, этот ответ не отправляется в контекст целиком. Вместо этого, в контекст добавляется только ссылка на ответ, а сам JSON-файл с результатами остаётся в отдельном месте. Агент может по мере надобности обращаться к этим файлам — как будто он ищет что-то через grep или tail.

— MCP и инструментальные вызовы: Вся эта громоздкая информация, например, описание инструментов и выводы терминальных сессий, теперь тоже не хранится в контексте. В контексте остаются только ссылки на нужные ресурсы, и агент может в любой момент обратиться к более подробному описанию.

Звучит красиво, правда? Минимум мусора и максимум пользы. На практике, это позволяет существенно экономить ресурсы. Например, в A/B тестах использование токенов сократилось почти на 47%. Такая система масштабируемая, ведь теперь контекст перестаёт быть хранилищем знаний и превращается в инструкцию, как эти знания получать.

Data Science | Machinelearning [ru]

06 January 2026 17:07

Когда уязвим не ИИ, а браузер 😭

Если раньше угрозы были очевидными и касались в основном серверов или сетевого трафика, то сегодня уязвимой может быть сама строчка текста, которую вы вводите в поле запроса. Это атака, которую можно назвать Man-in-the-Prompt, и она может стать настоящим кошмаром для безопасности, особенно в мире, где ИИ уже почти везде.

Атакующему достаточно простого расширения для браузера, которое выглядит абсолютно безобидно. Оно получает доступ к DOM (структуре страницы) и начинает незаметно вставлять свои инструкции прямо в ваш запрос. Модель продолжает отвечать, но эти ответы уже не те, что вы ожидали.

Пользователь продолжает общаться с ИИ как обычно, а на самом деле данные уже могут вытекать через незаметные каналы. Системы защиты, такие как DLP или CASB, которые традиционно мониторят трафик, здесь бессильны. Всё происходит локально, внутри браузера, ещё до того, как данные покидают устройство.

Речь идёт не только о личных данных, но и о конфиденциальной информации — от API ключей и платежных данных до медицинских записей и юридических документов. Любой, кто работает с такими данными, будь то инженеры, юристы или топ-менеджеры, рискует стать жертвой этой атаки.

Удивительно, но эта атака может пройти незамеченной, так как все запросы проходят через обычный HTTPS-трафик, а расширение не требует дополнительных прав. Вы можете заметить странные изменения в файлах расширений, скрытые вкладки или необычные обращения к доменам. Однако, всё это может быть настолько мелким, что пройти мимо.

Как это работает в реальности? 😐

Исследователи LayerX продемонстрировали, как расширение может внедрять вредоносные промты в ChatGPT и Google Gemini. В случае с ChatGPT, всё выглядит как обычный запрос, но за кулисами происходит утечка данных, и злоумышленники могут сохранять эти данные в свои внешние логи. Для Google Gemini ситуация аналогична: злоумышленник может внедрять промты в сервисы Google Workspace, вытаскивать конфиденциальную информацию, такую как письма, контакты и документы, даже если панель Gemini скрыта.

Как защититься? 💻

• Контролируйте расширения браузера: разрешайте только подписанные пакеты и проверяйте их происхождение. Не забывайте про режим разработчика — отключайте его для корпоративных браузеров.
• Используйте CSP (Content Security Policy) для защиты от вредоносных скриптов и ограничения доступа к внешним ресурсам.
• Разделяйте использование ИИ и обычный веб-сёрфинг: для работы с чувствительными данными используйте отдельные профили или браузеры.
• Мониторинг и анализ DOM-активности: отслеживайте скрытые вкладки, изменения в манифестах и сервис-воркерах, чтобы выявить незаметные атаки.
• Управляйте ключами API и токенами: используйте секрет-менеджеры, не храните их в браузере, ограничьте их права и сроки жизни.
• Обучайте команду: важно понимать, что данные не должны попадать в промты. Симуляции атак помогут закрепить эту информацию в корпоративной культуре.

Data Science | Machinelearning [ru]

30 December 2025 10:07

🤩 Вот оно, будущее

В Китае парализованный пациент смог силой мысли управлять инвалидной коляской на улице и отдавать команды роботу-собаке для доставки еды. Прорыв, по словам ученых, в переходе от виртуального взаимодействия с курсором и экранами к управлению физическими устройствами практически без задержки.

В следующем году они, кстати, планируют провести масштабные клинические испытания в больницах для демонстрации универсальности продукта.

✖️ xCode Journal

Data Science | Machinelearning [ru]

29 December 2025 16:07

Короче, нашёл классную штуку и не могу не поделиться 🙂

Yandex Cloud вместе с Forbes сделали новогодний спецпроект в формате игры, вдохновлённой «Героями меча и магии». Только вместо замков и магии - данные, аналитика и киберпанк.

Ты играешь за героя данных, а всякие PostgreSQL, ClickHouse, Trino, DataLens и прочие инструменты - это уже артефакты. Их можно выбивать, крафтить, комбинировать и с их помощью решать реальные задачи из финтеха, ритейла и промышленности. Прямо мини-сюжеты, но про нашу работу 😄

Есть немножко пасхалок (олдфаги «Героев» точно оценят), истории у персонажей разные, а цель одна - победить дата-хаос и чуть прокачаться в понимании, как вообще с данными жить.

Плюс можно играть и с компа, и с телефона, а на лендинге ещё показывают реальные кейсы, как эти «артефакты» из Yandex Cloud используют в бизнесе.

Если ты CDO, аналитик, инженер или просто скучаешь по играм детства - очень советую заценить тут.

Data Science | Machinelearning [ru]

27 December 2025 11:07

🖥 Как научить LLM работать с поиском в интернете

Мы уже давно научили модели решать задачи, как математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.

Что же отличает этот подход от обычных поисковых систем? В том, что агент не просто делает один запрос и «сдаётся». Он строит целую цепочку шагов, как опытный аналитик, постепенно уточняя информацию и проверяя факты.

❓ Как работает агент?

Основной принцип работы модели заключается в чередовании двух инструментов: поиска и просмотра страниц. Поиск предоставляет список URL с короткими фрагментами текста, а просмотр — длинные фрагменты выбранных страниц. Все найденные данные фиксируются в контексте, создавая «след», который агент использует для дальнейших шагов, а не полагается исключительно на память.

Команда не использовала стандартные API для поиска. Вместо этого был создан собственный конвейер, который фильтрует и обрабатывает информацию гораздо точнее. Результаты поиска проходят через BM25, эмбеддинги и ререйканинг, что даёт возможность LLM собирать более точные и тематичные сниппеты.

❗️ Почему обычный «вики-ретривер» не подходит?

InfoAgent делает акцент на задаче, где важно не просто находить факты, а проверять их на глубоком уровне. Для этого они специально «размывают» данные — имена заменяются на описания, даты превращаются в диапазоны, а точные формулировки перефразируются. Это заставляет модель не торопиться и искать более точные данные. При этом вопросы подбираются таким образом, чтобы агент не мог дать быстрый ответ — они требуют развернутого анализа.

⁉️ Как обучают модель?

Основным этапом обучения является создание длинных траекторий запросов, иногда до 20 шагов, где каждый запрос уточняет предыдущий. Изначально агент учится на размеченных данных (SFT), а затем проходит этап усиления с помощью обучения с подкреплением (RL). Это помогает модели не останавливаться на первом попавшемся ответе, а продолжать искать до тех пор, пока не будет найдено точное решение.

🔼 На практике, агент InfoAgent демонстрирует выдающиеся результаты. Например, на сложных бенчмарках он показывает отличные результаты, часто обходя более крупные модели с большим количеством параметров. При этом переход от SFT к RL существенно повышает точность поиска, делая результаты более разнообразными и точными.

Data Science | Machinelearning [ru]

26 December 2025 07:00

Справочник про СХД, который всегда под рукой

Контент для «технарей» от инженеров «Рэйдикс». Анонсы новых релизов и полезных мероприятий. Актуальные функциональности и технологии. Главное об импортозамещении в отрасли.

Телеграм-канал «Рэйдикс»

Подписаться

#реклама 16+
О рекламодателе

Data Science | Machinelearning [ru]

25 December 2025 08:07

⚡️ Доступ к папке «AI & TECH & IT» открыт на 24 часа!

Вся полезная информация о заработке на ИИ и технологиях в одном месте:

✦ Живи и работай в мире, где правят технологии.
✦ Автоматизируй заявки с помощью ИИ-менеджеров.
✦ Используй промпты-убийцы, которые можно продавать дорого.

Подписывайтесь и прокачивайте свои навыки прямо сейчас с помощью папки «AI & TECH & IT»!

ПОДПИСАТЬСЯ

Data Science | Machinelearning [ru]

24 December 2025 08:07

Российские генеративные модели Kandinsky 5.0 Video Lite и Pro в международной text-to-video арене

🔘Pro версия является ТОП-1 опенсорсом в мире

🔘Lite версия (2B параметров) лучше первой версии Sora

🔘На данный момент Сбер уступает только топовым мировым бигтех компаниям: Google (Veo 3.1, Veo 3), OpenAI (Sora 2), Alibaba (Wan 2.5), KlingAI (Kling 2.5, 2.6); в паритете с Luma AI (Ray 3), MiniMax (Hailuo 2.3) — отрыв по ELO максимум 3 балла, при 95% доверительном интервале оценивания +-21 балла

🔘Для российских генеративных моделей выход на международную арену — уникальное событие

🚀 Полезные ссылки:
🔘Посмотреть весь лидерборд: lmarena
🔘Почитать подробнее про Kandinsky 5.0: пост, техрепорт
🔘Open Source Kandinsky 5.0: github и hf

Data Science | Machinelearning [ru]

23 December 2025 08:07

🔥 БЕСПЛАТНЫЙ КУРС ПО СОЗДАНИЮ НЕЙРО-СОТРУДНИКОВ НА GPT И ДРУГИХ LLM 🔥

Ищете практический и углубленный курс, чтобы освоить создание нейро-сотрудников? Мы создали курс из 5 объемных занятий. Это именно то, что нужно, чтобы прокачать свои навыки абсолютно бесплатно!

📌 Темы занятий:
1. Введение в мир нейро-сотрудников
2. Как работают LLM и их аналоги
3. Создание базы знаний для нейро-сотрудника (RAG)
4. Тестирование и отладка нейро-сотрудников
5. Интеграция нейро-сотрудников в Production

Вот 5 тем курса - он максимально простой и доступный, общеобразовательный, без какого-либо сложного программирования 📚Прохождение этого курса, скорее всего, займет у вас от 1 до 3 часов

🤖 Присоединяйтесь к нашему бесплатному курсу и разберитесь в этой увлекательной теме с нами!

Data Science | Machinelearning [ru]

21 December 2025 18:07

🚫 Как ИИ может создать путаницу в планах на путешествие

Технологии планирования путешествий с использованием ИИ стремительно завоевывают популярность, и это неудивительно. Сервисы вроде ChatGPT или Layla делают нашу жизнь проще, помогая нам найти интересные маршруты, рекомендации по достопримечательностям и даже бронировать билеты. Но, как и любая новация, эти инструменты имеют свои темные стороны. Недавние случаи с «путеводителями» ИИ показали, как легко можно попасть в ловушку, доверившись такой системе.

❌ Несуществующие места и опасные советы

Недавняя история из Перу – яркий пример того, как ИИ может сбить с толку. Путешественники, вооруженные рекомендациями из ChatGPT, искали путь к несуществующему Священному каньону Умантай. Они поверили в описание, которое звучало убедительно, но, как выяснилось, это был просто фальшивый маршрут, созданный ИИ. Разочарование могло закончиться трагически: местность в Перу требует четкого планирования и знания маршрутов, иначе можно попасть в экстремальные условия. Эта ошибка стоит напоминания: технологии — не всегда надежные советчики.

🥸 От ошибок к «галлюцинациям» ИИ

Система ИИ не «знает» фактов. Она лишь анализирует огромные объемы информации и создает текст, который звучит правдоподобно. Это приводит к так называемым «галлюцинациям» - когда ИИ выдает ложные или искаженные данные, при этом не имея никакого сомнения в их правдивости. Недавний случай, когда сервис Layla уверял путешественников, что в Пекине стоит Эйфелева башня, — это пример того, как быстро можно попасть в нелепую ситуацию, просто следуя советам ИИ.

💯 Неоправданная уверенность ИИ

Проблема в том, что ИИ часто выдает информацию с такой уверенностью, что пользователь не замечает ошибок. Причем такие галлюцинации могут быть не только смешными, но и опасными. Например, карты и маршруты, предложенные ИИ, могут привести нас в места, которые не существуют или которые не подходят для туристов. Проблемы появляются, когда люди, не проверяя информацию, следуют этим путеводителям.

Data Science | Machinelearning [ru]

18 December 2025 19:07

☄️ GenAI на вашем устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM

Время от времени появляется что-то, что может изменить подход к разработке приложений. Google выпустил новый фреймворк LiteRT-LM, который позволяет запускать LLM (Large Language Models) прямо на устройствах, таких как Chrome, Chromebook Plus и Pixel Watch. Да, вы правильно поняли — GenAI теперь доступен в оффлайне, без необходимости в API-вызовах и без задержек, которые часто возникают при обращении к удалённым серверам.

💥 Для разработчиков это настоящая находка. Почему? Всё просто:

• Отсутствие задержек — LLM теперь работает прямо на устройстве, что исключает лаги, связанные с удалёнными серверными вызовами.
• Нет расходов на API — экономия на сервисах, которые обычно требуют платных запросов.
• Локальный GenAI — теперь все вычисления и процессы происходят непосредственно на вашем устройстве.

🔔 Что стоит знать о LiteRT-LM?

Google использует LiteRT-LM в своих устройствах, таких как Gemini Nano, Chromebook Plus и Pixel Watch. Фреймворк открывает доступ к множеству возможностей:

• Открытый C++ интерфейс — это позволяет интегрировать LiteRT-LM в кастомные решения. Вы можете настроить систему под свои задачи.

• Архитектура: LiteRT-LM состоит из Engine и Session. Engine хранит базовую модель и ресурсы, доступные для всех функций. Session — это контекст, с возможностью клонирования и переключения задач с минимальными затратами ресурсов.

• Поддержка аппаратного ускорения (CPU, GPU, NPU) и кроссплатформенность — работает на Android, Linux, macOS и Windows, обеспечивая широкие возможности для различных устройств.

• Минимальный pipeline для Pixel Watch — Google продумал оптимизацию под ограниченные ресурсы устройства, что позволяет запускать GenAI даже на устройствах с небольшой памятью.

⚠️ Что включает в себя новый стек от Google?

Google не просто выпустил LiteRT-LM, а открыл целый стек для работы с GenAI:

• LiteRT — это движок, который быстро запускает AI-модели прямо на устройстве, оптимизируя время отклика.

• LiteRT-LM — интерфейс C++ для работы с LLM, объединяющий кэширование промптов, хранение контекста, клонирование сессий и прочее.

• LLM Inference API — готовые решения для интеграции GenAI в приложения, доступные для разработчиков на Kotlin, Swift и JS. Эти интерфейсы облегчают процесс внедрения GenAI в мобильные и веб-приложения.

Data Science | Machinelearning [ru]

18 December 2025 07:07

🐍 Python-библиотека для легкого анализа данных с помощью ИИ

Удобно спросить на обычном языке в диалоговом окне ИИ об особенностях датасета, сравнить разные наборы данных и построить графики. Сильно экономит время, особенно при знакомстве.

Поддерживает CSV, SQL и Parquet.

✖️ xCode Journal

Data Science | Machinelearning [ru]

14 January 2026 20:07

OpenAI ищет Head of Preparedness. Кто будет готовить нас к рискам ИИ? 🔫

Компания OpenAI анонсировала вакансию для абсолютно новой роли — Head of Preparedness, или, проще говоря, человека, который будет отвечать за подготовку к рискам и последствиям после релиза моделей. Скорее всего, она про то, чтобы понять, какие потенциальные беды нас могут поджидать после того, как модель выйдет в мир.

Его задача — предсказать, что может пойти не так, когда ИИ начнет работать в реальном мире. Например, какие опасности могут возникнуть в сферах, где мы еще не подумали о последствиях? Где модель может не пройти тесты, но все равно принести проблемы? Какие долгосрочные угрозы нас подстерегают?

Собственно, почему эта роль так важна? OpenAI сами признают, что столкнулись с проблемами. В 2025 году первый тревожный сигнал появился, когда модели начали оказывать влияние на психическое здоровье людей (не забывайте про те трагические истории с ChatGPT). А еще, с ростом уровня кодирования ИИ, возникли реальные угрозы для кибербезопасности. И вот, это всё стало отправной точкой для создания этой роли.

Да, зарплата на должности обещана солидная — $555k с бонусами, что, конечно, не Цукерберговские суммы, но на жизнь точно хватит 💳

Data Science | Machinelearning [ru]

12 January 2026 16:02

Начните год продуктивно!
Ещё есть время проверить свой уровень в DS и получить обратную связь, чтобы знать, куда двигаться дальше🚀

Data Science | Machinelearning [ru]

09 January 2026 18:07

Большинство курсов по LLM заканчиваются ровно там, где в реальности всё только начинается - на деплое.
Поиграться с промптами в ноутбуке - ок. А вот довести это до прода с архитектурой, стабильностью и масштабированием - тут уже начинаются сложности.

И вот тут я наткнулся на курс «LLM-инженер» от GIGASCHOOL и AI Talent Hub» - и он как раз про реальную работу, а не «потыкать модель».

Что внутри:
🔘дообучение по-взрослому: fine-tuning, PEFT, LoRA / QLoRA, RLHF
🔘инструменты: LangChain, LangGraph, векторные базы
🔘архитектуры: RAG, поиск, защита LLM-продуктов
🔘MLOps: пайплайны, деплой, трекинг, версионирование
🔘и дальше - мультиагенты и ассистенты

Без магии.
С кодом, инфраструктурой и нормальной архитектурой - так, как это реально делают в проде.

Курс уже идёт третьим потоком, преподают практики из больших AI-команд (Газпромбанк, X5 Tech, HiveTrace и др.).
На выходе - готовый проект в портфеле и понимание, что ты делаешь и зачем, а не просто повторяешь туториалы.

Старт 26 января, длительность - 25 недель (с каникулами).
Есть диплом и рассрочка. Цена вырастет 13 января.

Если давно хотел перестать «экспериментировать» и начать реально делать LLM-продукты - выглядит как хороший вариант.

Подробности и регистрация

Data Science | Machinelearning [ru]

07 January 2026 18:07

Новый подход к подготовке данных для LLM — как PyTorch для дата-инженеров 😐

При создании мощных языковых моделей важно не только обучать их с нуля или улучшать существующие, но и управлять процессом, делая его воспроизводимым и эффективным. DataFlow предлагает решение, превращая подготовку данных для ИИ в инженерную задачу, аналогично тому, как PyTorch изменил мир нейросетей.

Основная проблема многих современных пайплайнов — это несоответствие и непредсказуемость. Проблема не только в грязных данных, но и в том, что пайплайны часто становятся «семантически нагруженными». То есть LLM уже не просто обрабатывают данные, они участвуют в генерации задач, переформулировке запросов, поиске несоответствий и создании синтетических корпусов данных.

Процесс уже не такой прямолинейный, как в классическом ETL, где все описывалось четкими правилами. Здесь нужно больше контроля качества и итеративности на каждом шаге. Вот тут и появляется DataFlow, который предлагает именно LLM-driven обработку данных.

Как устроен DataFlow? 🗒

В центре DataFlow лежит идея, что каждый шаг в процессе подготовки данных должен быть оформлен как оператор. Это небольшой модуль, который читает данные, выполняет преобразования и записывает результат обратно в хранилище. Все шаги в системе управляются через глобальное хранилище, которое выступает как единый источник правды. Это позволяет легко переставлять и переиспользовать шаги, а также быстро отслеживать изменения.

Каждый оператор взаимодействует с данными через механизмы чтения-преобразования-записи, что делает процесс максимально прозрачным и удобным для отладки. В итоге, такие пайплайны можно настраивать и компилировать, что упрощает обнаружение ошибок и улучшает контроль над процессом.

Операторы, пайплайны и мощь модульности 😺

Каждый шаг в DataFlow можно представить как операцию, выполняющую одну из четырёх ролей: генерация, оценка, фильтрация и улучшение. Модели проходят цикл generate → evaluate → filter → refine, а в системе уже собрано почти 200 различных операторов для самых разных задач — от текста и кода до математических задач и извлечения знаний.

Что удивительно, этот процесс можно масштабировать и адаптировать под специфические задачи. Например, система помогает создавать Text-to-SQL пайплайны, где важно не только сгенерировать SQL-запрос, но и удостовериться в его исполнимости, сложности и пригодности для обучения.

Мультиагентная система: когда агент сам строит пайплайн☕️

Особенность DataFlow заключается не только в автоматизации всех этих процессов, но и в использовании мультиагентной системы — DataFlow-Agent. Этот агент принимает запросы на естественном языке и превращает их в исполнимый DAG-пайплайн. Представьте, что вы говорите агенту: «Сделай мне данные для задачи на основе этого описания», а он уже сам подбирает нужные операторы, проверяет их совместимость и собирает пайплайн.

Data Science | Machinelearning [ru]

06 January 2026 10:03

Проверьте свой уровень в Data Science с тестом от Авито 🚀

Тест основан на практических кейсах из реальной работы DS-команд компании – без абстрактных вопросов и лишней теории.

Что вы получите:

– чёткое понимание текущего уровня и зон роста;
– возможность открыть результаты рекрутерам и повысить шансы на оффер;
– подробный разбор ответов на почту в течение дня.

Хорошая возможность проверить себя на праздниках без лишней суеты и наметить дальнейшее развитие.

Пройти тест →

Data Science | Machinelearning [ru]

29 December 2025 20:40

Data Holiday Box. Проведите праздники с пользой

Хотите в Data Science, но не понимаете, с чего начать и какое направление выбрать?
Аналитика данных, машинное обучение, инженерия данных — профессий много, а ошибка на старте может стоить времени и денег.

Data Holiday Box — это бесплатный набор, который поможет разобраться.
Внутри: 6 вебинаров от экспертов, которые покажут Data Science изнутри, и 6 полезных подарков — гайды, чек-листы и подборки ресурсов.

Вы узнаете, какие навыки будут востребованы в 2026 году, поймёте разницу между ролями и выберете направление, которое подходит именно вам.

Забирайте Data Holiday Box и проведите каникулы с пользой для будущей карьеры.

Записаться

#реклама 16+
karpov.courses
О рекламодателе

Data Science | Machinelearning [ru]

28 December 2025 16:07

🤖 Исследователи разослали 37 000 фейковых резюме выпускников и посмотрели, кого чаще зовут на интервью

В резюме рандомизировали всё: специальность, стажировки, обучение за границей и компьютерные навыки. Что внезапно работает:

— Стажировки, ориентированные на развитие софт скиллов — причем даже в откликах на аналитические вакансии.

— Учёба за границей ожидаемо также повышает шансы найти быстро свою первую работу.

— Программирование + анализ данных дает жирный плюс к коллбэкам. При этом по отдельности эти навыки эффекта не имеют.

Data Science | Machinelearning [ru]

26 December 2025 12:37

Универсальная коллекция инструментов для повседневных задач 💃

Если вы ищете быстрое и удобное решение для различных задач, от работы с файлами до улучшения продуктивности, MyTinyTools — это именно то, что вам нужно. Эта онлайн-платформа объединяет множество мини-сервисов, которые помогают решать повседневные задачи без установки и регистрации.

Что предлагает MyTinyTools?

• Текстовые инструменты: генерация текста, перевод, анализ тональности, редактирование.
• Файловые операции: конвертация файлов, их сжатие, разделение и объединение.
• Медиаобработка: редактирование изображений и видео, аудио-конвертеры.
• Разработка: валидация кода, его форматирование и минификация.
• Продуктивность: таймеры Pomodoro, календари и планировщики задач.
• Безопасность: шифрование данных, генерация паролей и проверка безопасности.

Data Science | Machinelearning [ru]

25 December 2025 13:37

📖 Краткий словарь программистов подъехал

Срочно запоминаем определения микросервисной архитектуры и функций HR BP.

✖️ xCode Journal

Data Science | Machinelearning [ru]

24 December 2025 20:07

✔️ Фотоника и искусственный интеллект

ИИ стремительно развивается. Но несмотря на все достижения, есть одно «но», которое не даёт индустрии двигаться вперёд так стремительно, как хотелось бы. Мы не можем забывать о физических ограничениях. Например, если заглянуть в будущее, мы видим, что текущий подход к вычислениям в ИИ, ориентированный на увеличение объема моделей (экстенсивный рост), сталкивается с неизбежными барьерами, такими как высокие затраты на энергию и охлаждение. Подобные ограничения буквально сводят на нет многие амбиции, особенно на уровне железа.

📌 Тем не менее, есть ли альтернативы, которые могут радикально изменить картину? Ответ, возможно, в фотонике.

Мы все привыкли к идее «бесконечного» роста вычислительных мощностей, но с 2006 года закон Мура не работает, как раньше. Транзисторы почти достигли своих физических пределов, а производительность процессоров больше не зависит от тактовой частоты. Все больше мы видим отказ от принципа моноядерных процессоров в пользу многоядерных решений, но тут тоже есть проблемы. Многозадачность и многопоточность, несмотря на свою популярность, не всегда приносят реальный выигрыш.

Задумайтесь на секунду: это ли не прямой путь к масштабированию проблем, а не их решению? Как бы мы ни пытались улучшить старую архитектуру, её физические ограничения — перегрев, высокое энергопотребление и медленный доступ к памяти — всё равно остаются.

💬 Фотоника: революционный шаг вперёд

Вот тут и появляется возможность для изменения парадигмы — фотоника. Это технология, основанная на использовании света для передачи данных. В отличие от традиционных электроники, фотоника позволяет значительно ускорить вычисления благодаря скорости распространения света и моментальному изменению состояний.

🕯 Фотонные устройства обладают множеством преимуществ: они не перегреваются, потребляют гораздо меньше энергии и могут работать с гигантскими объёмами данных. Но есть и сложности — например, трудность хранения данных. В фотонных системах оперативная память почти не используется, а данные обрабатываются по принципу параллельных вычислений с разными длинами волн.

Но эти ограничения могут стать преимуществами в специфических задачах — например, в инференсе ИИ, где важна высокая пропускная способность и минимальное энергопотребление. И тут фотоника может стать настоящей находкой, особенно если говорить о масштабных проектах, таких как вычислительные фабрики.

Data Science | Machinelearning [ru]

23 December 2025 12:07

🌐 Google ADK и «Startup Technical Guide: AI Agents»: новый стандарт создания AI-агентов

Еще недавно не существовало четкой дорожной карты для создания AI-агента. В новом документе Google, на 64 страницах, охватывает весь путь от концепции до внедрения в продакшн, делая акцент на том, что важна не только идея, но и практика. Но чем же он отличается от всего, что было до этого?

📌 Почему AI-агенты — это не чат-боты

Одно из главных отличий, о котором говорит гайд, — это то, что AI-агенты — это не просто чат-боты, а полноценная парадигма. Мы не просто даем команду и получаем ответ. Агент, в отличие от бота, может планировать, принимать решения, привлекать различные источники данных и инструменты для решения комплексных задач. Это что-то гораздо более амбициозное. Например, агент может самостоятельно организовать запуск продукта или решить проблему в цепочке поставок.

Это, на мой взгляд, действительно переломный момент. Я сам, когда впервые создал простейшего агента, который выполняет сложные задачи без постоянного контроля, почувствовал, что это совсем не тот же чат-бот. Это совершенно новый класс решений, и Google, похоже, задает стандарты для всех нас.

🕯 ЛЛМ не достаточно — нужно строить инфраструктуру

Google прямо заявляет: даже самая мощная языковая модель не сделает агента работоспособным без грамотной инфраструктуры. Для того чтобы агент стал чем-то большим, чем просто демонстрацией возможностей LLM, нужна четкая архитектура, интеграция данных и скалируемые инструменты. И гайд подробно расписывает, что нужно для этого — от памяти и оркестрации до логики работы с внешними источниками.

Именно такие моменты зачастую игнорируются. Вначале создается нечто вроде скрипта с GPT-4 и API, а потом агент не выдерживает нагрузок и просто падает. Google предлагает решение: использовать готовую инфраструктуру, которая упрощает создание стабильного и работоспособного агента. Это каркас, который снимает часть головной боли и позволяет сосредоточиться на более важных аспектах.

⚠️ Погружение в реальность: от фантазий к фактам

Еще один важный момент — это Grounding. Как избежать «галлюцинаций» модели? Google предлагает привязать агента к достоверным источникам данных через методы, такие как Retrieval-Augmented Generation (RAG), что значительно повышает точность ответов. Агент становится не просто генератором текста, а исследователем, который проверяет свои данные.

Часто агенты, не подключенные к реальным источникам данных, могут выдавать совершенно некорректные ответы. Здесь, например, Google использует возможность интеграции с поисковыми системами, чтобы агент сам решал, когда и как использовать данные.

⛔️ Безопасность и этика — обязательные требования

Особое внимание уделяется безопасности. В процессе разработки AI-агентов важнейшим фактором является защита данных и этическое поведение. На этом этапе уже невозможно пускать все на самотек. Для таких проектов нужны системные проверки, ограничения и мониторинг на каждом шаге. У Google в этом плане четкий подход: безопасность должна быть встроена в процесс с самого начала.

Data Science | Machinelearning [ru]

22 December 2025 10:07

😁 Сложности организации новогоднего корпоратива:

💥 xCode Journal

Data Science | Machinelearning [ru]

20 December 2025 11:07

Как грамотно управлять LLM для эффективных решений в продакшене?

Когда речь идет о больших языковых моделях (LLM), большинство людей думают, что всё сводится к поиску «хитрого» промпта. Но это не так. На самом деле, успешная работа с LLM в продакшн-среде зависит не только от того, что мы ей даём, но и от того, как управляем её рассуждениями и как обрабатываем результат. Сегодня хочу поделиться своими мыслями о паттернах, которые я использую, чтобы превратить эту мощную технологию в инструмент, способный решать реальные задачи.

Что за паттерны?
Задумайтесь: мы работаем с LLM как с набором инструментов, а не как с волшебной коробочкой, которая даст вам готовый ответ на всё. Тут важно понимать, как и на каких этапах можно вмешиваться в процесс. Итак, рассмотрим паттерны работы с LLM по этапам: от ввода (Input) до вывода (Output). Я собрал основные подходы, которые помогут вам извлечь максимум пользы из нейросетей.

✔️ Входные данные: как настроить контекст

Всё начинается с контекста. Даем ли мы LLM достаточно информации для правильного понимания задачи? От этого зависит, как она сгенерирует ответ. Промптинг — это базовый шаг, где вы формулируете запрос, подставляя в него все необходимые переменные. Здесь важно быть максимально точным и учесть все нюансы. Вы также можете использовать такие технологии, как Retrieval-Augmented Generation (RAG), чтобы дополнить запрос свежей информацией из базы данных.

✔️ Управление рассуждениями: как заставить модель думать

Теперь, когда LLM понимает задачу, важно, чтобы она правильно решала её. Часто модели делают ошибки, пытаясь «сразу ответить». Чтобы этого избежать, можно разбить задачу на шаги. Например, используйте технику Chain of Thought (CoT), чтобы попросить модель «думать по шагам».

Другой интересный паттерн — это агенты и инструменты, которые предоставляют модели дополнительные возможности для работы с внешними системами, такими как поиск в интернете или доступ к API. С помощью инструментов модель может «вызывать» внешние функции, например, искать информацию в интернете или работать с базой данных.

✔️ Структурированные выводы: как гарантировать правильность результата

Порой важно, чтобы вывод был не только точным, но и структурированным. Для этого можно использовать структурированные выводы, например, Pydantic-классы, которые задают схему данных. Это поможет избежать ошибок в форматировании, а модель будет следовать правилам, не выходя за рамки нужной структуры.

✔️ Работа с результатом: как его обрабатывать и улучшать

После того как модель сгенерировала ответ, важно его проверить и отформатировать. Если ответ оказался ошибочным, используйте исправляющие промпты, чтобы модель перегенерировала результат с учётом ошибок.

Также не забывайте про Guardrails — фильтры безопасности, которые могут предотвратить нежелательные или опасные ответы. Это может быть полезно, например, для исключения токсичного контента или нежелательных результатов.

Data Science | Machinelearning [ru]

18 December 2025 12:37

🕯 Что происходит с ИИ в 2025 году

Привет! Недавно ознакомился с ежегодным отчетом о состоянии ИИ на 2025 год. И если раньше такие отчеты можно было читать как интересную теорию, то теперь, похоже, мы стоим на пороге действительно глобальных изменений. Из множества трендов выделил 10, которые зацепили.

✔️ ИИ как научный соавтор

Когда ИИ помогает не только в анализе данных, но и в создании гипотез, это уже не просто автоматизация. Системы, такие как Co-Scientist и Virtual Lab, проводят эксперименты, делают выводы и могут стать настоящими соавторами научных открытий. И хотя ИИ пока не сделал своего первого открытия полного цикла, уверен, что это произойдёт в ближайшие несколько лет.

✔️ Переосмысленный подход к образованию

ИИ меняет образование медленно, но верно. Вместо того, чтобы ломать старую систему, происходит её перераспределение. Уже появляются новые профессии, где люди становятся наставниками ИИ-агентов. А вот создавать AI-first образовательные программы для подготовки людей, которые смогут строить свои компании и работать с ИИ, по сути только начинают.

✔️ Обучение через симуляции

Когда ИИ способен создавать целые миры для обучения, это как по-настоящему «погрузиться» в процесс. Обучение становится чем-то больше, чем просто запоминанием. Мы идем в сторону создания образовательных симуляций, которые будут адаптироваться под каждого студента, его темп и эмоциональное состояние.

✔️ Суперагенты для бизнеса

Может быть, вы уже заметили, что ИИ-агенты начали активно использоваться в бизнесе. Они умеют не просто работать, а рефлексировать, планировать и улучшать свою работу. С каждым днем всё больше компаний отказываются от традиционных систем, а суперагенты становятся полноценными «мозгами» бизнеса. И, кстати, 95% специалистов уже используют ИИ для повышения своей продуктивности.

✔️ Синтетические личности и этика общения с ИИ

ИИ уже умеет выстраивать отношения, запоминать контекст общения и даже «чувствовать» эмоции собеседника. Но с этим приходят и проблемы — начинают появляться случаи так называемого «ИИ-психоза». Как вы думаете, где проходит черта между полезной эмоциональной поддержкой и излишней привязанностью, которая может повлиять на психическое состояние человека?

✔️ Роботы становятся частью реальности

Что думаете, когда слышите слово «роботы»? Возможно, вам представляются большие механизмы, трудящиеся в заводах или логистике. Однако в 2026 году такие системы будут не только работать в производстве, но и помогать в быту. И да, ИИ уже научился видеть, понимать и действовать в физической реальности.

✔️ AI-first компании: уход традиционных бизнес-моделей

Внедрение ИИ-агентов в работу бизнесов меняет всё. Задачи, которые раньше выполняли сотни людей, теперь решаются десятками, а эффективность выросла в 5–10 раз. Это не просто улучшение, а настоящее перераспределение ролей в бизнесе. Модели работы с ИИ становятся основными.

✔️ Солопредприниматели с доходом в $1 млн

С приходом ИИ появляется целое поколение предпринимателей, которые автоматизируют практически все процессы в своих компаниях. И вот что интересно: вы сами сможете зарабатывать $1 млн в год, не имея команды из 100 человек, а управляя своим бизнесом через ИИ-агентов.

✔️ Агентная экономика: новый рынок

Скоро рынок будет не просто человечным — его будут определять ИИ-покупатели и ИИ-продавцы. Кто-то скажет, что это не так уж и важно, но такие изменения неизбежны. Решения, которые раньше принимались людьми, теперь будут принимать их цифровые двойники.

✔️ ИИ как инструмент влияния

Звучит как сюжет из фильма, но на самом деле политики уже активно используют ИИ для создания своих публичных образов. И, конечно, есть и другая сторона медали — использование ИИ в оборонке и для создания оружия. Наша ответственность как общества — понять, как эти технологии влияют на нашу безопасность и мораль.

Data Science | Machinelearning [ru]

17 December 2025 20:01

Т1 Облако: мощности для развития технологий на базе ИИ

Все больше компаний ловят «ИИ-волну»: запускают чат-боты, голосовых помощников, обрабатывают большие данные и ждут, что скоро ИИ решит все проблемы.

На деле внедрение ИИ — это как восхождение на гору. Без подготовки и экипировки (то есть без экспертизы, бюджета и мощных GPU*) — легко застрять у подножия. Но есть решение!

Мы, в Т1 Облако, помогаем обеспечить технологический фундамент на базе широкой линейки передовых GPU.

Что можно запускать уже сегодня :

💻 Обучение и инференс больших языковых моделей (LLM)
💻 Высокопроизводительные вычисления (HPC)
💻 3D-рендеринг и транскодирование видео

⚡Оставьте заявку — поможем подобрать оптимальное решение под ваш проект

*GPU - графический процессор



Получить предложение

#реклама 16+
t1-cloud.ru
О рекламодателе