48228
Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
👁Настройка dev-окружения для команды компьютерного зрения.
Что будет на вебинаре?
- Аренда и базовая настройка сервера для работы команды.
- Установка и настройка инструментов для ML-экспериментов
- Развертывание сервиса для разметки изображений CVAT.
Узнаете, как арендовать и настроить сервер для командной работы, что позволит им быстро развертывать инфраструктуру для новых проектов.
Научитесь настраивать MLFlow для отслеживания экспериментов, JupiterLab для удобной разработки и MinIO для создания общего файлового хранилища, что упростит совместную работу с датасетами и другими файлами.
Сможете развернуть CVAT для разметки изображений, что пригодится в проектах, связанных с обработкой и анализом изображений, таких как распознавание объектов, сегментация и т.д.
👉 Регистрация и подробности вебинара
https://otus.pw/1tsR/
Вебинар проходит в рамках подписки OTUS, благодаря которой можно приобрести 3 курса по цене одного!
#реклама
О рекламодателе
erid: 2W5zFJPYH52
⚡️All-atom Diffusion Transformer (ADiT) — это новая разработка в области генеративного моделирования химических систем
. ADiT представляет собой унифицированную латентную диффузионную модель, способную генерировать как периодические материалы, так и непериодические молекулярные структуры
ARXIV.ORG
Ключевые особенности проекта:
Унифицированный подход: ADiT использует единое представление для молекул и материалов, что позволяет эффективно работать с различными химическими системами
ARXIV.ORG
Диффузионная модель: В основе генерации новых структур лежит диффузионная модель, обученная создавать новые латентные представления, которые затем декодируются в валидные молекулы или материалы
ARXIV.ORG
Автоэнкодер: Система включает автоэнкодер, который отображает атомарные представления молекул и материалов в общее латентное пространство, обеспечивая эффективное кодирование и декодирование
ARXIV.ORG
📌 Github
@data_analysis_ml
⚡️ Vondy: огромная базу ИИ-агентов для различных задач!
В Vondy можно подобрать нейроассистентов, которые возьмут на себя рутинную работу и сэкономят часы, чтобы вы могли уделить время отдыху, хобби или развлечениям.
▪ Агенты для любых задач: от кодинга, написания текста, дизайна и бизнеса до повышения продуктивности и генерации изображений, звуков и видео.
▪ Создайте своего агента: сервис предоставляет все необходимые инструменты, чтобы настроить помощника именно под ваши нужды.
▪ Бесплатно.
https://www.vondy.com/
@data_analysis_ml
Агентство NEWHR опубликовало результаты исследования рынка аналитиков. 1293 респондента разных уровней рассказали, где работают, к чему стремятся и сколько получают. Коротко о главном:
⚫️ Лучшей компанией для работы является Авито (37,2%). Она же стала абсолютным лидером из наиболее известных российских компаний (42,1%).
⚫️ Большинство русскоязычных аналитиков работают в российских компаниях — 75,9%.
⚫️ За 2024 год у 44,9% опрошенных зарплаты выросли на 10-30%.
⚫️ 46% стали более лояльны к своему работодателю.
@data_analysis_ml
✔️ OpenAI презентовала новые инструменты для разработчиков.
OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя.
Опубликованы и тарифы:
⚫ Computer Use немного дороже обычной GPT-4o — 3 доллара за вход и 12 долларов за выход на миллион токенов; как формировать контекст, какие скриншоты и текст закидывать — остается на ваше усмотрение.
⚫ Поиск по файлам оценивается в $2.5 за 1000 запросов и $0.1 за каждый гигабайт загруженных файлов.
⚫ Стоимость поиска зависит от настройки «длина контекста» (вероятно, от того, сколько ссылок из поисковой выдачи попадут в контекст); для старшей модели цена составляет $30–$50 за тысячу вызовов.
📌 Github
📌 OpenAI на Youtube
@data_analysis_ml
Открытый вебинар «RL - учимся обыгрывать человека»
📚На вебинаре вы узнаете:
1. Основные концепции стохастических игр, включая многопользовательские стратегии и равновесие.
2. Популярные RL-алгоритмы, адаптированные для работы в стохастических средах (Q-learning, Policy Gradient, MARL).
3. Рассмотрим применение стохастических игр в реальных кейсах: финансы, кибербезопасность, автономные системы.
4. Как обучать агентов, учитывая случайность и стратегии других участников.
👨💻Кому будет полезно?
+ Data Scientists, которые хотят освоить продвинутые методы обучения с подкреплением для сложных сред.
+ AI-разработчикам, работающим над автономными агентами и многоагентными системами.
⏰ 18 марта в 20:00 (мск).
🆓Бесплатно. Вебинар в рамках курса «Reinforcement Learning»
👉Записывайтесь: https://otus.pw/ioYS/?erid=2W5zFGri584
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
#реклама
О рекламодателе
🚨Данные растут, запросы тормозят, аналитика буксует. Знакомо?
Когда SQL-скрипты уже не справляются, а MapReduce заставляет вас страдать, пора переходить на Apache Spark.
На открытом вебинаре 19 марта в 20:00 мск разберём Spark API, научимся работать с DataFrame, RDD и Dataset, изучим практические примеры оптимизации.
➡️ Записывайтесь и получите скидку на большое обучение «Spark Developer»: https://otus.pw/A6Cb/?erid=2W5zFG3awWp
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Приглашаем на открытый урок «Применение искусственного интеллекта в диагностике и визуализации медицинских изображений»
Познакомимся с современными методами использования ИИ для анализа медицинских изображений, включая рентгеновские снимки, МРТ и КТ на открытом уроке, посвященному курсу «Искусственный интеллект в медицине»
✅ Рассмотрим примеры успешных внедрений и разберем алгоритмы, которые помогают врачам быстрее и точнее ставить диагнозы.
👉 Регистрация и подробности:
https://otus.pw/zskO/?erid=2W5zFGC6N1v
#реклама
О рекламодателе
💥 Повышайте точность ML-моделей!
Для достижения высокой точности в ML часто используют не одну, а несколько моделей, объединяя их в ансамбли.
Записывайтесь на бесплатный вебинар, где мы на практике разберём популярные методы ансамблирования:
- Бэггинг снижает дисперсию модели, делая её устойчивее
- Градиентный бустинг усиливает предсказания, обучая модели на ошибках
📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение.
➡️ Ссылка для регистрации: https://otus.pw/znbk/?erid=2W5zFGn7i5v
#реклама
О рекламодателе
🖥 GPU Puzzles
Набор интерактивных упражнений («паззлов») для обучения программированию под GPU с использованием CUDA.
Это целая серия задач, где требуется написать небольшие CUDA-ядра (ядра GPU), реализующие операции вроде сложения с константой (map), поэлементного суммирования (zip), работы с блоками и потоками, свёртки, матричного умножения и других параллельных алгоритмов.
Основная цель репозитория – дать начинающим возможность непосредственно попрактиковаться в программировании под GPU, без необходимости погружаться в сложную документацию.
Для удобства рекомендуется запускать задания в Google Colab с включённым режимом GPU.
Репозиторий лицензирован по MIT, имеет высокую популярность (более 10 тыс звёзд) и является частью серии обучающих проектов (наряду с Tensor Puzzles, Autodiff Puzzles, Triton Puzzles и другими).
А здесь реализация задач на C++
▪ Github
▪ Colab
@data_analysis_ml
🖥 OpenAi добавили новую страницу сравнения всех своих моделей в документацию— теперь вы можете легко увидеть разбивку возможностей каждой модели и сравнить все модели между собой.
https://platform.openai.com/docs/models
@data_analysis_ml
🗼Многоязычный LLM с поддержкой 25 языков, выпущенный командой Alibaba DAMO
✨ 9B/83B
✨ Поддерживает 25 языков: Английский, китайский, хинди, испанский, арабский, французский, бенгальский, португальский, русский, урду, индонезийский, немецкий, японский, суахили, филиппинский, тамильский, вьетнамский, турецкий, итальянский, яванский, корейский, хауса, персидский, тайский и бирманский.
▪Модель: https://huggingface.co/collections/Tower-Babel/babel-67c172157372d4d6c4b4c6d5
▪Paper: https://huggingface.co/papers/2503.00865
@data_analysis_ml
📌 PyTorch: новые инструменты для для экономии памяти при обучении моделей.
PyTorch представил усовершенствованные методы Activation Checkpointing (AC), цель которых - снижение потребления памяти при обучении.
Традиционный подход в eager mode сохраняет промежуточные активации для обратного прохода, что зачастую приводит к значительному расходу ресурсов. AC позволяет не сохранять эти тензоры, а вычислять их заново при необходимости, тем самым жертвуя вычислительным временем ради экономии памяти.
Новая техника – Selective Activation Checkpoint (SAC). В отличие от обычного AC, который затрагивает всю выбранную область, SAC дает гранулярный контроль над тем, какие операции следует пересчитывать, а какие – сохранять. Это достигается за счет использования policy_fn, определяющей, нужно ли сохранять результаты конкретной операции. SAC будет полезен для избегания перевычисления ресурсоемких операций, например, матричных умножений.
Для torch.compile стала доступна Memory Budget API. Эта функция автоматически применяет SAC с оптимальной политикой, исходя из заданного пользователем бюджета памяти (от 0 до 1). Бюджет 0 соответствует обычному AC, а 1 – поведению torch.compile по умолчанию.
🔜 Читать подробную статью в блоге Pytorch
@ai_machinelearning_big_data
#AI #ML #Pytorch
Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?
CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе
На прямых эфирах вы сделаете:
🟠ABC анализ ассортиментной матрицы в Excel
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива
❗️Знать Python и SQL не обязательно — все будем разбирать с нуля
🕗Встречаемся на первом эфире уже завтра, 6 марта в 19:00 по мск
Участвовать в бесплатном интенсиве
⚡ Verl – Volcano Engine Reinforc
ement Learning for LLMs
Проект, объединяющий методы обучения с подкреплением для улучшения работы языковых моделей.
Отличается экспериментальным подходом и перспективой интеграции с популярными LLM.
▪Github
@data_analysis_ml
📹 ReCamMaster: Camera-Controlled Generative Rendering from A Single Video
ReCamMaster: генеративный рендеринг с функциями управлением камерой 🔥
Еще один хит в области генерации видео из Китая
Позволяет создавать реалистичные новые сцены из одного видео, что позволяет «переснимать» видео с новыми движениями камеры.
Код обещают очень скоро,
🟡Github: https://github.com/KwaiVGI/ReCamMaster
🟡Paper: https://arxiv.org/abs/2503.11647
🟡Project: https://jianhongbai.github.io/ReCamMaster/
⚡️ Copy any UI
Клонирование любого сайта одним кликом стало возможным благодаря новому ИИ-агенту Same.dev! Этот инструмент способен создать практически точную копию веб-сайта всего лишь по ссылке.
Все, что вам нужно сделать, — это вставить URL интересующего ресурса и немного подождать. Same.dev автоматически проанализирует исходный код и предоставит готовую копию, которую сложно отличить от оригинала.
Причем это абсолютно бесплатно: https://same.dev/
⚡️ Computer Using Agent Sample App – это демонстрационное приложение для создания системы «Computer Using Agent» (CUA) с использованием OpenAI API.
Основные особенности и интересные моменты проекта:
- Прототип CUA: Приложение показывает, как можно интегрировать ИИ-модель для управления интерфейсом компьютера. Модель анализирует скриншоты и предлагает действия (например, клики, ввод текста), которые необходимо выполнить в среде пользователя.
- Модульная архитектура: Проект разделён на две ключевые абстракции – «Computer» для выполнения действий (например, локальный браузер через Playwright, Docker-окружение, удалённые браузерные среды) и «Agent» для взаимодействия с моделью.
Многообразие сред: В репозитории реализованы различные среды (LocalPlaywright, Docker, Browserbase, Scrapybara), что позволяет протестировать приложение в разных условиях.
- Примеры использования: В проекте есть CLI для удобного старта, а также примеры (например, файл simple_cua_loop.py) для демонстрации базового цикла работы CUA.
Безопасность: Присутствуют базовые меры безопасности, в том числе проверки URL и запрос подтверждения действий, что важно при управлении реальными интерфейсами.
📌 Github
@data_analysis_ml
⚡️ GPUStack — это менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.
⚫ Универсальность: Поддерживает работу на разных платформах, включая macOS, Windows и Linux.
⚫ Масштабируемость: Позволяет легко добавлять дополнительные GPU или узлы для увеличения вычислительных мощностей.
⚫ Широкий спектр моделей: Поддерживает запуск больших языковых моделей (LLM), диффузионных моделей, аудио-, embedding и reranker моделей.
⚫ Несколько бекендов: Использует такие решения, как llama-box, vLLM и vox-box для инференса.
⚫ OpenAI-совместимые API: Предоставляет API, совместимые с OpenAI, что облегчает интеграцию с различными приложениями и сервисами.
⚫ Мониторинг и управление: Включает инструменты для отслеживания производительности GPU, использования токенов и управления пользователями и API-ключами.
https://github.com/gpustack/gpustack
@data_analysis_ml
🔥 llm-scraper — библиотека на языке TypeScript, предназначенная для извлечения структурированных данных с веб-страниц с использованием LLM!
🌟 Библиотека поддерживает различные провайдеры LLM, включая локальные модели (Ollama, GGUF), OpenAI и Vercel AI SDK. Для определения схем данных используется библиотека Zod, обеспечивая полную типизацию в TypeScript. В основе работы llm-scraper лежит фреймворк Playwright, который управляет взаимодействием с веб-страницами.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
⚡️ Napkin AI — инновационный сервис, который превращает обычный текст в наглядные визуальные схемы, диаграммы и инфографику, облегчая процесс представления сложной информации.
• Автоматическая генерация визуализаций:
• Просто вставьте текст, и Napkin AI предложит несколько вариантов визуального представления, которые можно адаптировать под ваши нужды.
• Интуитивно понятный интерфейс:
• Легкая настройка цветов, иконок и шрифтов обеспечивает гибкость в дизайне.
• Экспорт в разные форматы:
• Готовые визуализации можно сохранить в PNG, SVG или PDF для использования в презентациях, статьях или социальных сетях.
• Преимущества для разработчиков:
• Ускорение создания документации: Диаграммы и схемы для технической документации создаются быстрее и проще.
• Улучшение командной коммуникации: Визуальные схемы помогают лучше объяснять сложные концепции и процессы коллегам.
• Повышение качества презентаций: Автоматически сгенерированные инфографики делают ваши выступления более наглядными и профессиональными.
Napkin AI находится в стадии бета-тестирования и доступен бесплатно. Это отличная возможность опробовать сервис и интегрировать его в свой рабочий процесс.
✔ Попробовать
@data_analysis_ml
🔥 TransPixar — новая нейросеть, способная генерировать видео с прозрачным фоном. Это идеально для создания спрайтов в видеоиграх!
🔗 Демо: *клик*
🖥 Github
@data_analysis_ml
🖥 NocoDB — это база данных без кода (no-code database) с открытым исходным кодом, превращающая любую реляционную базу данных (MySQL, PostgreSQL, SQLite, MSSQL и др.) в гибкую таблицу, аналогичную Airtable!
🌟 Она позволяет пользователям управлять данными с помощью удобного веб-интерфейса, создавать REST API, настраивать представления (таблицы, календари, канбан-доски) и интегрироваться с внешними сервисами.
🔐 Лицензия: AGPL-3.0
🖥 Github
@data_analysis_ml
🔍 Spark-TTS — свежий проект для синтеза речи, использующей большие языковые модели (LLM).
Проект обеспечивает высококачественную генерацию аудио с поддержкой zero-shot клонирования голоса, двуязычной (английский и китайский) синтезацией и управляемой генерацией речи, что делает его пригодным как для исследований, так и для коммерческого применения.
https://github.com/SparkAudio/Spark-TTS
✅ Подборка полезных ИИ- каналов для обучения
🎓 1) Andrej Karpathy
Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети.
Ссылка: https://www.youtube.com/c/AndrejKarpathy
📊 2) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
Ссылка: https://www.youtube.com/c/3blue1brown
🎙️ 3) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
Ссылка: https://www.youtube.com/c/LexFridman
🤖 4) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk
💼 5) Uproger
Множество полных кусрсов, уроков с уклоном на практику
uproger" rel="nofollow">https://www.youtube.com/@uproger
🍉 6) Serrano Academy (Luis Serrano)
Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ.
Ссылка: https://www.youtube.com/c/LuisSerrano
💻 7) Jeremy Howard
Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai.
Ссылка: https://www.youtube.com/c/Fastai
🛠️ 8) Hamel Husain
Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ.
Ссылка: https://www.youtube.com/c/HamelHusain
🚀 9) Jason Liu
Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению.
Ссылка: https://www.youtube.com/c/JasonLiu
⚙️ 10) Dave Ebbelaar
Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах.
Ссылка: https://www.youtube.com/c/DaveEbbelaar
📚 11) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Ссылка: https://www.youtube.com/c/statquest
Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя!
@data_analysis_ml
🎵 DiffRhythm - полноценныйгенератор песен всего за несколько секунд!
DiffRhythm‑base — базовая модель из коллекции DiffRhythm от ASLP‑lab на Hugging Face.
Проект интересен тем, что применяет современные диффузионные алгоритмы для генерации и анализа ритмических структур, что открывает новые возможности в области музыкального творчества и аудиоанализа.
▪Модель: https://huggingface.co/ASLP-lab/DiffRhythm-base
▪Демо: https://huggingface.co/spaces/ASLP-lab/DiffRhythm
▪Статья: https://huggingface.co/papers/2503.01183
⚡️ HF: Spark-TTS, модель преобразования текста в речь на базе LLM, которая выполняет клонирование голоса с нуля и создание голоса с высокой детализацией — все в одном потоке!
> Сделана на Qwen2.5
> Управляйте частотой тона, скоростью и стилем диктора непосредственно из текста.
Попробовать можно здесь: https://huggingface.co/spaces/Mobvoi/Offical-Spark-TTS
Paper: https://arxiv.org/pdf/2503.01710
Code: https://github.com/SparkAudio/Spark-TTS
Demo: https://sparkaudio.github.io/spark-tts/
🧠 Это происходит: человек и машина сливаются.
Австралийская компания Cortical Labs представила первый в мире биологический компьютер, объединяющий клетки человеческого мозга с кремниевыми чипами.
Эта система, известная как синтетический биологический интеллект ( SBI) , позволяет формировать динамические нейронные сети, которые обучаются быстрее и более гибко, чем традиционные системы искусственного интеллекта.
Официальная презентация CL1 состоялась в Барселоне 2 марта 2025 года. Ожидается, что он поступит в продажу во второй половине 2025 года.
Технология основана на предыдущем исследовании, в ходе которого 800 000 человеческих и нейроно мышей на чипе были обучены игре в видеоигру Pong.
Теперь CL1 предоставляет платформу, которая позволяет исследователям использовать эту технологию без специализированного оборудования или программного обеспечения. Клиенты могут либо приобрести CL1, либо получить к нему доступ через Cortical Cloud для работы с культивируемыми клетками.
Потенциальные области применения CL1 варьируются от исследований лекарственных препаратов и клинических испытаний до разработки интеллектуальной робототехники.
Система энергоэффективна и не требует внешнего компьютера для управления. Разработчики подчеркивают, что SBI более естественна, чем обычный ИИ, поскольку основана на биологических нейронах, которые также являются основой человеческого интеллекта.
Появление CL1 знаменует собой значительный прогресс в слиянии биологии и технологий и может иметь далеко идущие последствия для различных областей науки и медицины.
Это происходит: человек и машина сливаются. Курцвейл был прав!
Австралийская компания Cortical Labs представила первый в мире биологический компьютер, объединяющий клетки человеческого мозга с кремниевым оборудованием.
Эта система, известная как синтетический биологический интеллект ( SBI) , позволяет формировать динамические нейронные сети, которые обучаются быстрее и более гибко, чем традиционные системы искусственного интеллекта.
Официальная презентация CL1 состоялась в Барселоне 2 марта 2025 года. Ожидается, что он поступит в продажу во второй половине 2025 года.
Технология основана на предыдущем исследовании, в ходе которого 800 000 человеческих и мышиных нейронов на чипе были обучены игре в видеоигру Pong.
Теперь CL1 предоставляет платформу, которая позволяет исследователям использовать эту технологию без специализированного оборудования или программного обеспечения. Клиенты могут либо приобрести CL1, либо получить к нему доступ через Cortical Cloud для работы с культивируемыми клетками.
Потенциальные области применения CL1 варьируются от исследований лекарственных препаратов и клинических испытаний до разработки интеллектуальной робототехники.
Система энергоэффективна и не требует внешнего компьютера для управления. Разработчики подчеркивают, что SBI более естественна, чем обычный ИИ, поскольку основана на биологических нейронах, которые также являются основой человеческого интеллекта.
Появление CL1 знаменует собой значительный прогресс в слиянии биологии и технологий и может иметь далеко идущие последствия для различных областей науки и медицины.
https://newatlas.com/brain/cortical-bioengineered-intelligence/
🚀 Google неожиданно представил нового ИИ-ассистента для Data Science, позволяющего за считанные минуты создавать полноценные рабочие блокноты.
Теперь весь процесс – от загрузки датасета до итогового анализа – берёт на себя нейросеть.
Агент самостоятельно генерирует код на Python, создаёт блокноты, визуализирует данные и шаг за шагом предлагает оптимальное решение.
Достаточно загрузить набор данных объемом до 1 Гб, и ИИ выполнит всю работу.
В итоге вы получаете готовый проект с кодом и графиками, без утомительной рутины и постоянной отладки.
📌 Попробовать можно здесь
@data_analysis_ml
Хотите научиться автоматизировать процессы обработки данных как в Бигтехе?
Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow.
Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных.
Что мы будем делать на вебинаре:
🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность;
🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных;
🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике;
🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов.
🕗Встречаемся 4 марта в 19:30 по мск
Зарегистрироваться на бесплатный вебинар