15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
⚡️ MIT 6.S191: Reinforcement Learning
https://www.youtube.com/watch?v=8JVRbHAVCws
@bigdatai
⚡️ RLAIF-V-Dataset - это большой мультимодальный датасет отзывов, содержащий изображения + вопросы, а также выбранные и отклоненные ответы.
Доступно на сайте hugging.
Hub: https://huggingface.co/datasets/HaoyeZhang/RLAIF-V-Dataset
@bigdatai
💻 Kafka БАЗА по Теории и Практике.
https://www.youtube.com/watch?v=W7ZCXcxQxV8
@bigdatai
⚡️ Google выпустил Model Explorer — самый передовой инструмент для визуализации архитектуры моделей большого языка (LLM). Он позволяет пользователям глубоко погружаться в внутреннее устройство, слои и операции выбранной LLM.
Model Explorer представляет LLM как четкую иерархическую структуру, помогая пользователям понять их работу и диагностировать возможные проблемы. Для специалистов, работающих с ИИ, этот инструмент является незаменимым помощником.
Перейдите по ссылке, чтобы использовать Model Explorer: ссылка на Model Explorer
https://ai.google.dev/edge/model-explorer
@bigdatai
Panoptic Scene Graph Generation
Мы живем в трехмерном пространстве, в то время как движемся вперед через четвертое измерение - время.
Новая модель 4D Panoptic Scene Graph (PSG-4D), для всестороннего понимание 4D-окружения, которое объединяет необработанные визуальные данные, воспринимаемые в динамичном 4D-мире, и визуальное понимание высокого уровня
PSG-4D интерпретирует различные сенсорные данные в формате 4D в узлы, которые представляют объекты с точным местоположением и информацией о статусе объекта, и ребра, которые фиксируют временные отношения.
Чтобы облегчить исследования в этой новой области, разработки выпустили аннотированный набор данных PSG-4D, состоящий из 3K RGB-D видеороликов общим объемом 1 млн кадров, каждый из которых помечен 4D-масками для сегментации, а также детализированными динамическими графиками сцен.
Для решения задачи PSG-4D представлена PSG4DFormer - модель на основе трансформеров, которая может предсказывать маски сегментации, отслеживать маски вдоль оси времени и генерировать соответствующие графики сцен с помощью компонента отношений.
Обширные тесты с новым набором данных показывают, что метод может послужить надежной основой для будущих исследований PSG-4D.
▪Github
▪Paper
@ai_machinelearning_big_data
Google I/O 2024: AI That Looks Like Magic!
https://www.youtube.com/watch?v=MEJo5YSOrnU
@bigdatai
Как проверить качество рекомендательных систем — учимся делать AB-тесты
Откройте для себя новые грани Data Science на открытом практическом уроке от OTUS, где вы:
- познакомитесь с особенностями оценки качества рекомендательных систем;- научитесь вычислять длительность AB-теста;
- узнаете, как делать вывод о его результатах.
Встречаемся 20 мая в 20:00 мск в преддверии старта курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!
Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://clck.ru/3AeQAf?erid=LjN8K2gq3
Друзья, этой осенью состоится грандиозное событие: Ai Conf 2024 – первая прикладная конференция по Data Science.
Программа будет строиться вокруг областей применения машинного обучения, а к выступлению приглашены не только спикеры из отраслей IT, ECommerce, но и реальный сектор.
Основные темы конференции:
- звук, зрение, изображения
- обработка естественного языка
- рекомендательные системы и поиск
- умные механизмы
- оптимизация использования железа и др.
До 15 июня принимаются заявки на доклады. Есть чем поделиться - подайте заявку https://tglink.io/d6618c205fd3.
А 23 мая в 18:00 приглашаем на встречу докладчиков с программным комитетом, где обсудим какие темы будут актуальны на AI Conf. Встреча онлайн, регистрируйтесь на сайте!
Подробности о конфeренции AiConf 👉 https://tglink.io/16ee819aa5ca
Yandex приглашает поучаствовать в Practical ML Conf 14 сентября!
На конференции поговорим о том, как применять ML-технологии в бизнесе и реальных продуктах. Регистрируйтесь уже сейчас — те, кто сделает это раньше всех, попадут на закрытый мини-ивент в июле.
А если хотите поделиться своим опытом в ML, станьте спикером, оставив заявку. Ключевые темы конференции — CV, RecSys, MLOps, NLP, Speech и Analytics. После подачи программный комитет рассмотрит заявки и примет решение об участии каждого претендента.
🔹 Сбор заявок завершится 13 июля.
Реклама. ООО "Яндекс", ИНН 7736207543.
⚡️ QServe: Квантование W4A8KV4 для эффективного обслуживания LLM
Увеличивает максимально достижимую производительность Qwen1.5-72B в 2,4 раза при 100-дюймовой скорости и в 3,5 раза при L40S по сравнению с TensorRT-LLM.
▪ Github
@bigdatai
🔝 Команда разработки AllSee выложили статью на Habr о том, как внедрять YandexGPT API в свои проекты
Показали, как решать проблемы интеграции YandexGPT. А именно — отсутствие официального SDK. Авторы создали свой и пошагово расписали, как его интегрировать.
https://habr.com/ru/articles/812979/
@bigdatai
🌟 Redpanda — платформа для потоковой передачи данных
Совместима с API Kafka. В 10 раз быстрее. Никакого ZooKeeper. Никаких JVM
— brew install redpanda-data/tap/redpanda && rpk container start
(rpk скачать можно тут)
Redpanda спроектирована для полной загрузки быстрых накопителей данных, таких как SSD или NVMe-устройства, а также на использование преимуществ многоядерных процессоров и компьютеров с большим объемом оперативной памяти. Это позволяет достичь максимальной производительности при обработке значительных объемов данных и запросов.
🖥 GitHub
🟡 Доки
🟡 Другой взгляд на Redpanda
@DevOPSitsec
💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.
Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM.
📚И все это под руководством опытного эксперта на открытом практическом уроке от OTUS, где вы:
- познакомитесь с двумя подходами к построению рекомендательных систем: collaborative filtering и content-based;
- изучите архитектуру модели LightFM, которая позволяет объединять эти подходы;
- примените модели LightFM на практике.
📌Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!
Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://clck.ru/3ASBZP?erid=LjN8KEmZD
⚡️ Тинькофф разбор заданий на стажировку!
▪Видео
▪Задачи
@bigdatai
DeepMind’s New Robots: An AI Revolution!
https://www.youtube.com/watch?v=ET-MmoeSvXk
@bigdatai
⚡️ Если бы вам разрешили выбрать только один ресурс для подготовки к собеседованию, какой бы вы выбрали?
Безусловным лидером среди таких ресурсов является репозиторий Tech Interview Handbook.
Этот обширный справочник, созданный усилиями большого сообщества, помог сотням тысяч разработчиков успешно подготовиться к собеседованиям.
В репозитории вы найдете:
* Практические советы по подготовке к различным этапам собеседования
* Подробные обзоры тем
* Шпаргалки и другие полезные материалы
Главное преимущество репа Tech Interview Handbook перед аналогичными ресурсами заключается в том, что он содержит всю необходимую и полезную информацию непосредственно в самом репозитории, без необходимости переходить по внешним ссылкам. Кроме того, в нем рассматривается более широкий спектр тем, включая не только алгоритмы и паттерны, но и другие важные аспекты собеседований.
#репозиторий #собеседование #советы #en
▪Github
@bigdatai
Приходите на High SQL — митап ЮMoney о работе с базами данных 😎
Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.
На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.
Темы докладов ⤵️
🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.
Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️
🫖 Слёрм набирает новый поток курса «Data-инженер»
Кто владеет информацией, тот владеет миром. А Data-инженер умеет выстраивать рабочие гипотезы и помогает бизнесу решать бизнес-запросы. А вы можете освоить инструменты и подходы Data-инженера на курсе от Слёрм.
Старт 3 июня. Записаться на курс можно по ссылке ⬅️
Вы освоите наиболее популярные инструменты Data-инжениринга: Bash, Hadoop, Spark, PostgreSQL, ClickHouse, AirFiow, Nifi, Kafka, Neo4j, MongoDBI и другие. Это обширный и полноценный курс, который охватывает как базовые темы, так и более сложный материал.
Эксперты курса:
🔎 Николай Марков. Работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack), писал проекты на Python, а также Golang, C/C++, Scala и Rust. Сейчас выстраивает аналитические архитектуры и Data Governance в разных компаниях.
🐍 Николай Акимов, инженер по внедрению в TaskData. В профессиональном IT уже более 20 лет. Активно участвует в Open Source проектах на Github, поддерживает сообщество NiFi.
🌺Ася Гайламазян. Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продажах в роли разработчика системного обеспечения.
Как проходит обучение:
Эксперты рассматривают каждую тему в коротких видеоуроках.
После каждого занятия будут идти практические задания и тесты — можно пройти теорию и сразу закрепить её.
В заданиях вы можете развернуть стенды и отработать учебный материал на практике.
Всех студентов мы соберем в одном чате в Telegram: здесь можно будет поделиться инсайтом, задать вопрос кураторам и экспертам курса.
После каждого тематического блока спикеры курса готовы будут встретиться с вами на онлайн-сессиях и обсудить возникшие сложности, ответить на любые вопросы по учебной программе.
Старт 3 июня. Записаться на курс можно по ссылке
Реклама ООО «Слёрм» ИНН 3652901451
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее Fast Track мероприятия:
• 8–9 июня — Fast Track для дата-инженеров, офер за 2 дня в DWH команды Маркета.
Зарегистрироваться
🔥Подборка лучших обучающих каналов для программистов.
➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять
⚡Машинное обучение
Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест
💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность
🚀 Data Science
Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных
#️⃣C#
С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа
🐍 Python
Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги
☕ Java
Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги
💻 C++
C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии
⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend
🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов
📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки
🇬🇧 Английский для программистов
🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence
🔥 DevOPs
Devops для программистов
Книги Devops
🌟 Docker/Kubernets
Docker
Kubernets
📓 Книги
Библиотеки Книг для программситов
💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend
💥 Бесплатный Chatgpt бот
⚡️ Chameleon: Mixed-Modal Early-Fusion Foundation Models
Chameleon, новые мультимодальные модели, которые могут генерировать и понимать текст и изображения в любой последовательности.
Это модель авторегрессии с параметрами 34B, обученная на ~ 10T токенах чередующихся смешанных модальных данных.
Она превосходит такие модели, как Flamingo, IDEFICS, Llava-1.5, и в то же время не уступает Mixtral-8 x 7 Band Gemini Pro в выполнении задач, связанных только с текстом.
Модель даже превосходит GPT-4V в оценке человеком.
abs: https://arxiv.org/abs/2405.09818
@bigdatai
👉 Интерактивные инструменты для машинного обучения
Это один из лучших и наиболее рекомендуемых репо на github для использования инструментов, которые помогут вам разобраться в различных темах машинного обучения.
🔗 https://github.com/Machine-Learning-Tokyo/Interactive_Tools
@bigdatai1
Вышла новая, улучшенная версия GPT-4 Omni, которая уже бьет все рекорды
https://habr.com/ru/news/814037/
@bigdatai1
🔥 В понедельник OpenAI анонсирует ИИ-поисковик — за день до старта Google I/O
На днях стало известно, что компания OpenAI планирует анонсировать продукт на базе искусственного интеллекта в сфере интернет-поиска. Теперь же сообщается, что ждать анонса долго не придётся — поисковик от OpenAI представят уже в будущий понедельник, а сам продукт будет позиционироваться как потенциальный конкурент поисковику Google и ИИ-поисковику стартапа Perplexity.
Любопытно, что анонс нового продукта OpenAI в сфере интернет-поиска должен состояться за день до начала ежегодной конференции Google I/O, которая стартует во вторник. Ожидается, что в рамках этого мероприятия Google анонсирует большое количество программных продуктов, связанных с искусственным интеллектом.
📎 Подробнее
@bigdatai
🧠 Улучши ИИ на хакатоне X5 Tech AI Hack! У тебя будет 10 дней, чтобы избавить нейросеть от галлюцинаций или научить ее работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей.
Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackbdai
Приглашаем на хакатон экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. На выбор – один из двух треков:
🥷 Трек 1. Маскирование. При использовании сторонней языковой модели нельзя передавать ей чувствительные данные организации – имена клиентов, доменные адреса и прочие. Поэтому участникам необходимо подготовить алгоритм, который заменит эти сведения в тексте без потери смысла.
🔎 Трек 2. Детекция галлюцинаций. Никто не любит, когда ИИ-ассистент в ответ на вопрос дает неправильную информацию. Задача конкурсантов – разработать систему, которая сможет эффективно выявлять аномалии в текстах, сгенерированных нейросетью.
Хакатон продлится 10 дней. У тебя будет шанс получить консультацию от крутых ML-экспертов и специалистов по Data Science, обсудить решения с единомышленниками, узнать больше о проектах X5 Tech.
28-29 мая по результатам тестирования моделей участников 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет 30 мая на мероприятии X5 Future Night.
Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackbdai
Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8KaLjm
⚡️ Ludwig — Python-фреймворк для создания пользовательских LLM и нейронных сетей
— pip install ludwig[full]
Особенности:
🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.
🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.
🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.
🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.
🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.
https://github.com/ludwig-ai/ludwig
⚡️ Google just dropped Code Gemma 1.1 7B IT 🔥
СЮРПРИЗ: Google только что выпустила Code Gemma 1.1 7B IT 🔥
Модели постепенно становятся все совершеннее в генерации кода .
Значительный прогресс достигнут для C#, Go, Python 🐍
Вместе с версией 7B они также выпустили обновленную базовую модель 2B.
Наслаждайтесь!
• 7B: https://huggingface.co/google/codegemma-1.1-7b-it
• 2B: https://huggingface.co/google/codegemma-1.1-2b
• Report: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf
@ai_machinelearning_big_data
🌟 В Google Фото можно будет улучшать видео по клику
Недавно Google Фото анонсировала AI-инструмент для редактирования фотографий Magic Editor, который был доступен только на последних смартфонах Pixel.
Теперь же Google Фото доступен на большем числе устройств Android, Chromebook и iOS, а скоро в нём появится новая опция для редактирования видео.
@bigdatai
☁️ OpenDAC
Исследователи из GeorgiaTech опубликовали крупнейший датасет и новую SOTA модель для исследования прямого захвата воздуха, это — ключевой процесс для борьбы с изменением климата ☺️
https://open-dac.github.io/
@bigdatai
⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.
▪Смотреть
▪Данные
▪Ноутбук
@machinelearning_ru