Как подобрать правильные инструменты, чтобы использовать возможности больших данных на полную?
📅 31 августа | 16:00
7-й выпуск онлайн-дискуссии серии «Откровенно об ИТ-инфраструктуре» посвящен большим данным и инфраструктуре для их эффективного хранения и обработки.
Гости дискуссии: представитель Arenadata по облачным партнерствам Антон Близгарев и технический менеджер КРОК Сергей Синагейкин.
Обсудим:
▪️ Ожидания от больших данных сегодня: тренды, кейсы
▪️ Какие типы данных анализируют компании
▪️ Как правильно выбирать инфраструктуру больших данных
▪️ Big data из облака: возможно ли?
▪️ От бизнес-запроса до реализации: проекты больших данных
Ведут дискуссию:
Сергей Зинкевич
Директор бизнес-юнита КРОК Облачные сервисы
Александр Фикс
Менеджер по развитию бизнеса КРОК Облачные сервисы
📍Подключайтесь! Регистрация тут>>
Реклама. Информация о рекламодателе на сайте cloud.croc.ru
Онлайн-конференция по большим данным от Х5 Tech
В программе:
🎯 Развитие команды аналитики в сервисе доставки из магазинов «Пятёрочка»: зарождение продукта, трудности, неудачные решения.
🎯 Как работает Data-спецназ X5 Tech, автоматизация А/Б тестирования в оффлайне и что делать математику в ритейле.
🎯 Необходимые инструменты мониторинга и управления, когда число IT-продуктов и ML-моделей исчисляется сотнями. Подходы к оптимизации распределения ресурсов и учет рисков.
🎯 Классический подход к проведению рекламы VS AdHoc-подход на основе эконометрической модели: ключевые факторы динамики трафика, влияние РК, оценка ROI и оптимизация затрат с помощью big data.
📅 31 августа, начало в 11:00
🌐 Формат - онлайн
Зарегистрироваться
🏅MixSort
MixSort is the proposed baseline tracker in SportMOT.
Новая модель и датасет для трекинга спортивных сцен.
🖥 Github: https://github.com/MCG-NJU/MixSort
📕 Paper: https://arxiv.org/pdf/2304.05170.pdf
⭐️ SportsMOT: https://github.com/MCG-NJU/SportsMOT
ai_machinelearning_big_data
⚡prompt2model - Generate Deployable Models from Instructions
prompt2model - Generate Deployable Models from Natural Language Instructions
Prompt2Model - это система, которая на основе описания задачи на естественном языке (например, промптов, используемых в LLM, таких как ChatGPT) обучает небольшую специализированную модель, пригодную для быстрого развертывания.pip install prompt2model
🖥 Github: https://github.com/neulab/prompt2model
📕 Paper: https://arxiv.org/abs/2308.12261v1
⭐️ Demo: https://github.com/facebookresearch/sonar#usage
☑️ Dataset: https://paperswithcode.com/dataset/mconala
ai_machinelearning_big_data
💡 Sentence-Level Multimodal and Language-Agnostic Representations
SONAR, a new multilingual and multimodal fixed-size sentence embedding space.
Новый Текстовый кодер-декодер от Meta, охватывающий 200 языков, который существенно превосходит существующие модели.
🖥 Github: https://github.com/facebookresearch/sonar
📕 Paper: https://arxiv.org/pdf/2308.11466v1.pdf
⭐️ Demo: https://github.com/facebookresearch/sonar#usage
☑️ Dataset: https://paperswithcode.com/dataset/common-voice
ai_machinelearning_big_data
🚀 Introducing IDEFICS: An Open Reproduction of State-of-the-Art Visual Language Model
An open-access visual language model. IDEFICS is based on Flamingo, a state-of-the-art visual language model initially developed by DeepMind, which has not been released publicly.
IDEFICS - это модель с открытым доступом визуального языка , разработанной компанией Deepmind. Как и GPT-4, мультимодальная модель принимает на вход произвольные последовательности изображений и текстов и выдает на выходе текст. IDEFICS построена исключительно на основе общедоступных данных и моделей.
Модель может отвечать на вопросы об изображениях, описывать визуальное содержимое, создавать истории на основе нескольких изображений или просто вести себя как чистая языковая модель.
☑️ Model: https://huggingface.co/HuggingFaceM4/idefics-80b-instruct
🖥 Github: https://github.com/huggingface/blog/blob/main/idefics.md
⭐️ Demo: https://huggingface.co/spaces/HuggingFaceM4/idefics_playground
🤗 HF: https://huggingface.co/WizardLM
ai_machinelearning_big_data
⚡📢SeamlessM4T
SeamlessM4T is designed to provide high quality translation, allowing people from different linguistic communities to communicate effortlessly through speech and text.
Только что Meta выпустила самый мощный нейро-переводчик на сегодняшний день. SeamlessM4T понимает более 100 языков и умеет осуществлять все типы переводов: из текста в текст, из речи в текст, из текста в речь и даже из речи в речь.
▪Github
▪Article
▪Demo
▪Hugging face
ai_machinelearning_big_data
💻 Хочешь работать с масштабными цифровыми продуктами? Учись обрабатывать большие данные
MLOps — все более популярный среди компаний способ повышения производительности и создания надежных моделей корпоративного уровня.
✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.
💪 Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на продвинутом курсе «MLOps» от OTUS.Успей присоединиться к группе, курс стартует 31 августа!
✍️ ПРОЙТИ ТЕСТ: https://otus.pw/P1XwO/Нативная интеграция. Информация о продукте www.otus.ru
💨CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
Новый фреймворк для переноса создания любого стиля на видео.
🖥 Github: https://github.com/qiuyu96/codef
☑️ Project: https://qiuyu96.github.io/CoDeF/
📕 Paper: https://arxiv.org/abs/2308.07926
⭐️ Demo: https://ezioby.github.io/CoDeF_Demo/
ai_machinelearning_big_data
⚡Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
Машинное обучение: @machinelearning_ru
Go: @Golang_google
C#: @csharp_ci
Базы данных: @sqlhub
Python: @pythonl
C/C++/: @cpluspluc
Data Science: @data_analysis_ml
Devops: @devOPSitsec
Rust: @rust_code
Javascript: @javascriptv
React: @react_tg
PHP: @phpshka
Docker: @docker
Android: @android_its
Мобильная разработка: @mobdevelop
Linux: linuxacademy
Big Data: t.me/bigdatai
Хакинг: @linuxkalii
Java:@javatg
Собеседования: @machinelearning_interview
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
🔥ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: @english_forprogrammers
✔️ DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching
Новая мощная система распознавания, описание и сопоставления изображений.
3d объектов .
🖥 Github: https://github.com/parskatt/dedode
☑️ TensorRT: https://github.com/fabio-sim/DeDoDe-ONNX-TensorRT
📕 Paper: https://arxiv.org/abs/2308.08479
⭐️ Demos: https://github.com/Parskatt/DeDoDe/blob/main/demo
ai_machinelearning_big_data
🧑💻DeciCoder: A new open-source LLM, specialized for generating code in Python, Java, and Javascript.
🚀Новый LLM с открытым исходным кодом, специализированный для генерации кода на языках Python, Java и Javascript.
Авторегрессивная языковая модель, отличающаяся исключительной производительностью и эффективным использованием памяти.
- parameters: 1 B
- dataset: 'The Stack' dataset
- supports: Python, Javascript, Java
- context: 2048 tokens
▪Model
▪Colab
▪Dataset
ai_machinelearning_big_data
✍ EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models
EasyEdit, demonstrating that knowledge editing surpasses traditional fine-tuning in terms of reliability and generalization.
Новый фреймворк для настройки и редактирования ответов больших языковых моделей. EasyEdit работает с LlaMA-2, GPT-J, Llama, GPT-NEO, GPT2, T5 и другими популярными моделями(поддерживаются модели от 1B до 65B).
🖥 Github: https://github.com/zjunlp/easyedit
📕 Paper: https://arxiv.org/abs/2308.07269v1
⭐️ Demo: http://knowlm.zjukg.cn/demo_edit
🎓Online Tutorial: https://colab.research.google.com/drive/1zcj8YgeqttwkpfoHXz9O9_rWxFFufXSO?usp=sharing
☑️ Docs: https://zjunlp.gitbook.io/easyedit
🤓 Dataset: https://drive.google.com/file/d/1IVcf5ikpfKuuuYeedUGomH01i1zaWuI6/view?usp=sharing
ai_machinelearning_big_data
🏅 Партнер Сбера BI.ZONE провел отборочные соревнования по этичному хакингу CTFZone
В квалификационном этапе приняли участие 1326 команд из 117 стран мира — 10 победителей из России, Индонезии, Китая, Южной Кореи, Чехии и Франции посоревнуются в финале в ноябре. Первые три места получат 10 тыс., 5 тыс. и 3 тыс. долларов соответственно. Всего в отборочных необходимо было решить 26 заданий в 7 категориях: спортивное программирование, эксплуатация уязвимостей, расследование кибератак, криптография и другие направления в сфере кибербезопасности.
ai_machinelearning_big_data
В июле прошли ИТ-соревнования IT’s Tinkoff Capture the Flag. На нашей памяти это одни из самых необычных соревнований
Почему это было круто?
✅ Креативные задания, основанные на трендах массовой культуры и мемах (да, вам не показалось)
✅ 6863 команды из 13 городов России и Беларуси
✅ Офлайн и онлайн формат
✅ Первые соревнования по спортивному хакингу для всех ИТ-спецов
Таких заданий еще никто раньше не делал. Вот например:
«Галя, у нас отмена», — отчаянно кричит продавщица. Очередь из покупателей уходит за горизонт. «Молодой человек, второй год зову Галю, а ее все нет и нет — вон какая очередь. Может, просто взломаем программу, а?». Разберитесь в магазинном софте и сделайте отмену.»
🌄Scenimefy: Learning to Craft Anime Scene via Semi-Supervised Image-to-Image Translation
Novel semi-supervised image-to-image translation framework
Новый фреймворк для Автоматического высококачественного рендеринга аниме-сцен из сложных реальных изображений.git clone https://github.com/Yuxinn-J/Scenimefy.git
🖥 Github: https://github.com/yuxinn-j/scenimefy
▶️ Project: https://yuxinn-j.github.io/projects/Scenimefy.html
📕 Paper: https://arxiv.org/abs/2308.12968v1
🚀 Demo: https://yuxinn-j.github.io/projects/Scenimefy.html
⭐️ Dataset: https://github.com/Yuxinn-J/Scenimefy#open_file_folder-anime-scene-dataset
ai_machinelearning_big_data
Онлайн-конференция по большим данным от Х5 Tech
В программе:
🎯 Развитие команды аналитики в сервисе доставки из магазинов «Пятёрочка»: зарождение продукта, трудности, неудачные решения.
🎯 Как работает Data-спецназ X5 Tech, автоматизация А/Б тестирования в оффлайне и что делать математику в ритейле.
🎯 Необходимые инструменты мониторинга и управления, когда число IT-продуктов и ML-моделей исчисляется сотнями. Подходы к оптимизации распределения ресурсов и учет рисков.
🎯 Классический подход к проведению рекламы VS AdHoc-подход на основе эконометрической модели: ключевые факторы динамики трафика, влияние РК, оценка ROI и оптимизация затрат с помощью big data.
📅 31 августа, начало в 11:00
🌐 Формат - онлайн
Зарегистрироваться
👀 Как используют компьютерное зрение в промышленных роботах
Внедрение компьютерного на производстве важно, потому что оно помогает снизить риски для работников, автоматизируя опасные или монотонные задачи. Роботов учат распознавать объекты, оценивать параметры, проводить сложные анализы.
🤖 Яндекс тоже использует нейронные сети для своих складских роботов. А точнее систему сканирования на базе компьютерного зрения в серии роботов Яндекс Маркета: в роботе Spectro для проведения палетной инвентаризации на складах Маркета и в системе для определения положения коробок.
Руководитель группы разработки компьютерного зрения и бизнес-процессов на роботе Валерий Ильин расскажет об этом на хардовой конференции для экспертов по ML.
Это всего одна тема из всех докладов. Эксперты затронут генеративные модели, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm. Конференция Practical ML Conf пройдёт 7 сентября офлайн и онлайн. Регистрация — здесь.
ai_machinelearning_big_data
🤖Стартовала конференция по кибербезопасности OFFZONE 2023
Организатором мероприятия выступает партнер Сбера компания BI.ZONE. 24-25 августа более 110 спикеров расскажут о быстроменяющемся ландшафте кибербезопасности с экскурсом в историю за последние 10 лет, поделятся важными знаниями и лайфхаками для безопасников.
Также BI.ZONE представит итоги работы собственной платформы Bug Bounty. Помимо этого, будут работать прикладные воркшопы, где профессионалы с многолетним опытом расскажут о технологиях COM и подходах к исследованию Windows, применении ИИ для защиты информации и многом другом. Участникам конференции будет доступна секция о безопасности приложений, где покажут наглядно, как искать необычные уязвимости.
В AntiFraud.Zone обсудят вопросы банковской безопасности и борьбы с финансовыми преступлениями, как бороться с новыми видами атак и превентивно реагировать на угрозы, как устроен мошеннический кол‑центр и что нового появилось в антифрод‑системах за последние несколько лет.
ai_machinelearning_big_data
Как устроены ChatGPT, Siri, Алиса и Маруся — и какие навыки нужны, чтобы запускать такие продукты?
Узнайте у Владимира Васильева, руководителя направления из «Сбера», разрабатывающего русскую версию ChatGPT.
Регистрируйтесь на бесплатный онлайн-практикум от ТГУ и Skillfactory 29 августа в 17:00 мск.
За 1,5 часа вы:
— изучите ключевые задачи и навыки для работы с NLP;
— погрузитесь в мировые тренды развития анализа естественного языка;
— поймете с чего начать карьеру в NLP.
Регистрация по ссылке БЕСПЛАТНО: https://go.skillfactory.ru/&erid=LatgC5uSw
Реклама, ООО «Скилфэктори», ИНН: 9702009530
Делимся с вами полезным IT event-ом, который пройдет онлайн в этот четверг:
Куда развивается разработка в e-com? 🛒
E-com — индустрия с высокой конкуренцией. Поэтому сложных IT-задач там достаточно: highload, персонализация и необходимость оперативно запускать новые продукты и масштабироваться.
24 августа на бесплатной онлайн-конференции E-COMMUNITY руководители разработки из СберМаркета, Ozon, X5 и Lamoda поделятся свежими технологическими кейсами в архитектуре, ML, бэкенде и DevOps.
Присоединяйся к E-COMMUNITY, если интересно узнать про настоящее и будущее IT в e-com.
Регистрация по ссылке
🗓 24 августа, 16:00-20:00 мск • Онлайн
☄️Dataset Quantization
DQ is able to generate condensed small datasets for training unseen network architectures with state-of-the-art compression ratios for lossless model training.
Квантование наборов данных (DQ) - новая схема сжатия больших наборов данных в небольшие сабсеты, которые могут быть использованы для обучения любых нейросетевых архитектур.git clone https://github.com/vimar-gu/DQ.git
cd DQ
🖥 Github: https://github.com/magic-research/dataset_quantization
📕 Paper: https://arxiv.org/abs/2308.10524v1
☑️ Dataset: https://paperswithcode.com/dataset/gsm8k
ai_machinelearning_big_data
🪄WizardLM: Empowering Large Pre-Trained Language Models to Follow Complex Instructions
Model outperforms ChatGPT-3.5, Claude Instant-1, PaLM-2 and Minerva on GSM8k, simultaneously surpasses Text-davinci-002, PaLM-1 and GPT-3 on MATH.
Фреймворк WizardMath, который расширяет способности Llama-2 к математическому мышлению, применяя метод Reinforcement Learning from Evol-Instruct Feedback (RLEIF) к области математики.
WizardMath с существенным отрывом превосходит все остальные LLM с открытым исходным кодом в решение мат. задач.
🖥 Github: https://github.com/nlpxucan/wizardlm
📕 Paper: https://arxiv.org/abs/2308.09583v1
🤗 HF: https://huggingface.co/WizardLM
☑️ Dataset: https://paperswithcode.com/dataset/gsm8k
ai_machinelearning_big_data
👁 MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions
Новый крупномасштабный датасет MeViS для сегментации движущихся объектов на основе текстового ввода.
🖥 Github: https://github.com/henghuiding/MeViS
☑️ Evaluation Server: https://codalab.lisn.upsaclay.fr/competitions/15094
📕 Paper: https://arxiv.org/abs/2308.08479
⭐️ Dataset: https://codalab.lisn.upsaclay.fr/competitions/15094
ai_machinelearning_big_data
FLAIR: A Foundation LAnguage Image model of the Retina
🖥 Github: https://github.com/jusiro/flair
📕 Paper: https://arxiv.org/pdf/2308.07898v1.pdf
🔥 Dataset: https://paperswithcode.com/dataset/imagenet
@ai_machinelearning_big_data
Курс «Английский для аналитиков» Яндекс Практикума
Для специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде.
Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:
🗣 Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.
🙌 Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании.
👨💻 Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков.
📈 Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли.
📝 Обсуждение решений по проекту. Генерация и аргументация идей, участие в мозговых штурмах.
🚀 Рефлексия и самоанализ. Ретроспектива, ревью, ответы на сложные вопросы.
Запишитесь на бесплатную консультацию. Кураторы определят ваш уровень языка и расскажут подробнее про обучение.
⚡️🧑💻 Сберовский ИИ GigaChat вышел в мир
Нейросеть интегрировали с голосовым ассистентом Салют — теперь он доступен в умных колонках SberBoom и запускается голосовой командой «Салют, включи GigaChat».
Тем, у кого пока нет колонок, воспользоваться Гигачатом можно по ссылке.
🔥Platypus: Quick, Cheap, and Powerful Refinement of LLMs
Family of fine-tuned and merged LLMs that achieves the strongest performance and currently stands at first place in HuggingFace's
Cемейство точно настроенных больших языковых моделей (LLM), которое достигло самой высокой производительности и в настоящее время занимает первое место в открытой таблице лидеров LLM HuggingFace на момент выхода этой статьи
Модель 13B Platypus может быть обучена на одном GPU A100 на 25 тыс. вопросов за 5 часов!git clone https://github.com/lm-sys/FastChat.git
cd FastChat
🖥 Github: https://github.com/arielnlee/Platypus
💻 Project: https://platypus-llm.github.io/
📕 Paper: https://arxiv.org/abs/2308.07317v1
⭐️ Dataset: https://huggingface.co/datasets/garage-bAInd/Open-Platypus
ai_machinelearning_big_data
⚡️🧑💻 Awesome AI-Powered Developer Tools
Это список инструментов для разработчиков, основанных на искусственном интеллекте. Эти инструменты используют ИИ для помощи разработчикам в решении таких задач, как написание кода, рефакторинг, отладка, создание документации и т. д.
▪Githib
ai_machinelearning_big_data
⚡Top 100+ Machine Learning Projects for 2023 [with Source Code]
В этой статье вы найдете 100+ лучших проектов и идей в области машинного обучения, которые будут полезны как начинающим, так и опытным специалистам.
📌 Projects
ai_machinelearning_big_data