Machinelearning

27 Jun 2023 11:01

Зачем Data-инженеру Spark

В Почте Mail.ru работают со стеком Hadoop, Hive, Clickhouse, Spark. В данной статье на Хабре Data-инженер из команды Почты Mail.Ru остановился на некоторых аспектах работы с данными в Spark.

Он ответил на следующие вопросы: как превратить 7 петабайт в 0,5 петабайт, что позволило сэкономить годовой бюджет по закупке серверов и построить своё классное хранилище без последующей переделки.

Также в статье: архитектурные паттерны в хранилище Почты, эффективное хранилище данных, форматы хранения данных, параллельная обработка данных в Spark, запись колоночных файлов, запросы к данным в Spark и др.

Хабр: https://habr.com/ru/companies/vk/articles/742084/

ai_machinelearning_big_data

Machinelearning

26 Jun 2023 17:37

Data Science | Machinelearning - самый большой русскоязычный канал с полезными материалами на такие темы как, Machine Learning, Data Science, Алгоритмы, Python. Так же часто публикуются крутые 🔥 вакансии.

👉 Вам сюда: @devsp

А любителям читать статьи в оригинале вот сюда:
👉 @ds_international

Добро пожаловать!

Machinelearning

24 Jun 2023 10:59

🦾 Rofunc: The Full Process Python Package for Robot Learning from Demonstration and Robot Manipulation

A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model.

Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации.

pip install rofunc

import rofunc as rf
import numpy as np
from isaacgym import gymutil
from importlib_resources import files

# Demo
raw_demo_l = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_l.npy'))
raw_demo_r = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_r.npy'))
demos_x_l = [raw_demo_l[300:435, :], raw_demo_l[435:570, :], raw_demo_l[570:705, :]]
demos_x_r = [raw_demo_r[300:435, :], raw_demo_r[435:570, :], raw_demo_r[570:705, :]]
rf.lqt.plot_3d_bi(demos_x_l, demos_x_r, ori=False, save=False)

# TP-GMM
show_demo_idx = 1
_, _, gmm_rep_l, gmm_rep_r = rf.tpgmm.bi(demos_x_l, demos_x_r, show_demo_idx=show_demo_idx, plot=True)

🖥 Github: https://github.com/skylark0924/rofunc

📕 Paper: https://arxiv.org/abs/2306.12677v1

🔗Dataset: https://paperswithcode.com/dataset/plasticinelab

ai_machinelearning_big_data

Machinelearning

22 Jun 2023 19:01

Продолжается прием научных статей по искусственному интеллекту и машинному обучению на конкурс международной конференции AI Journey 2023

За лучшую статью автор получит 1 миллион рублей. Наиболее интересные работы будут опубликованы в научном журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics. Издание индексируется в крупнейших библиографических базах данных научного цитирования.

Авторы также смогут выступить с докладами на международной конференции AI Journey 2023.

Свою работу можно подать на сайте AI Journey до 31.07. Важно, чтобы статья была написана на русском или английском языке, содержала ранее не опубликованные материалы и была оформлена по правилам конкурса.

Не упустите шанс проявить себя в научной сфере и участвуйте в конкурсе. Еще не поздно!

Machinelearning

22 Jun 2023 10:01

Какую альтернативу Vendor-Lock использовать для клиентской аналитики?

Это один из главных вопросов, которые встали перед командой X5 Tech в 2022 году.

О том, как IT-компания, которая обеспечивает цифровые нужды ритейлера, нашла и быстро внедрила новое решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis, команда расскажет на митапе 27 июня.

🔹 В онлайн формате выступят спикеры компании:

Ермаченков Владимир, менеджер направления клиентской аналитики в цифровых каналах

Бассай Сергей, архитектор данных

Гундилович Александр, старший разработчик

🔔 Старт в 18:00
Регистрация и подробности тут
Участие бесплатное

Machinelearning

21 Jun 2023 11:58

Не упустите уникальную возможность сделать карьеру в области машинного обучения.

SMILES-2023 — это 12-дневный интенсивный курс для молодых специалистов, где вы сможете применить знания физики и машинного обучения для эффективного решения сложных инженерных задач в области устойчивого развития.

Школа пройдёт с 20 по 31 августа в туркластере Белокуриха Горная — уникальной предгорной местности Алтайского края. Участие — бесплатное, но на основе конкурсного отбора. Подробности и подача заявки.
Реклама. Автономная некоммерческая образовательная организация

высшего образования «Сколковский институт науки и технологий», ИНН 5032998454

Machinelearning

20 Jun 2023 17:02

Хотите принять участие в создании лучшей системы безопасности? 👨‍💻

Тогда приходите на One Day Offer для Data Scientists и Machine Learning Engineers 24 июня и за один день станьте частью команды, которая развивает систему форд-мониторинга для защиты клиентов Сбера везде: от онлайн-покупок до визитов в офисы.

Чем предстоит заниматься, если вы успешно пройдете отбор:

✔️ Создавать real-time, look-alike и графовые модели выявления транзакций, устройств и связей мошенников и мошеннических групп.
✔️ Строить модели обработки, классификации и суммаризации обращений по мошенничеству.
✔️ Внедрять модели и мониторить эффективность их работы.
✔️ Развивать внутренние ML-pipelines.

Наша система безопасности уже признана одной из лучших в мире, но мы абсолютно уверены, что с вами она станет еще круче.

Скорее переходите по ссылке, регистрируйтесь на One Day Offer и будьте готовы пройти все этапы отбора за один день! 👌

Machinelearning

20 Jun 2023 10:01

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом.

У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие.

Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции.

✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!

Machinelearning

19 Jun 2023 18:01

Газпромбанк приглашает тебя на новую лекцию Digital Лектория — на ней ты сможешь узнать больше о карьере в Data Science и задать интересующие вопросы IT-эксперту.

Тема: «Data Science: быть или не быть»

Когда: 21 июня, 18:00 (по МСК)

Ирина Скорынина, ведущий аналитик-исследователь, расскажет, кому будет интересно в IT и почему не всем стоит идти в это направление, как развиваться в Data Science с непрофильным образованием, какими навыками и компетенциями должен обладать Data Scientist и как выглядит roadmap специалиста в этой сфере.

Регистрируйся и приходи на лекцию, чтобы узнать больше о направлении Data Science: https://www.gpbspace.ru/digital-lectory-hall-form

Реклама Банк ГПБ (АО), ИНН: 7744001497 erid:LjN8Jste3

Machinelearning

19 Jun 2023 10:26

🔥 Главная в России конференция про Kubernetes®

22 июня 2023 года состоится Kuber Conf — конференция для всех, кто работает с Kubernetes®. Вас ждёт 9 докладов, 12 спикеров, 180 минут техноконтента:

➡️ технические доклады, продуктовые обзоры, лучшие практики от разработчиков и экспертов по контейнерным технологиям;
➡️ создание сервисов и решение бизнес-задач с помощью Kubernetes в финтехе, e-commerce, HoReCa и не только;
➡️ неформальное общение с профессиональным сообществом, встреча старых друзей и новые знакомства.

Регистрируйтесь по ссылке, чтобы получить доступ к онлайн-трансляции Kuber Conf’23!

Machinelearning

18 Jun 2023 12:42

🔥 Подборка каналов для Дата сайентиста

🖥 Machine learning

datasc - Data science в телеграм!
@bigdatai - Big Data

@machinelearning_ru – гайды по машинному обучению
@machinelearning_interview – подготовка к собеседованию мл.
@datascienceiot – бесплатные книги ds
@ArtificialIntelligencedl – ИИ

@machinee_learning – чат о машинном обучении
@datascienceml_jobs - вакансии ds, ml
@Machinelearning_Jobs - чат с вакансиями

#️⃣ c# c++
C# - погружение в C#
@csharp_cplus чат
С++ - обучающий канал по C++.
@csharp_1001_notes - инструменты C#

🖥 SQL базы данных

@sqlhub - Повышение эффективности кода с грамотным использованием бд.
@chat_sql - чат изучения бд.

👣 Golang
@Golang_google - восхитительный язык от Google, мощный и перспективный.
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@golangtests - интересные тесты и задачи GO
@golangl - чат изучающих Go
@GolangJobsit - отборные вакансии и работа GO
@golang_jobsgo - чат для ищущих работу.
@golang_books - полезные книги Golang
@golang_speak - обсуждение языка Go
@golangnewss - новости go

🖥 Linux
linux - kali linux ос для хакинга
linux chat - чат linux для обучения и помощи.
@linux_read - бесплатные книги linux

🖥 Python

@pythonl - главный канал самого популярного языка программирования.
@pro_python_code – учим python с ментором.
@python_job_interview – подготовка к Python собеседованию.
@python_testit - проверочные тесты на python
@pythonlbooks - современные книги Python
@python_djangojobs - работа для Python программистов
@python_django_work - чат обсуждения вакансий

🖥 Javascript / front

@react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов.
@javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS
@Js Tests - каверзные тесты JS
@hashdev - погружение в web разработку.
@javascriptjobjs - отборные вакансии и работа FrontEnd.
@jsspeak - чат поиска FrontEnd работы.

🖥 Java
@javatg - выучить Java с senior разработчиком на практике
@javachats - чат для ответов на вопросы по Java
@java_library - библиотека книг Java
@android_its - Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

👷‍♂️ IT работа

/channel/addlist/_zyy_jQ_QUsyM2Vi -ит каналы по яп с вакансиями

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп
@rust_chats - чат rust

📓 Книги

/channel/addlist/HwywK4fErd8wYzQy - актуальные книги по всем яп

⭐️ Нейронные сети
@vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы.
@aigen - сети для генерации картинок. видео, музыки и многого другого.
@neural – погружение в нейросети.

📢 English for coders

@english_forprogrammers - Английский для программистов

🖥 Devops
Devops - канал для DevOps специалистов.

Machinelearning

14 Jun 2023 16:01

⚡ 21 Must-Have Cheat Sheets for Data Science Interviews: Unlocking Your Path to Success

Список полезных шпаргалок для подготовки к собеседованию по Data Science

▪SQL

1. SQL Basics Cheat Sheet
2. The Essential SQL Commands Cheat Sheet for Beginners
3. SQL Cheat Sheet – Technical Concepts for the Job Interview

▪Python

4. Python Cheat Sheet
5. Python Cheat Sheet
6. Comprehensive Python Cheatsheet

▪R

7. RStudio Cheatsheets

▪Data Structures

8. Data Structures Reference
9. An Executable Data Structures Cheat Sheet for Interviews

▪Data Manipulation

10. Pandas Cheat Sheet for Data Science
11. Pandas Cheat Sheet
12. Data Wrangling With pandas Cheat Sheet

▪Data Visualization

13. Data Visualization Cheat Sheet
14. Data Visualization Cheat Sheet
15. Data Visualization Cheat Sheets

▪Statistics & Probability

16. A Comprehensive Statistics Cheat Sheet for Data Science Interviews
17. The Most Comprehensive Stats Cheat Sheet
18. Statistics Cheat Sheet

▪Algorithms & Models

19. Top Prediction Algorithms
20. Your Ultimate Data Science Statistics & Mathematics Cheat Sheet
21. Cheat Sheet for Machine Learning Models

ai_machinelearning_big_data

Machinelearning

14 Jun 2023 12:01

🧔 4DHumans: Reconstructing and Tracking Humans with Transformers

Fully "transformerized" version of a network for human mesh recovery.

Высокоточная модель реконструкции и отслеживания человека в 3D.

🖥 Github: https://github.com/shubham-goel/4D-Humans

⭐️ Colab: https://colab.research.google.com/drive/1Ex4gE5v1bPR3evfhtG7sDHxQGsWwNwby?usp=sharing

📕 Paper: https://arxiv.org/pdf/2305.20091.pdf

🔗 Project: https://shubham-goel.github.io/4dhumans/

ai_machinelearning_big_data

Machinelearning

13 Jun 2023 10:02

Ищу ml специалиста для разработки быстрой, эффективной системе трекинга движений человека в реальном времени

Мы компания metadreamteam.io - амбициозная команда XR разработчиков и 3Д артистов, работающая на американском рынке, которая делает проекты для всего мира! От Екомерс до real estate. От внедрения лучших решений на рынке до создания своих разработок с нуля.

Сейчас делаем свою разработку по созданию умного зеркала для примерки одежды.

Необходимо разработать систему трекинга на основании данных с rgb потока камеры , включающую от 8 основных точек скелета их положение и вращение с минимальной возможной погрешностью. Нужно выбрать архитектуру, спрогнозировать обьем базы данных, аппаратные мощности для обучения и работы нейросети. И создать ее обосновав решение

Работа удаленная. Фриланс. Оплата от $40 в час

Если ты хочешь работать с лучшими в индустрии, делать амбициозные проекты и зарабатывать в валюте - тогда заполняй эту форму, чтобы присоединиться к нам! - https://forms.gle/JkFgki9dNCggkz5PA

Machinelearning

11 Jun 2023 18:00

Топ-210 технологических решений представили на фестивале «Лидеры цифровой трансформации»

Мероприятие стало финалом самого масштабного одноименного хакатона. ИТ-специалисты со всего мира вышли в офлайн, чтобы представить свои разработки для города и бизнеса. 210 команд ждут итоги и уже завтра жюри назовут имена победителей.

Центральной локацией фестиваля стал брендированный корнер Tada․team с интерактивными задачами и лаунж-зоной. Участники могут выиграть мерч, пройдя квест, сканируя qr-код и запуская приложение чат-бота «История технологий».

Сегодня на сцене выступили научно-популярные спикеры, которые рассказали участникам о последних трендах в ИТ, о квантовых информационных технологиях, эволюции мозга, инновациях в персональных ДНК-тестах и синтетическом дизайне как инструменте для стартапов. Завершился день концертом от 4NN4 (экс- Cream Soda) и группы «Винтаж».

Machinelearning

26 Jun 2023 19:37

⚡ LightGlue. Local Feature Matching at Light Speed

LightGlue a lightweight feature matcher with high accuracy and adaptive pruning techniques, both in the width and depth of the network, for blazing fast inference.

LightGlue, глубокая нейронная сеть, которая учится сопоставлять локальные фичи на изображениях.

git clone https://github.com/cvg/LightGlue.git && cd LightGlue
python -m pip install -e .

🖥 Github: https://github.com/cvg/lightglue

📕 Paper: https://arxiv.org/abs/2306.13643v1

🔗Dataset: https://paperswithcode.com/dataset/hpatches

ai_machinelearning_big_data

Machinelearning

26 Jun 2023 10:03

🔥 Awesome-Multimodal-Large-Language-Models

Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.

Огромный, упорядоченный список новейших статей, датасетов и кода по мультимодальным большим языковым моделям.

🖥 Github: https://github.com/bradyfu/awesome-multimodal-large-language-models

📕 Paper: https://arxiv.org/abs/2306.13394v1

🔗Dataset: https://paperswithcode.com/dataset/coco

ai_machinelearning_big_data

Machinelearning

22 Jun 2023 21:01

⭐️ LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models

Extensible and lightweight toolkit, LMFlow, which aims to simplify the finetuning and inference of general large foundation models.

Расширяемый, удобный и эффективный инструментарий для тонкой настройки больших моделей машинного обучения, разработанный как удобный, быстрый, надежный инструент для работы с большими моделями.

🖥 Github: https://github.com/optimalscale/lmflow

⭐️ Demo: https://lmflow.com/

📕 Paper: https://arxiv.org/abs/2306.12420v1

🔗Dataset: https://paperswithcode.com/dataset/pubmedqa

ai_machinelearning_big_data

Machinelearning

22 Jun 2023 12:01

🚀 Fast Segment Anything

Fast Segment Anything Model reaches comparable performance with the SAM method at 50 times higher run-time speed.

Fast Segment Anything Model (FastSAM) - это модель CNN Segment Anything Model, обученная всего на 2% набора данных SA-1B, опубликованного авторами SAM. FastSAM достигает сравнимой с методом SAM производительности при 50-кратном увеличении скорости выполнения.

git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

🖥 Github: https://github.com/casia-iva-lab/fastsam

⭐️ Demo:https://huggingface.co/spaces/An-619/FastSAM

📕 Paper: https://arxiv.org/pdf/2306.12156.pdf

🔗Dataset: https://paperswithcode.com/dataset/sa-1b

ai_machinelearning_big_data

Machinelearning

21 Jun 2023 12:58

Fine-tuning MMS Adapter Models for Multi-Lingual ASR

MMS' Adapter training is both more memory efficient, more robust and yields better performance for low-resource languages.

Пример с кодом по настройке адаптера, при котором достигается поразительно низкий уровень ошибок в словах всего за 10-20 минут файнтюнинга.

Обучение адаптера MMS является более экономичным, более надежным и обеспечивает высокую производительность.

🤗 Post: https://huggingface.co/blog/mms_adapters

🖥 Colab: https://colab.research.google.com/github/patrickvonplaten/notebooks/blob/master/Fine_Tune_MMS_on_Common_Voice.ipynb

🖥 Github: https://github.com/facebookresearch/fairseq/tree/main/examples/mms/asr

⭐️ Demo: https://huggingface.co/spaces/facebook/MMS

📕 Paper: https://huggingface.co/papers/2305.13516

ai_machinelearning_big_data

Machinelearning

20 Jun 2023 19:02

Multi-Modality Arena

Multi-Modality Arena - это платформа для оценки больших мультимодальных моделей. Multi-Modality Arena позволяет проводить сравнительный анализ моделей, данных, используя изображения в качестве входных данных. Поддерживает MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 и многие другие!

🖥 Github: https://github.com/opengvlab/multi-modality-arena

⭐️ Demo: http://vlarena.opengvlab.com/

📕 Paper: https://arxiv.org/abs/2306.09265v1

🔗Dataset: https://paperswithcode.com/dataset/vsr

ai_machinelearning_big_data

Machinelearning

20 Jun 2023 12:01

REBEL: Relation Extraction By End-to-end Language generation

REBEL is a seq2seq model that simplifies Relation Extraction.

Модель, позволяющая извлекать триплеты из данных с аннотированной бд, охватывающуей 18 языков 40 миллионов экземпляров триплетов.

🖥 Github: https://github.com/Babelscape/rebel

⭐️Demo: https://huggingface.co/spaces/Babelscape/rebel-demo

⭐️ Hugging face: https://huggingface.co/Babelscape/rebel-large

📕 Paper: https://arxiv.org/abs/2306.09802v1

🔗Dataset: https://huggingface.co/Babelscape/rebel-large

ai_machinelearning_big_data

Machinelearning

19 Jun 2023 20:10

Jumanji: a Diverse Suite of Scalable Reinforcement Learning Environments in JAX

Jumanji is helping pioneer a new wave of hardware-accelerated research and development in the field of RL.

Jumanji, набор  моделей для задач RL, специально разработанных для быстрых, гибких и масштабируемого решения. Jumanji предоставляет набор моделей, ориентированных на комбинаторные проблемы, часто встречающиеся в промышленности, а также на сложные общие задачи принятия решений.

🖥 Github: https://github.com/instadeepai/jumanji

📕 Paper: https://arxiv.org/abs/2306.09884v1

🔗 Dataset: https://paperswithcode.com/dataset/mujoco

ai_machinelearning_big_data

Machinelearning

19 Jun 2023 12:42

📌 LOMO: LOw-Memory Optimization

New optimizer, LOw-Memory Optimization enables the full parameter fine-tuning of a 7B model on a single RTX 3090, or a 65B model on a single machine with 8×RTX 3090, each with 24GB memory.

Новый оптимизатор, LOw-Memory Optimization (LOMO), который объединяет вычисление градиента и обновление параметров в один шаг для уменьшения использования памяти. Интегрируя LOMO с существующими методами экономии памяти, можно сократить использование памяти до 10,8% по сравнению со стандартным подходом (решение DeepSpeed).

🖥 Github: https://github.com/OpenLMLab/LOMO/tree/main

📕 Paper: https://arxiv.org/pdf/2306.09782.pdf

🔗 Dataset: https://paperswithcode.com/dataset/superglue

ai_machinelearning_big_data

Machinelearning

18 Jun 2023 14:42

🌐 WizMap: Scalable Interactive Visualization for Exploring Large Machine Learning Embeddings

WizMap - это масштабируемый интерактивный инструмент визуализации, который поможет вам легко исследовать эмбеддинги.

🖥 Github: https://github.com/poloclub/wizmap

⭐️ Colab: https://colab.research.google.com/drive/1GNdmBnc5UA7OYBZPtHu244eiAN-0IMZA?usp=sharing

📕 Paper: https://arxiv.org/abs/2306.09328v1

🔗 Web demo: https://poloclub.github.io/wizmap.

ai_machinelearning_big_data

Machinelearning

16 Jun 2023 12:02

Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

Macaw-LLM is a model of its kind, bringing together state-of-the-art models for processing visual, auditory, and textual information, namely CLIP, Whisper, and LLaMA.

Macaw-LLM - новый мультимодальный LLM, который легко объединяет визуальную, аудио и текстовую информацию. Модель построена на основе CLIP, Whisper и LLaMA и обеспечивает бесшовную интеграцию мультимодальных данных.

🖥 Github: https://github.com/lyuchenyang/macaw-llm

⭐️ Model: https://tinyurl.com/yem9m4nf

📕 Paper: https://tinyurl.com/4rsexudv

🔗 Dataset: https://github.com/lyuchenyang/Macaw-LLM/blob/main/data

ai_machinelearning_big_data

Machinelearning

14 Jun 2023 14:01

Новая программная библиотека от Сбера Py-Boost позволит в несколько раз повысить скорость разработки моделей машинного обучения. Использоваться для этого будет алгоритм SketchBoost, рассказал Александр Ведяхин, первый зампред правления Сбера, в рамках ПМЭФ.

SketchBoost реализует новый подход к использованию методов бустинга при обучении ИИ-моделей — он применяется также в финансах и страховании для решения B2B-задач.

«Совершенствование технологий на базе машинного обучения — это не только тренд, но и способ повысить качество контакта с клиентом, возможность подобрать именно тот продукт, который максимально отвечает его предпочтениям. Для этого мы представили алгоритм, который в разы ускоряет обучение моделей искусственного интеллекта и, как следствие, вывод на рынок разработок в области рекомендательных сервисов в сфере финансов и страхования», — подчеркнул Ведяхин.

▪GitHub
▪Sber Developers

ai_machinelearning_big_data

Machinelearning

13 Jun 2023 11:02

💲 FinGPT: Open-Source Financial Large Language Models

Unlike proprietary models, FinGPT takes a data-centric approach, providing researchers and practitioners with accessible and transparent resources to develop their FinLLMs.

Большая языковая модель с открытым исходным кодом FinGPT для финансового сектор. Полный пайплайн для обучения и доработки LLM в области финансов.

🖥 Github: https://github.com/ai4finance-foundation/fingpt

⭐️ FinNLP: https://github.com/ai4finance-foundation/finnlp

📕 Paper: https://arxiv.org/abs/2306.06031v1

🔗 Project: https://ai4finance-foundation.github.io/FinNLP/

ai_machinelearning_big_data

Machinelearning

11 Jun 2023 20:11

🏔️ Large Language Model for Geoscience

We introduce K2 (7B), an open-source language model trained by firstly further pretraining LLaMA on collected and cleaned geoscience literature, including geoscience open-access papers and Wikipedia pages, and secondly fine-tuning with knowledge-intensive instruction tuning data (GeoSignal).

Применение базовой языковой модели для понимания и использования знаний в области геонаук

git clone https://github.com/davendw49/k2.git
cd k2
conda env create -f k2.yml
conda activate k2

🖥 Github: https://github.com/davendw49/k2

⭐️ Demo: https://huggingface.co/daven3/k2_fp_delta

📕 Paper: https://arxiv.org/abs/2306.05064v1

🔗 Dataset: https://huggingface.co/datasets/daven3/geosignal

ai_machinelearning_big_data

Machinelearning

11 Jun 2023 12:01

📹 Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models

It is a multimodal model that merges a video-adapted visual encoder with a LLM.

Video-ChatGPT - это новая модель, способная генерировать осмысленные разговоры о видео.

🖥 Github: https://github.com/mbzuai-oryx/video-chatgpt

⭐️ Demo: https://www.ival-mbzuai.com/video-chatgpt

📕 Paper: https://arxiv.org/abs/2306.05424v1

🔗 Dataset: https://paperswithcode.com/dataset/activitynet-qa

ai_machinelearning_big_data