17610
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
📕 Экономим время на чтении научных статей
SciSummary — это полезная нейросеть, которая не только способна создать краткое резюме любой научной статьи, но и постарается сделать это простыми для понимания словами.
Кроме того, есть возможность выбрать русский язык для резюме и получить пояснения по непонятным терминам прямо в чате этого инструмента.
https://scisummary.com/
@bigdatai
Nvidia выпустила Chat with RTX - чатбота с искусственным интеллектом, который работает локально на вашем компьютере.
Он может обобщать или искать документы в файлах вашего ПК и даже видео и плейлисты YouTube.
Чатбот работает локально, что означает быстрое получение результатов и возможность использования бота без интернета.
https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
@bigdatai
⚡️ InternLM / InternLM-XComposer
InternLM-XComposer2 - это новаторская большая модель языка зрения (VLLM), позволяющая составлять и понимать текст-изображение в свободной форме.
▪Github
▪Demo
@bigdatai
⁉️Как написать проект одновременно на двух языках – Kotlin и Rust?
👨🏫Расскажет Сергей Окатов – кандидат физико-математических наук, руководитель управления разработки БФТ.ЦР. Встречаемся на бесплатном практическом уроке от OTUS, где мы:
- расскажем о двух молодых и активно развивающихся языках, вошедших в TIOBE-20; - обсудим их преимущества, недостатки и причины, почему они занимают ниши популярных языков Java, JS и C/C++;
- изучим сочетание преимуществ обоих языков;
- продемонстрируем, как можно интегрировать их в одном проекте.
📆Занятие пройдёт 13 февраля в 19:00 мск и будет приурочено к старту курса «Kotlin Backend Developer. Professional». Доступна рассрочка на обучение!
➡️Пройдите бесплатный тест прямо сейчас, чтобы занять место на открытом уроке и получить запись: https://otus.pw/xsdC/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8JvHm3
Скажите что-то на карьерном
Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут
АО «Тинькофф Банк», ИНН 7710140679
Создать и обучить нейросеть — вопрос времени.
Получить необходимый для этого навык — вообще не вопрос.
Приходите на бесплатный интенсив «Погружение в Data Science: обучите свою первую нейросеть за два дня» от онлайн-школы Skillfactory.
С 12 по 13 февраля будете строить алгоритмы и обучать нейронную сеть.
А за лучшее решение домашнего задания сможете получить мини-курс по аналитическому мышлению в подарок.
Зарегистрироваться: https://go.skillfactory.ru/&erid=2VtzqwW8FEF
Реклама. ООО «Скилфэктори», ИНН: 9702009530
Библиотека Python с открытым исходным кодом для автоматизации рабочих процессов машинного обучения🔥
PyCaret - сквозной инструмент для машинного обучения:
- Предварительная обработка данных
- Разработка признаков
- Обучение модели
- Настройка гиперпараметров и
- Оценка модели"pip install pycaret"
▪Github
@bigdatai
6 февраля в 20:00 мск приглашаем на прямой эфир с Сергеем Гришаевым (Architect, Сбермаркет)
Спикеры обсудят историю Apache Spark, актуальность сегодня и будущее
для DE
🎁 БОНУС 🎁
Среди зарегистрированных участников с помощью генератора случайных чисел прямо в эфире будут выбраны два участника, кто сможет пройти программу бесплатно и еще два, кто получит скидку 50%!
Спикеры:
Сергей Гришаев, Architect, Сбермаркет
Алексей Ница, руководитель образовательных программ Newprolab
📅 6 февраля (вторник) 2023
🕗 20:00 по МСК
🔴 YouTube
🔗[Записаться на вебинар]
✅ Complete-Data-Analytics-with-Projects
В этом репозитории собрано все, что вам нужно, чтобы стать экспертом в #DataAnalytics 45 готовых проектов.
https://github.com/Coder-World04/Complete-Data-Analytics-with-Projects
@bigdatai
🎮 Linux 12 практический советов
https://habr.com/ru/articles/788570/
@bigdatai
Только что выложили в открытый доступ два инструмента, которые для обработки масштабных данных и обучения масштабных моделей:
- datatrove - все для обработки данных в веб-масштабе: дедупликация, фильтрация, токенизация - https://github.com/huggingface/datatrove
- nanotron - все, что связано с 3D-параллелизмом: легкое и быстрое обучение LLM - https://github.com/huggingface/nanotron
@bigdatai
Этот репозиторий содержит 50+ проектов, охватывающих Data #Analytics, #DataScience, #DataEngineering, #MLOps и #MachineLearning.
https://github.com/Coder-World04/Data-and-ML-Projects-
@bigdatai
Хотите адаптировать LLM под свои данные и сферу деятельности? 🤔
Свежий пост от Pytorch о том, как доработать модель с 7B параметрами на обычном GPU (NVIDIA T4 16GB) с помощью LoRA и инструментов из экосистемы PyTorch и Hugging Face.
🔎 https://pytorch.org/blog/finetune-llms
@bigdatai
🖥 Complete-Advanced-SQL-Series
Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL.
Более 100 упражнений и примеров по SQL.
▪Github
@bigdatai
В этом репозитории есть все необходимое для того, чтобы стать экспертом в области #TimeSeries Analysis, который содердит 20+ проектов:
▪ Github
@bigdatai
Data Engineer в Яндекс 360
Москва/СПБ
middle, senior
Яндекс 360 — это Почта, Диск, Телемост с видеозвонками, Документы, Мессенджер, Рассылки, Заметки, Календарь, Трекер, Вики и Формы. Каждый день этими сервисами пользуются миллионы человек и тысячи компаний.
Наши продукты, команды и, конечно, объёмы данных быстро растут. Мы ищем дата-инженера, который поможет организовать хранилище, навести порядок и вывести аналитику наших сервисов на новый уровень.
Какие задачи вас ждут
- Вести разработку ETL-процессов поставки данных
- Выявлять неэффективность в существующих процессах и оптимизировать их
- Проектировать структуру хранения данных
- Погружаться в данные из прикладных бизнес-областей и становиться в них экспертом
- Сопровождать разработанные ETL-процессы
- Участвовать в развитии платформы DWH
Мы ждём, что вы
- Уверенно владеете Python
- Уверенно владеете SQL (join, агрегация, оконные функции, оптимизация сложных запросов)
- Умеете пользоваться Git
- Знаете, как строить и оптимизировать ETL-процессы
Будет плюсом, если вы
- Разбираетесь в слоях DWH и моделях хранения данных
- Работали с большими объёмами данных
Откликнуться
📚 Aya: Большой датасет с открытым доступом для настройки многоязычных моделей.
- База данных по инструкциям, охватывающая 65 языков.
- Самая обширная многоязычная коллекция на сегодняшний день.
https://arxiv.org/abs/2402.06619
@bigdatai
🖥 SQL в Фокусе: Полное Руководство. 100 ключевых Вопросов с собеседований. Часть 1.
▪Читать
#junior
@bigdatai
⚡️ Ego-Exo4D: A diverse, large-scale multi-modal, multi-view, video dataset and benchmark.
Ego-Exo4D:, крупномасштабный датасет для обучения на видел.
Проект помочь качественному обучению моделей ИИ сложными человеческими навыками и подойдет для создания приложений систем виртуальной реальности, робототехники, и многого другого.
Ego-Exo4D содержит три, тщательно синхронизированных датасета естественного языка в сочетании с видео и комментариями экспертов, включают в себя более 1400 часов видео, а также аннотации для бенчмарков.
.
▪Project: ego-exo4d-data.org/
▪Request acess: https://docs.ego-exo4d-data.org/getting-started/
@bigdatai
🔥 Гайд: пишем Transformer с нуля
Интерсный Jupyter-блокнот, в котором пошагово описан процесс создания собственной модели Transformer. Каждый блок кода сопровождается подробным комментарием.
Гайд начинается с предобработки текста и заканчивает полной сборкой работающей архитектуры. За основу он взял классическую статью Attention Is All You Need и видео Андрея Карпаты Let's build GPT: from scratch, in code, spelled out.
https://blog.matdmiller.com/posts/2023-06-10_transformers/notebook.html
@bigdatai
Как создать на Python скринер акций и выполнить анализ настроений на основе ИИ
Поиск акций для инвестирования может оказаться долгим и утомительным. А что, если использовать ИИ и Python для создания программы, способной ускорить этот процесс? В этой статье я расскажу, как применить Python-библиотеку finvizfinance для поиска “недооцененных” акций. Затем представлю метод анализа настроений с помощью FinBERT, предварительно обученной NLP-модели, позволяющей анализировать эти “недооцененные” акции.
Первые шаги
Прежде всего импортируем необходимые библиотеки. Сайт finviz.com предлагает различные инструменты для анализа акций, в том числе бесплатный скринер акций (Screener). Импортируем объект скринера finvizfinance, который возвращает DataFrame Pandas с результатами скрининга в разделе “Overview” (“Обзор”).from finvizfinance.screener.overview import Overview
Теперь импортируем библиотеки Pandas, csv и os, которые используются в основном для работы с csv-файлами.import pandas as pd
import csv
import os
Скрининг потенциальных акций
Теперь, следуя подходу стоимостного инвестирования, необходимо составить список потенциально недооцененных акций, к которым стоит присмотреться. Для этого надо создать функцию, которая использует библиотеку finvizfinance для отправки запроса к онлайн-скринеру акций. Вот функция, которая будет выполнять это:
📌 Читать
@bigdatai
Крутая и полезная шпаргалка с методами и примерами кода
@bigdatai
🐼Шпаргалка по основным методам Pandas с примерами кода и описанием
#doc #pandas
@bigdatai
👨🎓 Статистика 110: Теория Вероятности от Гарвардского университета.
Несомненно, один из лучших курсов по теории вероятностей в Интернете!
youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo
@bigdatai
TensorDict - это класс, похожий на словарь, который наследует свойства тензоров, такие как индексация, операции с формами, приведение к устройству или связь точка-точка в распределенных системах.
▪Github
@bigdatai
🪐 Как и почему нейронные сети по-разному обучаются на естественных и медицинских изображениях?
▪Github: github.com/mazurowski-lab/intrinsic-properties
▪Paper: https://arxiv.org/abs/2401.08865
@bigdatai
🔥 Новый выпуск базы данных эмбедингов txtai-wikipedia теперь доступен на Hugging Face Hub!
Датасет Википедии: https://huggingface.co/datasets/NeuML/wikipedia-20240101
Скрипт для работы с датасетом: https://huggingface.co/datasets/NeuML/wikipedia
@bigdatai
⚡️ Awesome-Unsupervised-Object-Localization
Awesome cписок работ по неконтролируемой локализации объектов на 2D-изображениях.
▪Github
@bigdatai
👀 От новичка до профессионала: Ваше руководство 2024 года, чтобы стать инженером по компьютерному зрению
https://uproger.com/ot-novichka-do-professionala-vashe-rukovodstvo-2024-goda-chtoby-stat-inzhenerom-po-kompyuternomu-zre
@bigdatai