15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
Как создать на Python скринер акций и выполнить анализ настроений на основе ИИ
Поиск акций для инвестирования может оказаться долгим и утомительным. А что, если использовать ИИ и Python для создания программы, способной ускорить этот процесс? В этой статье я расскажу, как применить Python-библиотеку finvizfinance для поиска “недооцененных” акций. Затем представлю метод анализа настроений с помощью FinBERT, предварительно обученной NLP-модели, позволяющей анализировать эти “недооцененные” акции.
Первые шаги
Прежде всего импортируем необходимые библиотеки. Сайт finviz.com предлагает различные инструменты для анализа акций, в том числе бесплатный скринер акций (Screener). Импортируем объект скринера finvizfinance, который возвращает DataFrame Pandas с результатами скрининга в разделе “Overview” (“Обзор”).from finvizfinance.screener.overview import Overview
Теперь импортируем библиотеки Pandas, csv и os, которые используются в основном для работы с csv-файлами.import pandas as pd
import csv
import os
Скрининг потенциальных акций
Теперь, следуя подходу стоимостного инвестирования, необходимо составить список потенциально недооцененных акций, к которым стоит присмотреться. Для этого надо создать функцию, которая использует библиотеку finvizfinance для отправки запроса к онлайн-скринеру акций. Вот функция, которая будет выполнять это:
📌 Читать
@bigdatai
Крутая и полезная шпаргалка с методами и примерами кода
@bigdatai
🐼Шпаргалка по основным методам Pandas с примерами кода и описанием
#doc #pandas
@bigdatai
👨🎓 Статистика 110: Теория Вероятности от Гарвардского университета.
Несомненно, один из лучших курсов по теории вероятностей в Интернете!
youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo
@bigdatai
TensorDict - это класс, похожий на словарь, который наследует свойства тензоров, такие как индексация, операции с формами, приведение к устройству или связь точка-точка в распределенных системах.
▪Github
@bigdatai
🪐 Как и почему нейронные сети по-разному обучаются на естественных и медицинских изображениях?
▪Github: github.com/mazurowski-lab/intrinsic-properties
▪Paper: https://arxiv.org/abs/2401.08865
@bigdatai
🔥 Новый выпуск базы данных эмбедингов txtai-wikipedia теперь доступен на Hugging Face Hub!
Датасет Википедии: https://huggingface.co/datasets/NeuML/wikipedia-20240101
Скрипт для работы с датасетом: https://huggingface.co/datasets/NeuML/wikipedia
@bigdatai
⚡️ Awesome-Unsupervised-Object-Localization
Awesome cписок работ по неконтролируемой локализации объектов на 2D-изображениях.
▪Github
@bigdatai
👀 От новичка до профессионала: Ваше руководство 2024 года, чтобы стать инженером по компьютерному зрению
https://uproger.com/ot-novichka-do-professionala-vashe-rukovodstvo-2024-goda-chtoby-stat-inzhenerom-po-kompyuternomu-zre
@bigdatai
👉 Machine Learning Glossary
Краткие визуальные объяснения концепций машинного обучения с диаграммами, примерами кода и ссылками на ресурсы для получения дополнительной информации.
🔗 https://github.com/bfortuner/ml-glossary
@bigdatai
⚡️Как технологии увеличивают скорость городов и экономят наше время?
Снижение процессорного времени с помощью оптимизации становится всё более важной задачей. На главной конференции для разработчиков YaTalks специалисты из Яндекса рассказали, как создавали собственную модификацию «перфа». Благодаря ней можно зайти на любую машину из облака, посмотреть на любой бинар и его статистику.
Такая оптимизация экономит время пользователей каждый день в сервисах вроде суммаризации видео, Алисы или Яндекс Клавиатуры. Когда команда разработки каждой из них вносит изменения, буст получают сразу все сервисы, которые применяют технологию.
Всё это — далеко не предел. Смотрите записи выступлений с YaTalks 2023 и узнайте, на что ещё способна компьютерная инженерия и технологии искусственного интеллекта.
Прокачай свой скилл!🧠
🧑💻Бывший специалист Яндекса - эксперт в области аналитики и машинного обучения, создал каналы о жизни Data Science, где разбирает сложные концепции простым языком.
- Без занудства, научитесь автоматизировать и оптимизировать процессы
- Сможете прокачать свои навыки до уровня, когда работодатели будут бороться за вас
- Перестанете сомневаться в своей компетенции
Подписывайся, здесь нет места нудным теориям — только живые кейсы, интересные проекты и честные советы⚡.
⚡️ Awesome LLM Interpretability
Список полезных инструментов, работ, статей и блогов, посвященных большии языковыи моделям (LLM).
▪Github
@bigdatai
🔥 Дайджест полезных материалов из мира Больших данных за неделю
Почитать:
— Разметка данных в 2023 году: текущие тренды и требования будущего
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— 10 лучших библиотек Python для графического интерфейса в 2024 году
— fsspec и вообще зачем оно нам нужно
— Заблуждения о семантической сегментации
— Расчетная архитектура платформы для A/B-тестов Mail.Ru
— Фреймворк для дизайна A/B-теста
— Методы балансировки в А/Б тестировании
— Зачем Программисту Микроконтроллеров Математическая Статистика? (или так ли хороши UWB трансиверы?)
— Automate the boring stuff with Julia
— Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке
— АБ тесты и подводные камни при их автоматизации
— A Beginner’s Guide to Neural Networks
— How many stages are there for Amazon’s SQL interview?
— Unleashing Generative AI Capabilities: The Power of Large Language Models Explained
— Removing comments from code-based data source
— Revolutionizing Healthcare: Expanding Ultrasound Access with the Power of AI
— Data Scientist turned Dev Advocate
— AWS Reinvent 2023: Unleashing the Power of ML and Generative AI
— Adaptive Traffic Signal Control System
— Understanding Neuromorphic Chips: Revolutionizing Machine Learning
— Microsoft PHI-2 + Huggine Face + Langchain = Super Tiny Chatbot
Посмотреть:
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 ODSC Webinar | Preparing for your First Enterprise Large Language Model (LLM) Application (⏱ 48:16)
🌐 Adversarial Validation and Training in Stock Market Price Prediction (⏱ 28:09)
🌐 NVIDIA’s New AI Is 20x Faster…But How? (⏱ 08:16)
🌐 Here’s How ChatGPT is Changing The World! (⏱ 08:33)
Хорошего дня!
@bigdatai
Библиотека Python с открытым исходным кодом для автоматизации рабочих процессов машинного обучения🔥
PyCaret - сквозной инструмент для машинного обучения:
- Предварительная обработка данных
- Разработка признаков
- Обучение модели
- Настройка гиперпараметров и
- Оценка модели"pip install pycaret"
▪Github
@bigdatai
6 февраля в 20:00 мск приглашаем на прямой эфир с Сергеем Гришаевым (Architect, Сбермаркет)
Спикеры обсудят историю Apache Spark, актуальность сегодня и будущее
для DE
🎁 БОНУС 🎁
Среди зарегистрированных участников с помощью генератора случайных чисел прямо в эфире будут выбраны два участника, кто сможет пройти программу бесплатно и еще два, кто получит скидку 50%!
Спикеры:
Сергей Гришаев, Architect, Сбермаркет
Алексей Ница, руководитель образовательных программ Newprolab
📅 6 февраля (вторник) 2023
🕗 20:00 по МСК
🔴 YouTube
🔗[Записаться на вебинар]
✅ Complete-Data-Analytics-with-Projects
В этом репозитории собрано все, что вам нужно, чтобы стать экспертом в #DataAnalytics 45 готовых проектов.
https://github.com/Coder-World04/Complete-Data-Analytics-with-Projects
@bigdatai
🎮 Linux 12 практический советов
https://habr.com/ru/articles/788570/
@bigdatai
Только что выложили в открытый доступ два инструмента, которые для обработки масштабных данных и обучения масштабных моделей:
- datatrove - все для обработки данных в веб-масштабе: дедупликация, фильтрация, токенизация - https://github.com/huggingface/datatrove
- nanotron - все, что связано с 3D-параллелизмом: легкое и быстрое обучение LLM - https://github.com/huggingface/nanotron
@bigdatai
Этот репозиторий содержит 50+ проектов, охватывающих Data #Analytics, #DataScience, #DataEngineering, #MLOps и #MachineLearning.
https://github.com/Coder-World04/Data-and-ML-Projects-
@bigdatai
Хотите адаптировать LLM под свои данные и сферу деятельности? 🤔
Свежий пост от Pytorch о том, как доработать модель с 7B параметрами на обычном GPU (NVIDIA T4 16GB) с помощью LoRA и инструментов из экосистемы PyTorch и Hugging Face.
🔎 https://pytorch.org/blog/finetune-llms
@bigdatai
🖥 Complete-Advanced-SQL-Series
Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL.
Более 100 упражнений и примеров по SQL.
▪Github
@bigdatai
В этом репозитории есть все необходимое для того, чтобы стать экспертом в области #TimeSeries Analysis, который содердит 20+ проектов:
▪ Github
@bigdatai
🤖 Нужно ли оптимизировать программный код для ИИ: аргументы за и против
Если бы JavaScript (или любой другой язык) разрабатывался в первую очередь для использования искусственным интеллектом, а не человеком-разработчиком, он существенно отличался бы от привычного нам языка. Вот основные отличия, которые мы могли бы наблюдать.
1. Сокращение синтаксического сахара. Языки, удобные для человека, содержат синтаксический сахар, чтобы сделать код более читабельным для разработчиков. Для ИИ в этом нет необходимости. Язык, скорее всего, был бы более упрощенным и использовал бы минимальный набор примитивов, необходимых для выражения вычислений (объяснение этого приводится ниже).
2. Отсутствие комментариев и документации. В отличие от человека, ИИ не нуждается в комментариях и документации. Единственным источником истины для него является сам код. ИИ способен понять назначение и действие любого фрагмента кода без внешних аннотаций.
3. Более высокие уровни абстракции. ИИ может работать с гораздо более высокими уровнями абстракции, чем человек. Вместо подробных пошаговых инструкций, оптимизированный для ИИ код мог бы включать в себя более сложные операции, заданные на высоком уровне, а ИИ заполнил бы детали более низкого уровня.
4. Математическая точность. Язык мог бы быть более тесно связанным с математическим формализмом. Это облегчило бы формальную верификацию и обоснование кода, которые ИИ способен выполнять более эффективно, чем человек.
5. Включение внешних баз знаний. Оптимизированный для ИИ язык мог бы напрямую ссылаться на внешние базы знаний или базы данных, позволяя ИИ при необходимости использовать контекст.
6. Оптимизация для параллелизма. ИИ может справиться с параллелизмом и многопоточным выполнением с гораздо меньшими усилиями, чем человек. Язык, скорее всего, изначально поддерживал бы высокопараллельные операции без удобных для разработчика абстракций, используемых в настоящее время.
7. Расширенное управление памятью. Возможно, отпала бы необходимость в привычных парадигмах управления памятью, таких как сборка мусора. Вместо этого, ИИ мог бы освоить передовые алгоритмы, предсказывающие характер использования памяти и оптимизирующие его соответствующим образом.
8. Менее модульный код. Хотя модульность часто оказывается полезной для понимания и сопровождения, ИИ мог бы предпочесть генерировать и управлять более монолитными структурами кода, оптимизируя его для выполнения, а не для чтения.
9. Генерация кода. Язык мог бы иметь встроенные функции для генерации больших объемов кода на основе высокоуровневых характеристик, абстрагируясь от повторяющегося или шаблонного кода, который обычно пишут разработчики.
10. Самостоятельная модификация кода. ИИ мог бы создавать и управлять кодом, который сам изменяется в процессе выполнения, что обычно считается сложной задачей, приводящей к ошибкам разработчиков-людей.
11. Глубокая интеграция с аппаратным обеспечением. Язык мог бы быть глубоко связан с аппаратным обеспечением, что позволило бы ИИ выполнять микрооптимизацию на основе знаний о состоянии оборудования в реальном времени.
Что такое синтаксический сахар?
📌 Читать
@bigdatai
🦜🔗 Исчерпывающее руководство по реализации моделей HuggingFace с помощью Langchain
Только что опубликована статья о различных способах использования Open Source Large Language Models от HuggingFace с помощью Langchain
Реализация и объяснение кода:
https://analyticsvidhya.com/blog/2023/12/implement-huggingface-models-using-langchain/
@bigdatai
👉 Машинное обучение - станьте экспертом бесплатно!
Полное руководство, позволяющее учиться и развиваться в области машинного обучения без какого-либо опыта в этой области и быть в курсе последних новостей и методик!
🔗 https://github.com/louisfb01/start-machine-learning
@bigdatai
⚡️ TACO (Topics in Algorithmic COde generation dataset) - это набор данных, ориентированный на алгоритмическую генерацию кода и предназначенный для создания более сложного обучающего набора данных и ,бенчмарка оценки для области моделей генерации кода.
Набор данных состоит из конкурсных задач по программированию, которые являются довольно сложными и приближенными к реальным сценариям программирования. В нем особое внимание уделяется улучшению или оценке способностей модели к пониманию и рассуждению в практических сценариях применения, а не просто реализации предопределенных функций.
▪Github
▪HF
▪Paper
@bigdatai
📱 Inpaint-iOS
Бесплатное приложение для рисования с открытым исходным кодом на базе coreml для iPhone / iPad / MacBook с процессором M.
https://github.com/wudijimao/Inpaint-iOS
@bigdatai
📝 Путешествие данных. От источника к потребителю.
#BigData #Analytics #BI #DataScience #DataCleaning #DataProfiling #DataStrategy #SQL #MachineLearning #DataScientists #DataLake #DataWarehouse #CDO
@bigdatai