Data Science | Machinelearning [ru]

13 December 2024 11:07

✅️ GitHub теперь в Telegram!

Подписывайтесь: @GitHub

Data Science | Machinelearning [ru]

12 December 2024 15:07

📝 Подборка вакансий для сеньоров

Data Engineer (Golang)
• Golang, ClickHouse, MySQL, MongoDB, Kubernetes, HTTP/gRPC API, Apache Kafka, Redis
• Уровень дохода не указан | от 3 лет

Data Scientist NLP (портал gosuslugi.ru)
• Python 3, numpy, pandas, scipy, sklearn, PyTorch, NLTK, transformers, FastAPI, Docker, Spark/Hadoop
• Уровень дохода не указан | от 1 года

Senior Data Engineer
• Apache Hadoop, Spark (batch/streaming), Scala, SQL, Parquet, Hive, Kafka, HBase, ClickHouse, PostgreSQL, Airflow, Zeppelin, Jupyter, S3 MinIO
• Уровень дохода не указан | от 5 лет

Senior Python Dev (AI, Big Data, LLM)
• Python, PostgreSQL, Big Data, AI, ML, ClickHouse, Time Series, Go
• от 3 000 $ | от 5 лет

Data Science | Machinelearning [ru]

11 December 2024 19:07

⚙️ ML в промышленности: как построить систему управления процессом окомкования железорудных окатышей

Статья расскажет, как машинное обучение помогает улучшить процесс производства железорудных окатышей, снизив зависимость от человеческого фактора, и о примерах, когда технологии сталкиваются с реальными проблемами.

Читать...

Data Science | Machinelearning [ru]

11 December 2024 12:37

👀 Sora от OpenAI: принцип работы, примеры видео и сравнение с Runway

Компания OpenAI представила свою ИИ-модель для генерации видео — Sora. В статье обсуждаются ожидания, доступность и сравнительный анализ с конкурентами, такими как Kling AI и Runway Gen-3.

Читать...

Data Science | Machinelearning [ru]

10 December 2024 19:07

📝 Подборка вакансий для мидлов

Data-аналитик
🟢SQL, базы данных, аналитика данных
🟢от 200 000 до 300 000 ₽ | от 2 лет

Data Analyst (Middle)
🟢SQL, MySQL, Python, базы данных, алгоритмы и структуры данных, Tableau, анализ данных, PowerBI, визуализация
🟢от 200 000 до 250 000 ₽ | от 3 лет

Data Scientist (Скоринг/моделирование)
🟢Python, SQL, Hadoop, машинное обучение
🟢Уровень дохода не указан | от 1 года

Data Scientist (модели PD)
🟢SQL, Python, машинное обучение
🟢Уровень дохода не указан | от 1 года

Data Science | Machinelearning [ru]

10 December 2024 11:07

⚙️ Машинное обучение: Логистическая регрессия. Теория и реализация. С нуля

В этой статье я привел базовые сведения о логистической регрессии и показал как сделать модель с нуля на чистом Python. Логистическая функция, обучение, метрики качества для модели классификации, реализация и небольшой разбор обучения весов.

Читать...

Data Science | Machinelearning [ru]

09 December 2024 19:07

🔎 Подборка вакансий для джунов

Data Scientist в области языковых моделей (Junior)
🟢Python, pandas, numpy, matplotlib, обработка текстовых данных, машинное обучение, языковые модели (LLM), библиотека Hugging Face
🟢от 190 000 ₽ до вычета налогов | 1–3 года

Data-аналитик в области временных рядов (Junior)
🟢Python, pandas, numpy, scipy, matplotlib, seaborn, анализ временных рядов, SQL
🟢от 190 000 ₽ до вычета налогов | 1–3 года

Junior Data Engineer
🟢SQL, MS Excel, Access, ETL, OLAP, английский язык
🟢Уровень дохода не указан | 1–3 года

Junior Data Analyst
🟢SQL, MS SQL Server, PostgreSQL, Python, Git, статистический анализ, A/B тестирование, машинное обучение
🟢Уровень дохода не указан | 1–3 года

Data Science | Machinelearning [ru]

09 December 2024 11:07

⚙️ Как я взломал одну из самых топовых нейросетей (Claude 3.5 Sonnet) для студенческой научной статьи

Статья раскрывает исследование по снятию защиты в современной языковой модели ИИ. Описан процесс автоматизации взлома модели и представлена программа, демонстрирующая успешный обход встроенных механизмов безопасности.

Читать...

Data Science | Machinelearning [ru]

08 December 2024 15:07

👩‍💻 Удаление выбросов из набора данных

Напишите функцию, которая принимает pandas.DataFrame и название столбца, а затем возвращает новый DataFrame, в котором выбросы (значения, выходящие за пределы 1.5 межквартильного размаха) удалены.

Пример:

import pandas as pd

data = pd.DataFrame({
    "values": [10, 12, 15, 100, 14, 13, 11, 102, 16]
})

cleaned_data = remove_outliers(data, "values")
print(cleaned_data)
# Ожидаемый результат:
#    values
# 0      10
# 1      12
# 2      15
# 4      14
# 5      13
# 6      11
# 8      16

import pandas as pd

def remove_outliers(df, column):
Q1 = df[column].quantile(0.25)
Q3 = df[column].quantile(0.75)
IQR = Q3 - Q1

lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)]

# Пример использования:
data = pd.DataFrame({
"values": [10, 12, 15, 100, 14, 13, 11, 102, 16]
})

cleaned_data = remove_outliers(data, "values")
print(cleaned_data)

Data Science | Machinelearning [ru]

07 December 2024 19:07

🧠 Тренируй «мышцы контекстного переключения»

Работаешь сразу над несколькими проектами, но каждый раз, переключаясь между задачами, чувствуешь, что теряешь поток? Это проблема многих.

👉 Совет: прежде чем сменить задачу, потрать пару минут на запись текущего состояния. Напиши кратко: что ты сделал, что осталось, какие идеи у тебя есть. Когда вернёшься, тебе не придётся вспоминать всё с нуля — это экономит тонны времени и нервов.

Data Science | Machinelearning [ru]

07 December 2024 11:07

📝 Подборка вакансий для лидов

Team Lead IT отдела
• Python, Django, FastAPI, Celery, PostgreSQL, Redis, JavaScript, Blazor wasm, ASP.NET, IdentityServer, Kafka, RabbitMQ
• от 150 000 ₽ | от 3 лет

ML Engineer
• Python, TensorFlow, PyTorch, Keras, SQL, Pandas, Jupyter Notebook, OpenAI GPT, LLaMA, Whisper, Google TTS, Amazon Polly, WebRTC, Zoom API, Google Calendar API, iCalendar, REST, GraphQL, MLOps, MLflow, DVC
• от 1 000 до 2 000 $ | от 3 лет

Архитектор Решений / Solution Architect
• Greenplum, Apache Spark, Apache Airflow, DWH, ETL, SQL, Python, Teradata, Hadoop, Apache NiFi, S3, Apache Spark Streaming
• Уровень дохода не указан | от 3 лет

Data Science | Machinelearning [ru]

06 December 2024 15:07

🤖 Как мы сделали клиентскую поддержку интернет-магазина действительно умной: опыт внедрения RAG-бота

Статья описывает разработку «умного» помощника для клиентской поддержки интернет-магазина. Рассматриваются проблемы, с которыми сталкивался клиент, и пути их решения с помощью ИИ.

Читать...

Data Science | Machinelearning [ru]

05 December 2024 19:07

📈 Подборка статей для вашей карьеры

• Как продакт-менеджеру учить английский: план, сроки, советы

• Иллюзия прогресса: почему мне не удалось дать студентам-айтишникам реальный опыт

• Interview copilots: как кандидаты используют ChatGPT на интервью

• Моя история входа в IT: как я ломал стены своих ограничений

• Как мы разработали систему грейдинга для системных аналитиков

Data Science | Machinelearning [ru]

05 December 2024 11:07

☝ Машинное обучение для начинающих: Введение в нейронные сети

Этот пост предназначен для абсолютных новичков и предполагает НУЛЕВЫЕ предварительные знания машинного обучения. Мы разберемся, как работают нейронные сети, и реализуем одну из них с нуля на Python.

Читать...

Data Science | Machinelearning [ru]

04 December 2024 15:07

👩‍💻 Поиск корреляции между столбцами

Напишите функцию, которая принимает pandas.DataFrame и возвращает два столбца с наибольшей корреляцией.

Пример:

import pandas as pd

data = pd.DataFrame({
    "A": [1, 2, 3, 4],
    "B": [2, 4, 6, 8],
    "C": [5, 3, 6, 2],
    "D": [10, 20, 30, 40]
})

result = find_highest_correlation(data)
print(result)
# Ожидаемый результат: ('B', 'D')

import pandas as pd

def find_highest_correlation(df):
corr_matrix = df.corr()
max_corr = 0
columns = (None, None)

for col1 in corr_matrix.columns:
for col2 in corr_matrix.columns:
if col1 != col2 and corr_matrix[col1][col2] > max_corr:
max_corr = corr_matrix[col1][col2]
columns = (col1, col2)

return columns

# Пример использования:
data = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [2, 4, 6, 8],
"C": [5, 3, 6, 2],
"D": [10, 20, 30, 40]
})

result = find_highest_correlation(data)
print(result)

Data Science | Machinelearning [ru]

12 December 2024 19:07

📈 Подборка статей для вашей карьеры

• Эволюция архитектур нейросетей в компьютерном зрении: сегментация изображений

• Заяц не вырастет в акулу. Или секреты гибкой инженерной культуры от Александра Бындю

• Все, пора увольняться: что я поняла после работы в токсичных командах

• Базовое программирование, или Почему джуны не могут пройти к нам собеседование

• Я стал аналитиком, потому что не смог быть программистом

Data Science | Machinelearning [ru]

12 December 2024 11:07

🎁 Динамическая адаптация награды с помощью Pydantic

Статья рассказывает, как Pydantic помогает бизнесу гибко управлять наградами для пользователей. Описаны преимущества Pydantic в валидации и преобразовании данных по сравнению с dataclass.

Читать...

Data Science | Machinelearning [ru]

11 December 2024 15:07

👩‍💻 Поиск наиболее часто встречающегося слова в тексте

Напишите функцию, которая принимает текстовую строку и возвращает наиболее часто встречающееся слово и количество его вхождений. Игнорируйте регистр и знаки препинания.

Пример:

text = "Python is great, and Python is fun! Learning Python is rewarding."
result = most_common_word(text)
print(result)
# Ожидаемый результат: ('python', 3)

import re
from collections import Counter

def most_common_word(text):
words = re.findall(r'\b\w+\b', text.lower())
counter = Counter(words)
return counter.most_common(1)[0]

# Пример использования:
text = "Python is great, and Python is fun! Learning Python is rewarding."
result = most_common_word(text)
print(result)

Data Science | Machinelearning [ru]

11 December 2024 09:37

🎙️Алгоритмы и авторы: как это работает

Слушал подкаст «Сквозь VK», где Андрей Зимовнов, ML-директор VK AI, озвучил интересную вещь.

Улучшение алгоритмов рекомендаций в первую очередь замечают авторы: кто-то сразу выигрывает, а для кого-то это становится сигналом, что пора менять подход.

Алгоритмы помогают авторам понять, куда двигаться дальше. Но это всегда диалог: авторы дают фидбэк, а платформа настраивает инструменты, чтобы поддерживать и развивать экосистему. Если интересно, то выпуск тут.

Data Science | Machinelearning [ru]

10 December 2024 15:07

⚙️ Что такое модуль shutil в Python и зачем он используется?

Модуль shutil предоставляет функции для работы с файлами и директориями, такие как копирование, перемещение и удаление. Он полезен для автоматизации задач управления файлами.

➡️ Пример:

import shutil

# Копирование файла
shutil.copy('source.txt', 'destination.txt')

# Перемещение файла
shutil.move('destination.txt', 'folder/destination.txt')

🗣️ В этом примере shutil.copy копирует файл, а shutil.move перемещает его в другую директорию. Это облегчает выполнение операций с файлами и папками.

Data Science | Machinelearning [ru]

10 December 2024 08:07

⚡XMAS HACK к нам мчится! 

С 20 по 23 декабря под звон Jingle bells пройдет самый яркий и праздничный хакатон 2024 года - XMAS HACK. 

🎁Дед Мороз и Снегурочка уже положили под елочку XMAS HACK особый подарок - 1 000 000 рублей! 

✨Уникальный кейс от Blanc Labs:
Cтартовый (профилактический) комплаенс: предотвращение рисков с помощью AI
👨‍💻Задача:
Создать систему, которая на основе предоставленных данных о текущих клиентах банка, а также дополнительной информации из открытых источников, социальных сетей, сайтов и других параметров о компании, способна прогнозировать уровень риска нового клиента.

🚀Осталось собрать команду и до 19 декабря подать заявку на участие: https://tglink.io/6581fe7f7091?erid=LjN8KQEL3

🎅XMAS HACK к нам мчится, скоро все случится!🌟

#реклама
О рекламодателе

Data Science | Machinelearning [ru]

09 December 2024 15:07

👩‍💻 Заполнение пропущенных значений медианой в числовых столбцах

Напишите функцию, которая принимает pandas.DataFrame и возвращает новый DataFrame, где все пропущенные значения (NaN) в числовых столбцах заменены на медиану соответствующего столбца.

Пример:

import pandas as pd

data = pd.DataFrame({
    'age': [25, 30, None, 45, 50],
    'salary': [50000, 60000, 55000, None, 65000],
    'city': ['NY', 'LA', 'NY', 'SF', 'LA']
})

cleaned_data = fill_missing_with_median(data)
print(cleaned_data)

     age    salary city
0   25.0  50000.0   NY
1   30.0  60000.0   LA
2   37.5  55000.0   NY
3   45.0  57500.0   SF
4   50.0  65000.0   LA

import pandas as pd

def fill_missing_with_median(df):
df_filled = df.copy()
for col in df_filled.select_dtypes(include='number').columns:
median = df_filled[col].median()
df_filled[col].fillna(median, inplace=True)
return df_filled

# Пример использования:
data = pd.DataFrame({
'age': [25, 30, None, 45, 50],
'salary': [50000, 60000, 55000, None, 65000],
'city': ['NY', 'LA', 'NY', 'SF', 'LA']
})

cleaned_data = fill_missing_with_median(data)
print(cleaned_data)

Data Science | Machinelearning [ru]

08 December 2024 19:07

🔥 Самые интересные статьи за последние дни:

• Построение базы знаний компании и поиска документов на LLM и RAG

• Что побуждает LLM врать и как этого избежать в своих продуктах

• Ломаем капчу 4Chan

• На чём учатся современные модели машинного перевода: опыт команды Яндекс Переводчика

• Gemini вырывается вперед, Китай спамит моделями, в Minecraft запустили AI-агентов: главные события ноября в сфере ИИ

Data Science | Machinelearning [ru]

08 December 2024 11:07

💬 Голосовая аутентификация через GPT

Статья исследует возможность аутентификации пользователей GPT-чата во внешних приложениях. Рассматривается голосовое взаимодействие и альтернативный способ аутентификации через пароли вместо OAuth 2.0.

Читать...

Data Science | Machinelearning [ru]

07 December 2024 15:07

⚙️ Пишем сервис инференса ML-модели на go, на примере BERT-а

Статья объясняет, как внедрить ML-модель, обученную на Python, в сервис на Go, используя ONNX. Рассматривается пример работы с моделью seara/rubert-tiny2-russian-sentiment для анализа сентимента текста.

Читать...

Data Science | Machinelearning [ru]

06 December 2024 19:07

⚙️ Что такое argparse в Python?

argparse — это стандартный модуль Python для работы с аргументами командной строки. Он позволяет удобно разбирать, валидировать и документировать входные параметры.

➡️ Пример:

import argparse

# Создаём парсер аргументов
parser = argparse.ArgumentParser(description="Пример работы с argparse")
parser.add_argument("--name", type=str, help="Имя пользователя")
parser.add_argument("--age", type=int, help="Возраст пользователя")

# Разбираем аргументы
args = parser.parse_args()

# Используем аргументы
print(f"Привет, {args.name}! Тебе {args.age} лет.")

🗣️ В этом примере argparse разбирает аргументы --name и --age, переданные через командную строку. Это упрощает создание CLI-приложений.

Data Science | Machinelearning [ru]

06 December 2024 11:07

Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика

Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.

Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.

Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)

Зарегистрироваться на GitVerse.

Data Science | Machinelearning [ru]

05 December 2024 15:07

📝 Подборка вакансий для сеньоров

Аналитик данных / Data Analyst
• SQL (Clickhouse, Postgres, MS SQL), Python, статистика, A/B тестирование, Jupyter Notebook, GIT, BI-системы (Datalens, Superset), ML-подходы
• от 300 000 до 400 000 ₽ | от 3 лет

Senior Data Scientist (Recsys)
• Python, PyTorch, машинное обучение, глубокое обучение, свёрточные нейросети, трансформеры
• Уровень дохода не указан | Требуемый опыт не указан

Эксперт по безопасности инфраструктуры Big Data
• Hadoop, Clickhouse, Kafka, Airflow, Zeppelin, Apache Ranger, IDM, k8s, деперсонализация данных, обфускация
• Уровень дохода не указан | Требуемый опыт не указан

Senior Python developer (Evolution Openstack)
• Python 3.10, PostgreSQL, SQLAlchemy, Linux, OpenStack, KVM, Ansible, RabbitMQ, Docker, Kubernetes
• Уровень дохода не указан | от 3 лет

Data Science | Machinelearning [ru]

04 December 2024 19:07

➡️ DeepSeek AI: От инъекции промпта до захвата аккаунта

Статья рассказывает о новой AI-модели DeepSeek-R1-Lite, созданной для логических рассуждений. Рассматриваются её возможности, тестирование и перспективы применения в задачах анализа и вычислений.

Читать...

Data Science | Machinelearning [ru]

04 December 2024 11:07

➡️ Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python

В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля.

Читать...