Получить диплом о прохождении курса “ML-инженер” сейчас не так уж и сложно. А вот стать квалифицированным специалистом, способным решать сложные задачи — вот, что по-настоящему не просто и круто!

Прокачать себя в профессии можно на бесплатном вебинаре «Почему ML-инженеру важно разбираться в продукте» от Product manager OneCell, преподавателя AI Talent Huv ИТМО Вадима Чижкова.

На вебинаре вы разберете:

▪что такое продукт,
▪почему ML-инженеру важно понимать продукт, даже если есть product-manager
▪как инженерные решения влияют на продуктовые метрики,
▪как оценивать задачи, исходя из их ценности для продукта.
А так же сможете задать все интересующие вас вопросы эксперту.

Вебинар состоится 12.09.24 в 18:30(Мск). Регистрируйтесь в боте на вебинар и становитесь ML-инженером, за которого будут бороться топовые компании страны и мира!
Наш бот также пришлет вам напоминание о мероприятии, чтобы вы ничего не пропустили.

Реклама. Университет ИТМО ИНН:7813045547 erid:2VtzqxkvKps

Читать полностью…

🖥 Scientific Computing with Python — это бесплатный интерактивный курс от FreeCodeCamp, созданный для изучения анализа данных с помощью Python.

Основные темы включают:

▪️ работу со строками;
▪️ List Comprehension;
▪️ основы алгоритмического дизайна;
▪️ структуры данных;
▪️ классы и объекты.

Цель курса — дать учащимся прочные навыки для работы с научными данными и их обработкой, используя Python.

🔗 Ссылка на курс

#курс #python

@sqlhub

Читать полностью…

💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis

Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis.
Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow.

Особенности Kvrocks:

— Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis.

— Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен.

— асинхронная репликация с использованием binlog, как в MySQL.

— поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства.

Быстрый старт с Docker:

docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

🖥 Наглядная шпаргалка: Шардирование базы данных

🚀 Источник

@sqlhub

Читать полностью…

🖥 Мечтаете о карьере в IT, но не хотите программировать? Хорошая новость: это возможно!

Если стать аналитиком данных — IT-специалистом, который собирает и анализирует данные, чтобы строить прогнозы для бизнеса. Аналитики данных востребованы во многих сферах: IT, маркетинг, ритейл, банкинг и т. д.

Обучение подойдет, если вы:
🟣новичок без опыта без опыта в IT
🟣бухгалтер, финансист или экономист
🟣уже работаете с аналитикой и хотите углубить знания для роста в карьере

На курсе вы получите навыки, которые реально нужны работодателям, и овладеете самыми популярными инструментами: Python, Pandas, NumPy, Jupyter Notebook, SQL, Power BI.

🔗 Начните работать аналитиком уже через 6 месяцев! Заполните заявку, чтобы получить бесплатный доступ к первым урокам.

Реклама. ООО «Эдюсон», ИНН 7729779476. Erid:2VtzqvPJeZU

Читать полностью…

💻FrostDB — встраиваемая колоночная БД, написанная на Go

Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).

В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.

🖥 GitHub

@sqlhub

Читать полностью…

Используйте продвинутые функции ClickHouse для эффективного анализа данных

🔹Оптимизируйте запросы на открытом уроке «Продвинутые функции ClickHouse» от Otus. Рассмотрим использование материализованных представлений, работу с распределенными таблицами и тонкости настройки кластеров

✅ Практические примеры с демонстрацией реальных кейсов

Урок приурочен курсу «ClickHouse для инженеров и архитекторов БД» от Otus.

👉 Регистрация и подробности:
https://otus.pw/OAZJ/?erid=LjN8KRqKC

Читать полностью…

PGConf.СПб 2024 — главная встреча постгресистов в Санкт-Петербурге!

1 октября в Питере пройдёт техническая конференция по PostgreSQL от российского СУБД-разработчика Postgres Professional.

Более 20 докладов по темам:

✔️Эксплуатация СУБД. Опыт DBA
✔️Миграция на Postgres
✔️Мониторинг и настройка СУБД
✔️Отказоустойчивые и масштабируемые системы
✔️Новости от разработчиков

Среди спикеров прошлого года — эксперты Сбера, ВТБ, Ozon, SoftSwiss, Netcracker, Нетрики и др.

💥На конференции пройдёт единственная в России сертификация по PostgreSQL!

ГДЕ? Онлайн и офлайн: Гостиница «Санкт-Петербург», г. Санкт-Петербург, Пироговская набережная, д. 5/2

КОГДА? 1 октября 2024 года

Участие в конференции для студентов и преподавателей — бесплатное.

РЕГИСТРАЦИЯ

Читать полностью…

⚡️ Полезная шпаргалка по связке Python + MySQL

- Создание БД и таблиц
- Внесение, чтение, обновление и удаление данных

Читать полностью…

🖥 dbt-core

Громоздкие #SQL запросы трудно читать, понимать и поддерживать.

С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

models/average_order_amount.sql:

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

▪ Github

@data_analysis_ml

Читать полностью…

⚡️ Grafana

Это открытая и компонуемая платформа для наблюдения и визуализации данных.

Визуализируйте метрики, журналы и трассировки из нескольких источников, таких как Prometheus, Loki, Elasticsearch, InfluxDB, Postgres и многих других.

▪ Github

@sqlhub

Читать полностью…

🖥 sqlite-vec

Чрезвычайно маленькое и "достаточно быстрое" расширение для векторного поиска SQLite, которое работает в любом месте!

Проект преемник sqlite-vss.

- Храните и запрашивайте float, int8 и двоичные векторы в виртуальных таблицах vec 0.
- Написан на чистом C, без зависимостей, работает везде, где работает SQLite (Linux/ macOS /Windows, в браузере с WASM, Raspberry Pis и т.д.)
- Предварительная фильтрация векторов с rowid В подзапросах (...)

▪ Github

@sqlhub

Читать полностью…

⚡️Большая шпаргалка по SQL с примерами запросов и объяснением

@sqlhub

Читать полностью…

💻FrostDB — встраиваемая колоночная БД, написанная на Go

Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).

В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.

🖥 GitHub

@sqlhub

Читать полностью…

🖥 introduction-to-sql — введение в SQL бесплатная книга, которая поможет вам освоить основы SQL и начать использовать реляционные базы данных в ваших проектах SysOps, DevOps и другой разработке.

Независимо от того, работаете ли вы инженером DevOps/SysOps, разработчиком или просто увлекаетесь Linux, SQL, скорее всего, понадобится вам на каком-то этапе карьеры.

Это руководство подходит для всех, кто работает разработчиком, системным администратором или инженером DevOps и хочет изучить основы SQL.

▪ GitHub

@sqlhub

Читать полностью…

💻Debezium — open-source CDC для Apache Kafka

Debezium — это CDC (Capture Data Change), набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.

Debezium поддерживает следующие СУБД: MySQL, PostgreSQL, MongoDB, SQL Server, Cassandra и Oracle;
причём все эти СУБД подключаются по единой общей модели.

Если сравнивать использование Debezium с традиционным подходом (когда приложение читает данные из СУБД напрямую), то к его главным преимуществам относится реализация стриминга изменения данных на уровне строк с низкой задержкой, плюс высокая надежность и доступность.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Приглашаем принять участие в вебинаре «Как эффективно построить конвейер DevOps. Опыт использования Platform V Orchestra R».

Когда: 12 сентября в 11:00.

Виталий Астраханцев, руководитель разработки инструментов DevSecOps в СберТехе, расскажет об инструменте, который позволяет настраивать конвейеры в режиме low-code.

Что еще обсудим:
· Как устроен процесс единой разработки ПО: от идеи до развертывания в промышленных средах. Helicopter view и разбор роли CI/CD.
· GitOps/NoOps/AIOps: плюсы, минусы и варианты развития.
· Метрики производственного процесса. Вопрос актуальности DORA.
· Можно ли за час собрать конвейер с нуля? Разберемся на реальном примере.

Регистрируйтесь сейчас и до встречи на вебинаре!

Читать полностью…

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Хакинг: t.me/linuxkalii
Devops: t.me/devOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

💻Triplit — open-source БД, которая синхронизирует данные между сервером и браузером в режиме реального времени

— npm create triplit-app@latest

Triplit — это полнофункциональная база данных, работающая как на сервере, так и на клиенте. Поддерживает подключаемые хранилища (IndexedDB, SQLite, durable objects), синхронизацию через websockets, плюс поддерживавет популярные фреймворки (React, Solid, Vue, Svelte)

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻Skytable — современная масштабируемая NoSQL БД с BlueQL, разработанная для обеспечения производительности, масштабируемости и гибкости

Skytable — это in-memory key-value БД, основанная на широких столбцах, с поддержкой дополнительных моделей данных, которая использует собственный механизм хранения (структурированные записи с оптимизированными транзакциями) и позволяет выполнять запросы с помощью собственного языка запросов BlueQL — надмножества SQL.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.

Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.

Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробки

make
make install

▪ Github

Читать полностью…

👣 RoseDB — высокопроизводительная NoSQL база данных на основе Bitcask

RoseDB поддерживает такие структуры данных, как string, list, hash, set и sorted set.
Написана RoseDB на Go

🖥 GitHub
🟡 Доки

@Golang_google

Читать полностью…

💻YugabyteDB — высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

Быстрое создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
 yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
 --background=false

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

MongoDB in Action

📖 Книга

@sqlbooks

Читать полностью…

⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.

▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.

▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.

▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.

Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.

https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/

@sqlhub

Читать полностью…

ИТ-команда Гринатома ищет разработчика форсайт.
✅ Предстоит участвовать в создании и изменении функциональности системы, выполнять разработки форсайт на основе функциональных спецификаций, проводить тестирования и актуализировать документацию.
✅ Идеальный кандидат знаком с продуктом Форсайт. Аналитическая платформа и языком программирования Fore, умеет писать SQL-запросы, понимает возможности виртуализации данных, а также имеет опыт в формировании модели данных и разработке на макро-языках.

Если это про вас, узнайте о вакансии больше по ссылке (https://sochi.hh.ru/vacancy/99149187).

Читать полностью…

🖥 Pgroll - это полезная CLI утилита с открытым исходным кодом, предназначенная для безопасных и обратимых миграций схем для PostgreSQL, которая поддерживает работу с несколькими версиями схем одновременно.

Она способна выполнять сложные операции миграции, гарантируя, что клиентские приложения продолжат функционировать во время обновления схемы базы данных.

Это достигается без блокировки базы данных и позволяет старым и новым версиям схемы работать одновременно, даже при внесении критических изменений. Это устраняет риски, связанные с миграциями схем, и значительно упрощает развертывание клиентских приложений, предоставляя возможность мгновенного отката.

Основные функции Pgroll включают:

- Миграции без простоев (без блокировки базы данных, без критических изменений).
- Поддержка одновременной работы старых и новых версий схемы.
- Автоматическое заполнение столбцов при необходимости.
- Мгновенный откат в случае возникновения проблем во время миграции.
- Работа с существующими схемами, нет необходимости начинать с нуля.
- Совместимость с Postgres 14.0 и более поздними версиями.
- Работа с любым сервисом Postgres (включая RDS и Aurora).

Pgroll написана на языке программирования Go, является кроссплатформенной и не требует внешних зависимостей.

https://github.com/xataio/pgroll

#postgres #migration #базыданных

@sqlhub

Читать полностью…

💻Vectorlite — быстрое и настраиваемое расширение SQLite для векторного поиска

— pip install vectorlite-py

Vectorlite — это расширение для SQLite, которое обеспечивает быстрый векторный поиск на основе hnswlib и работает под Windows, MacOS и Linux.

🖥 GitHub

@sqlhub

Читать полностью…

💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis

Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis.
Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow.

Особенности Kvrocks:

— Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis.

— Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен.

— асинхронная репликация с использованием binlog, как в MySQL.

— поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства.

Быстрый старт с Docker:

docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

🖥 RavenDB — ACID NoSQL документоориентированная БД

mkdir HelloWorld && cd HelloWorld
dotnet new console
dotnet add package RavenDB.Client --version 6.0.0-*

# изменить Program.cs

dotnet restore && dotnet build && dotnet run

Вообще, RavenDB — довольно известная NoSQL БД;
если кто не пробовал — возможно именно RavenDB поможет в вашем кейсе.

Особенности RavenDB:
— Простота развертывания. Можно использовать как встроенное в проект решение, так Windows service и консольное приложение.

— Простота перехода на новую версию. Просто нужно остановить Raven и закинуть новый билд в рабочую папку сервера. В проекте все обходится обновлением NuGet пакета.

— Расширяемость. Есть множество возможностей по встраиванию своего функционала на стороне сервера. Можно кастомизировать всё, начиная от триггеров на изменение данных и индексов до создания своих расширений, позволяющих обогатить API сервера.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…