💻Практический гайд по созданию за неделю своего LSM-движка для key-value хранилища

Здесь по шагам описывается реализация простого механизма хранения key-value пар; сам LSM-движок можно собрать за неделю + допилить разные фичи ещё за пару недель

🖥 GitHub
🟡 Гайд

@sqlhub

Читать полностью…

💻EventStoreDB — open-source БД, в основе которой событийно-ориентированный подход

Благодаря событийно-ориентированному подходу EventStoreDB позволяет извлекать больше пользы из данных, видеть больше связей и закономерностей
EventStoreDB позволяет создавать кластеры в AWS, Azure и GCP и безопасно подключать их к собственным облачным ресурсам.

Быстрый старт с Docker:
docker run --name esdb-single-node -it -p 2113:2113 -p 1113:1113 eventstore/eventstore:latest --insecure --run-projections=All --enable-atom-pub-over-http

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

🦆 Традиционные базы данных требуют предварительно определенную схему таблицы и не поддерживают работу с CSV файлами, без их предварительной обработки.

#DuckDB позволяет напрямую считывать файлы CSV , устраняя необходимость в явном создании таблицы и загрузке данных.

▪️Github

@sqlhub

Читать полностью…

IT — не только программирование

Если вы недавно в программировании, если вам интересно работать с Python, но хочется не только писать код, но и решать интересные задачи, то рекомендуем посмотреть в сторону профессии аналитика:

- Согласно докладу Всемирного экономического форума, эта профессия является одной из самых востребованных как зарубежом, так и в России.
- По данным Хабр Карьера junior аналитик в среднем получает 88к рублей, а senior может рассчитывать на 260к и выше.

Есть аналитики, которые переводят с языка цифр на язык бизнеса: видят тренды, прогнозируют и помогают принимать верные решения. Попробуйте себя в новой профессии на бесплатном онлайн-курсе «Аналитика за шесть уроков» от Changellenge >> Education:

✔️Изучите азы основных аналитических программ;
✔️Решите задачи от экспертов-практиков Excel, SQL и Python;
✔️Разберетесь с направлениями и выберите подходящее для себя;
✔️Получите сертификат о прохождении курса и пошаговый план по переходу в новую профессию.

Для участников курса действует дополнительная скидка 10 000 руб. на образовательные программы Changellenge >> Education. Регистрируйтесь по ссылке.

Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid: 2VtzqvYL32b

Читать полностью…

6 июня состоится Firebird Conf 2024, ежегодная конференция для разработчиков, администраторов и пользователей СУБД Firebird

🕊Firebird Conf — ежегодная практическая конференция для разработчиков и администраторов баз данных, активных пользователей СУБД Firebird и тех кто хочет узнать про неё подробнее.

Уже второй год конференция Firebird Conf становится местом для нетворкинга, обмена опытом и формирования связей для реализации совместных проектов.

Доклады конференции посвящены техническим аспектам работы с Firebird:
🔴Новые возможности в СУБД Firebird 6.0 и Ред База Данных 6.0
🔴Firebird в высоконагруженной системе мониторинга сети
🔴Особенности миграции с MS SQL Server и Oracle на СУБД Firebird
🔴Средства разработки для СУБД Firebird
🔴Полнотекстовые движки в СУБД Firebird

Полная программа доступна на сайте мероприятия.

Среди спикеров — представители ИТ-сообщества, бизнеса, люди с опытом разработки и реализации собственных уникальных проектов, а также сами контрибьюторы Firebird. Также предусмотрены активности за пределами конференц-зала.

📌Важное объявление по стоимости билетов: действие промокода FBCONF30 на скидку 30% заканчивается 26 мая, далее билеты можно будет приобрести только за полную их стоимость.
Промокод можно активировать на сайте при покупке билета.

Реклама. ООО «РЕД СОФТ». ИНН: 9705000373. erid: 2Vtzqw3YsNj

Читать полностью…

💻Postgres.js — быстрый полнофункциональный клиент PostgreSQL для Node.js, Deno, Bun и CloudFlare

🖥 GitHub
🟡 А вот сравнение с другими клиентами

@sqlhub

Читать полностью…

💻 pgrx — фреймворк, который позволяет разрабатывать расширения PostgreSQL на Rust

— cargo install --locked cargo-pgrx

pgrx поддерживает Postgres 12 — Postgres 16

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻Knex.js — конструктор SQL-запросов для PostgreSQL и других СУБД

— npm install knex --save
— npm install pg --save

Knex.js спроектирован как гибкий и портативный инструмент.

В нем есть как традиционные колбеки, так и интерфейс промисов для более чистого управления потоком async, потоковый интерфейс, полнофункциональные конструкторы запросов и схем, поддержка транзакций (с точками сохранения), пул соединений и стандартизированные ответы между различными клиентами.

Knex можно использовать в качестве конструктора SQL-запросов как в Node.JS, так и в браузере, ограничиваясь возможностями WebSQL (например, невозможностью дропать таблицы или читать схемы). Составлять SQL-запросы в браузере для выполнения на сервере крайне не рекомендуется, так как это может стать причиной серьезных уязвимостей в безопасности.

🟡 Доки
🖥 GitHub

@sqlhub

Читать полностью…

🌟 fselect — поиск файлов при помощи SQL-like запросов

— brew install fselect

Хотя fselect не стремится полностью заменить традиционные find и ls, у fselect есть несколько приятных особенностей:
— SQL-подобная грамматика, легко понятная человеку
— возможность составлять сложные запросы
агрегатные, статистические, даточные и другие функции
поиск в архивах
— поддержка .gitignore, .hgignore и .dockerignore
— поиск по ширине и высоте изображений, метаданным EXIF
— поиск по информации о MP3
— поиск по расширенным атрибутам файлов
— поиск по хэшам файлов
— поиск по типу MIME
— имеет интерактивный режим
— различные форматы вывода (CSV, JSON и другие)

Любители SQL оценят)
🖥 GitHub
🟡 Примеры запросов

@sqlhub

Читать полностью…

💻Citus — расширение для шардирования PostgreSQL

Citus — это расширение для PostgreSQL, которое превращает Postgres в распределенную базу данных, что позволяет добиться высокой производительности в любом масштабе.

🖥 GitHub
🟡 Страничка Citus

@sqlhub

Читать полностью…

💻 DbGate — open-source менеджер SQL и NoSQL БД

DbGate — это кроссплатформенный менеджер баз данных. Разработан, чтобы быть простым в использовании и эффективным при работе с несколькими БД одновременно.
Также имеет множество дополнительных функций, таких как сравнение схем, визуальный конструктор запросов, визуализация графиков или пакетный экспорт и импорт.

Поддерживает MySQL, PostgreSQL, SQL Server, MongoDB, SQLite и других.
Работает под Windows, Linux, Mac и как веб-приложение.

🖥 GitHub
🟡 Запустить онлайн

@sqlhub

Читать полностью…

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшие Fast Track мероприятия:

• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.

• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.

Зарегистрироваться

Читать полностью…

🔘 «Мне нравится смотреть за роботом и понимать, почему он так себя ведёт».

Недавно мы начали тестировать на складе Маркета Роборуку, которая помогает разбирать партии товаров и складывать их на палеты. Есть и другое направление — мы учим Роборуки работать с маленькими предметами, чтобы в будущем они могли собирать заказы покупателей.

Обучением этой Роборуки занимается Андрей Маношин. Говорим с ним о том, как устроена работа ML-инженера и как объяснить роботу устройство нашего мира.

↗️ Если хотите тоже делать роботов, смотрите наши вакансии.

Подписывайтесь ✨ @yandex

Читать полностью…

💻Psycopg 3 — адаптер PostgreSQL для Python

— pip install "psycopg[binary,pool]"

Psycopg 3 — это реализация самого используемого, надежного и многофункционального адаптера PostgreSQL для Python.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻PostgREST — REST API для любой Postgres БД

PostgREST обеспечивает полностью RESTful API из любой существующей базы данных PostgreSQL.
Он предоставляет более чистый, соответствующий стандартам и быстрый API, чем тот, который вы можете написать с нуля.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻 HugeGraph — open-source графовая БД, реализованная на фреймворке Apache TinkerPop3 и полностью совместимая с языком запросов Gremlin

HugeGraph поддерживает импорт более 10 миллиардов вершин и ребер и может очень быстро обрабатывать запросы (на уровне мс).

Типичные сценарии применения HugeGraph — это исследование связей между объектами, анализ ассоциаций, поиск путей, извлечение признаков, кластеризация данных, обнаружение сообществ, построение графа.

Быстрый старт с Docker:

docker run -itd --name=graph -p 8080:8080 hugegraph/hugegraph
# docker exec -it graph bash

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻rbatis — набор инструментов SQL и компилируемая ORM-библиотека на Rust

rbatis — это высокопроизводительный инструментарий SQL и компилируемая ORM-библиотека.
Асинхронный, чистый SQL-крейт Rust, поддерживающий динамический SQL с компиляцией.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻 YDB — open-source распределенная СУБД, которая сочетает в себе высокую доступность и масштабируемость с высокой согласованностью и соответствием ACID

mkdir ~/ydbd && cd ~/ydbd
curl https://install.ydb.tech | bash
./start.sh ram

# или ./start.sh disk

# или ./start.sh drive "/dev/$DRIVE_NAME"

YDB — это отказоустойчивая распределенная СУБД SQL. YDB обеспечивает высокую доступность, горизонтальную масштабируемость, строгую согласованность и поддержку транзакций ACID. Запросы выполняются с помощью диалекта SQL (YQL).
YDB позволяет одновременно работать с транзакционными (OLTP), аналитическими (OLAP) и потоковыми нагрузками.

Вместо полноценной установки (выше), можно запустить YDB используя Docker:

mkdir ~/ydbd && cd ~/ydbd
mkdir ydb_data && mkdir ydb_certs

docker run -d --rm --name ydb-local -h localhost \
  --platform linux/amd64 \
  -p 2135:2135 -p 2136:2136 -p 8765:8765 \
  -v $(pwd)/ydb_certs:/ydb_certs -v $(pwd)/ydb_data:/ydb_data \
  -e GRPC_TLS_PORT=2135 -e GRPC_PORT=2136 -e MON_PORT=8765 \
  -e YDB_USE_IN_MEMORY_PDISKS=true \
  cr.yandex/yc/yandex-docker-local-ydb:latest

▪️ GitHub
▪️ Доки

@sqlhub

Читать полностью…

💻 SQLx — набор инструментов на Rust для SQL

SQLx — это набор асинхронных инструментов для SQL на чистом Rust, обеспечивающих проверку запросов во время компиляции без DSL.

— Асинхронный. Создан с нуля с использованием async/await для максимального параллелизма

— Проверяемые во время компиляции запросы

— Поддерживаются PostgreSQL, MySQL, MariaDB, SQLite

— Драйверы Postgres и MySQL/MariaDB написаны на чистом Rust с использованием безопасного кода.

— Независимость от времени выполнения. Работает на различных средах исполнения (async-std / tokio / actix) и TLS-бэкендах (native-tls, rustls).

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻 pg_timetable — гибкий планировщик заданий PostgreSQL c большим количеством функций

pg_timetable — это продвинутый автономный планировщик заданий для PostgreSQL, имеющий множество преимуществ перед традиционными планировщиками, такими как cron или pgAgent.
pg_timetable позволяет планировать выполнение команд PostgreSQL, системных программ и встроенных операций.

🖥 GitHub
🟡 Описание устройства pg_timetable

@sqlhub

Читать полностью…

Вебинар «Как создавать высокопроизводительные очереди сообщений с различной архитектурой»

6 июня в 16:00 МСК на вебинаре вы узнаете, как повысить отказоустойчивость и масштабируемость ИТ-систем с помощью Tarantool Queue Enterprise — распределенной in‑memory системы очередей сообщений. Будет рассмотрен кейс применения системы очередей Tarantool Queue Enterprise как интеграционной шины в микросервисной архитектуре.

В программе:

• Как реализовать очередь сообщений с типом взаимодействия Publish/Subscribe для работы в real-time и обработки пиковых нагрузок.
• Как организовать очередь задач с типом взаимодействия Put/Take для обработки асинхронных задач.
• За счет каких технологий и инструментов повышается пропускная способность, масштабируемость и надежность очередей на базе Tarantool Queue Enterprise.

Вебинар будет полезен CTO, архитекторам и разработчикам высоконагруженных систем.

Регистрация

Читать полностью…

Приходите на High SQL — митап ЮMoney о работе с базами данных 😎

Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.

На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.

Темы докладов ⤵️

🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.

Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️

Читать полностью…

Академия Аналитиков Авито открывает новый набор.
Учись у практиков. Решай задачи бигтеха.

Прокачайся как аналитик данных или DS-инженер.
Такая строчка в резюме = буст к карьере.

Читать полностью…

Онлайн-день AvitoTech на Data Fest | 26 мая с 13:00 до 18:00

В программе:
• Общение с рекрутерами и лидами Авито в Spatial Chat;
• Участие в ML System Design Game с Михаилом Каменщиковым, руководителем команды рекомендаций в Авито.

Воркшоп поможет получить опыт работы над крупными проектами и подготовиться к собеседованиям, а также развивать свои идеи в интерактивном формате. Регистрация на онлайн и офлайн-активности по ссылкам.

И помните, 1 июня ожидается большой офлайн-день в московском офисе Авито. Подробности программы здесь.

Читать полностью…

🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять

⚡Машинное обучение

Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест

💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных

#️⃣C#

С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

☕ Java

Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend

💥 Бесплатный Chatgpt бот

Читать полностью…

💻Patroni — создание high availability решений PostgreSQL

— pip install patroni[dependencies]

Patroni — это шаблон для создания high availability решений PostgreSQL с использованием Python.
Для максимальной доступности Patroni поддерживает различные распределенные хранилища конфигурации, такие как ZooKeeper, etcd, Consul или Kubernetes.

Patroni особенно актуален для инженеров баз данных, DBA, DevOps и SRE, которые хотят быстро развернуть HA PostgreSQL в центрах обработки данных.

Поддерживает версии PostgreSQL от 9.3 до 16

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

💻SQLCheck — поиск антипаттернов в запросе

Инструмент на C++ для выявления антипаттернов в SQL

SQLCheck имеет такие зависимости:
• g++ 4.9+
• cmake (установка)

🖥 GitHub

@sqlhub

Читать полностью…

🖥 SQLGlot — парсер, оптимизатор и движок SQL на Python

— pip3 install "sqlglot[rs]"

SQLGlot может использоваться для форматирования SQL или перевода между 21 различными диалектами, в том числе DuckDB, Presto / Trino, Spark / Databricks, Snowflake и BigQuery. Он предназначен для чтения широкого спектра входных данных SQL и вывода синтаксически и семантически корректного SQL на целевых диалектах.

SQLGlot — это очень полный общий парсер SQL с надежным набором тестов. Он также достаточно производителен (за счёт токенизатора на Rust) и при этом написан исключительно на Python.

Вы можете легко настраивать парсер, анализировать запросы, обходить деревья выражений и программно создавать SQL.

Синтаксические ошибки подсвечиваются, несовместимость диалектов отображается, однако SQLGlot не стремится быть валидатором SQL, поэтому он может не обнаружить некоторые синтаксические ошибки.

🖥 GitHub

@sqlhub

Читать полностью…

level up вашей карьеры инженера данных

У вас уже есть опыт работы, но вы хотите выделиться на фоне «джунов» и охватить всю архитектуру DWH целиком — тогда присоединяйтесь к курсу «Инженер данных» от karpov.courses и экспертов из Яндекса, Ozon, Vk и Сбера.

За 5 месяцев вы освоите все актуальные технологии. А для большего погружения в работу, вы поработаете с ETL-процессами крупной двухуровневой платформы данных, закрепите понимание инструментов Airflow, Spark + S3 и Greenplum и поймёте, как использовать их в связке друг с другом.

А чтобы вы могли ещё больше вырасти, до конца мая karpov.courses даёт возможность по выгодной цене приобрести комбо «курс Инженер данных + Симулятор Data Science». Кроме прокачки навыков, вы будете решать реальные задачи бизнеса и выполните свой уникальный пет-проект, под руководством опытных менторов.

Купить комбо можно до 31 мая, а если усиленная практика пока не нужна - записывайтесь только на курс Инженер данных со скидкой 7% по промокоду SQLHUBB: https://clc.to/erid_LjN8KWtuB

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

Читать полностью…

Ищем технических писателей и системных аналитиков в команду Riverstart. Компания в IT с 2012 года, аккредитована Минцифры.

Наши преимущества:
● не требуем присутствия в офисе, многие наши сотрудники работают удаленно из разных городов России
● сможете выбирать проекты в тех отраслях, которые любите
● платим по рынку, даем премии и составляем план развития на каждые полгода

Требования для Системного аналитика:
● опыт работы от 3-х лет
● опыт сбора требований и их формализации (Use Cases, User Story, CJM, User Story Map и т. п)
● анализ данных с использованием SQL
● практический опыт работы с описанием API и процессов

Требования для Технического писателя:
● опыт работы от 2-х лет
● хорошее знание ГОСТов (19 и 34)
● опыт написания ТЗ, ПМИ, спецификации, руководства, пояснительная записка, внутренней и другой проектной документации

Узнайте больше о вакансиях и оставьте отклик на сайте!

Читать полностью…