36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
💻 Valkey — это высокопроизводительное open-source хранилище данных, поддерживающее кэширование, очереди сообщений; может выступать в качестве основной базы данных
Также Valkey может работать как автономная фоновая служба или в кластере, с возможностью репликации и высокой доступности.
Valkey поддерживает множество типов данных, включая строки, числа, хэши, списки, наборы, сортированные наборы, растровые изображения и др.
Можно оперировать со структурами данных с помощью набора команд. Valkey также поддерживает встроенную поддержку сценариев на языке Lua и поддерживает модули-плагины для создания новых команд и типов данных.
🖥 GitHub
🟡 Доки
@sqlhub
💪 Качаем скиллы PostgreSQL!
17 сентября 2024 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.
🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция
🧑🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.
📌 Дата и время: 17 сентября, 9:00
Формат: офлайн/онлайн
Место проведения: отель «TASIGO Kazan Palace»
✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!
Прокачайтесь в Data Science за 7 дней!🦾
Российская BI-платформа Analytic Workspace запустила бесплатный интенсив по ML-прогнозированию в AW BI «АНАЛИТИК 2.0».
🔥«АНАЛИТИК 2.0» — это 7 дней мощного погружения в Data Science вместе с топовыми экспертами — никаких скучных лекций, только практические занятия и реальные кейсы.
Всё, что нужно от вас: желание изучить ML-прогнозирование, базовые навыки SQL и визуализаций. Остальному научат: Python, Spark, ML. Сможете собирать обучающие датасеты, обучать ML-модели при помощи инструментов Data Science и применять их для прогнозирования в BI.
🚀А в финале интенсива состоится конкурс с призовым фондом 200 000 рублей. Конкурсанты получат кейс в портфолио, у финалистов будет еще и сертификат, который украсит резюме, а победители вдобавок ко всему заберут деньги.
Пройдя интенсив и погрузившись в Data Science — вы получите возможность выйти на новый уровень в карьере. BI-аналитики со знанием ML более востребованы на рынке, таких специалистов разбирают как «горячие пирожки». И зарплату предлагают вдвое больше, чем коллегами, которые ограничены только традиционными методами бизнес-анализа.
🔗Скорее регистрируйтесь по ссылке.
И становись экспертом, которого захотят «схантить» лучшие компании.
Реклама. Рекламодатель ИП Назаренко С.О.
ИНН: 183111053286
Как управлять ресурсами в ClickHouse?
🔹Научитесь управлять ресурсами и профилированием запросов в ClickHouse на открытом уроке от Otus. Практика поможет оптимизировать работу с базой данных, улучшить производительность запросов и эффективно управлять ресурсами системы.
✅ Практика: настройка квот, ограничений и профилей пользователей
Урок приурочен к курсу «ClickHouse для инженеров и архитекторов БД». Все о работе с ClickHouse: от установки и настройки, до продовых решений
👉 Регистрация и подробности:
https://otus.pw/CXtd/?erid=LjN8K1gPi
Когда ментор Слёрма Николай Марков решил стать Data-инженером, он не представлял, какие сюрпризы его ждут в профессии. А участники первого реалити-шоу про Data-инженеров уже успели прочувствовать эту атмосферу.
От неожиданных сбоев в коде до неуловимых багов — они испытали на себе вызовы, которые стоят за работой с большими данными. Кто смог раскрыть потенциал в нашей гонке, а кто слился после первых заданий?
👉🏻 Переходите, чтобы узнать, кто готов идти до конца и как стать Data-инженером
Внутри — гайд «Инструменты Data-специалиста», Roadmap для начинающего Data-инженера и ещё много полезного — статьи, ссылки, рекомендации и бесплатные вебинары 👉🏻 @gdedata
Реклама. ИП Аердинов Н.В. ИНН 638103515932 erid: LjN8K97oM
Получить диплом о прохождении курса “ML-инженер” сейчас не так уж и сложно. А вот стать квалифицированным специалистом, способным решать сложные задачи — вот, что по-настоящему не просто и круто!
Прокачать себя в профессии можно на бесплатном вебинаре «Почему ML-инженеру важно разбираться в продукте» от Product manager OneCell, преподавателя AI Talent Huv ИТМО Вадима Чижкова.
На вебинаре вы разберете:
▪что такое продукт,
▪почему ML-инженеру важно понимать продукт, даже если есть product-manager
▪как инженерные решения влияют на продуктовые метрики,
▪как оценивать задачи, исходя из их ценности для продукта.
А так же сможете задать все интересующие вас вопросы эксперту.
Вебинар состоится 12.09.24 в 18:30(Мск). Регистрируйтесь в боте на вебинар и становитесь ML-инженером, за которого будут бороться топовые компании страны и мира!
Наш бот также пришлет вам напоминание о мероприятии, чтобы вы ничего не пропустили.
Реклама. Университет ИТМО ИНН:7813045547 erid:2VtzqxkvKps
🖥 Scientific Computing with Python — это бесплатный интерактивный курс от FreeCodeCamp, созданный для изучения анализа данных с помощью Python.
Основные темы включают:
▪️ работу со строками;
▪️ List Comprehension;
▪️ основы алгоритмического дизайна;
▪️ структуры данных;
▪️ классы и объекты.
Цель курса — дать учащимся прочные навыки для работы с научными данными и их обработкой, используя Python.
🔗 Ссылка на курс
#курс #python
@sqlhub
💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis
Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis.
Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow.
Особенности Kvrocks:
— Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis.
— Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен.
— асинхронная репликация с использованием binlog, как в MySQL.
— поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства.
Быстрый старт с Docker:
docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0
🖥 Наглядная шпаргалка: Шардирование базы данных
🚀 Источник
@sqlhub
🖥 Мечтаете о карьере в IT, но не хотите программировать? Хорошая новость: это возможно!
Если стать аналитиком данных — IT-специалистом, который собирает и анализирует данные, чтобы строить прогнозы для бизнеса. Аналитики данных востребованы во многих сферах: IT, маркетинг, ритейл, банкинг и т. д.
Обучение подойдет, если вы:
🟣новичок без опыта без опыта в IT
🟣бухгалтер, финансист или экономист
🟣уже работаете с аналитикой и хотите углубить знания для роста в карьере
На курсе вы получите навыки, которые реально нужны работодателям, и овладеете самыми популярными инструментами: Python, Pandas, NumPy, Jupyter Notebook, SQL, Power BI.
🔗 Начните работать аналитиком уже через 6 месяцев! Заполните заявку, чтобы получить бесплатный доступ к первым урокам.
Реклама. ООО «Эдюсон», ИНН 7729779476. Erid:2VtzqvPJeZU
💻FrostDB — встраиваемая колоночная БД, написанная на Go
Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).
В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.
🖥 GitHub
@sqlhub
Используйте продвинутые функции ClickHouse для эффективного анализа данных
🔹Оптимизируйте запросы на открытом уроке «Продвинутые функции ClickHouse» от Otus. Рассмотрим использование материализованных представлений, работу с распределенными таблицами и тонкости настройки кластеров
✅ Практические примеры с демонстрацией реальных кейсов
Урок приурочен курсу «ClickHouse для инженеров и архитекторов БД» от Otus.
👉 Регистрация и подробности:
https://otus.pw/OAZJ/?erid=LjN8KRqKC
PGConf.СПб 2024 — главная встреча постгресистов в Санкт-Петербурге!
1 октября в Питере пройдёт техническая конференция по PostgreSQL от российского СУБД-разработчика Postgres Professional.
Более 20 докладов по темам:
✔️Эксплуатация СУБД. Опыт DBA
✔️Миграция на Postgres
✔️Мониторинг и настройка СУБД
✔️Отказоустойчивые и масштабируемые системы
✔️Новости от разработчиков
Среди спикеров прошлого года — эксперты Сбера, ВТБ, Ozon, SoftSwiss, Netcracker, Нетрики и др.
💥На конференции пройдёт единственная в России сертификация по PostgreSQL!
ГДЕ? Онлайн и офлайн: Гостиница «Санкт-Петербург», г. Санкт-Петербург, Пироговская набережная, д. 5/2
КОГДА? 1 октября 2024 года
Участие в конференции для студентов и преподавателей — бесплатное.
РЕГИСТРАЦИЯ
⚡️ Полезная шпаргалка по связке Python + MySQL
- Создание БД и таблиц
- Внесение, чтение, обновление и удаление данных
🖥 dbt-core
Громоздкие #SQL запросы трудно читать, понимать и поддерживать.
С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.
-- models/total_order_amount.sql
SELECT
order_id,
customer_id,
SUM(order_amount) AS total_amount
FROM
raw_orders
GROUP BY order_id, customer_id
models/average_order_amount.sql:
-- models/average_order_amount.sql
SELECT
customer_id,
AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id
Если вы работаете в области данных, вам предстоит пройти собеседование по SQL
Вот несколько кратких советов которые вы должны знать на собеседовании по SQL.
Начинающим
- Уметь объяснить различные типы объединений. Иногда я видел, что этот вопрос задается рекрутерами в качестве отборочного, чтобы убедиться, что они хотят взять вас на работу.
- Знать, когда в порядке выполнения операций в SQL используется HAVING, а когда WHERE.
Mid
- Понимать, как использовать оператор CASE внутри функции SUM или COUNT
- Знать, по крайней мере, 1-2 способа оптимизации запроса, и если вы решите, что одним из этих способов является создание индекса в таблице, то вы должны знать, какие плюсы и минусы есть у индекса.
Продвинутым
- Знать, как решить SQL задачу с использованием оконной функции и без нее.
- Понимать и уметь объяснить, что такое коррелированный подзапрос.
- Просто сошлитесь на то, что вы посмотрите на план выполнения запроса. Рекрутеры будут шокированы тем, что вы вообще знаете, что это такое.
@sqlhub
🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов
Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.
▪DEMO
▪GitHub
@sqlhub
💻 GreptimeDB — облачная распределенная БД временных рядов с открытым исходным кодом; поддерживает PromQL/SQL/Python
GreptimeDB — это open-sorce БД временных рядов, ориентированная на эффективность, масштабируемость и аналитические возможности.
Особенности GreptimeDB:
— оптимизированная колоночная структура для работы с данными временных рядов; сжатие и хранение в различных системах хранения данных, в частности в облачных объектных хранилищах
— полностью открытая архитектура распределенного кластера, использующая мощь облачных вычислительных ресурсов
— встроенный SQL и PromQL для запросов, возможность использовать сценарии Python для решения сложных аналитических задач
Быстрый старт с Docker:docker run --rm --name greptime --net=host greptime/greptimedb standalone start
🖥 GitHub
🟡 Доки
@sqlhub
⚒️ Шардирование базы данных: шпаргалка для разработчика
👉 Источник
🖥 Neon
Neon - это бессерверная альтернатива AWS Aurora Postgres с открытым исходным кодом, написанная на Rust.
В инструменте поддерживается автомасштабирование, разделяет хранение и вычисления , перераспределяя данные по кластеру узлов.
🖥 Github
@sqlhub
💻Debezium — open-source CDC для Apache Kafka
Debezium — это CDC (Capture Data Change), набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.
Debezium поддерживает следующие СУБД: MySQL, PostgreSQL, MongoDB, SQL Server, Cassandra и Oracle;
причём все эти СУБД подключаются по единой общей модели.
Если сравнивать использование Debezium с традиционным подходом (когда приложение читает данные из СУБД напрямую), то к его главным преимуществам относится реализация стриминга изменения данных на уровне строк с низкой задержкой, плюс высокая надежность и доступность.
🖥 GitHub
🟡 Доки
@sqlhub
Приглашаем принять участие в вебинаре «Как эффективно построить конвейер DevOps. Опыт использования Platform V Orchestra R».
Когда: 12 сентября в 11:00.
Виталий Астраханцев, руководитель разработки инструментов DevSecOps в СберТехе, расскажет об инструменте, который позволяет настраивать конвейеры в режиме low-code.
Что еще обсудим:
· Как устроен процесс единой разработки ПО: от идеи до развертывания в промышленных средах. Helicopter view и разбор роли CI/CD.
· GitOps/NoOps/AIOps: плюсы, минусы и варианты развития.
· Метрики производственного процесса. Вопрос актуальности DORA.
· Можно ли за час собрать конвейер с нуля? Разберемся на реальном примере.
Регистрируйтесь сейчас и до встречи на вебинаре!
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Хакинг: t.me/linuxkalii
Devops: t.me/devOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
Kubernets: t.me/kubernetc
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
💻Triplit — open-source БД, которая синхронизирует данные между сервером и браузером в режиме реального времени
— npm create triplit-app@latest
Triplit — это полнофункциональная база данных, работающая как на сервере, так и на клиенте. Поддерживает подключаемые хранилища (IndexedDB, SQLite, durable objects), синхронизацию через websockets, плюс поддерживавет популярные фреймворки (React, Solid, Vue, Svelte)
🖥 GitHub
🟡 Доки
@sqlhub
💻Skytable — современная масштабируемая NoSQL БД с BlueQL, разработанная для обеспечения производительности, масштабируемости и гибкости
Skytable — это in-memory key-value БД, основанная на широких столбцах, с поддержкой дополнительных моделей данных, которая использует собственный механизм хранения (структурированные записи с оптимизированными транзакциями) и позволяет выполнять запросы с помощью собственного языка запросов BlueQL — надмножества SQL.
🖥 GitHub
🟡 Доки
@sqlhub
🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.
Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.
Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробкиmake
make install
▪ Github
👣 RoseDB — высокопроизводительная NoSQL база данных на основе Bitcask
RoseDB поддерживает такие структуры данных, как string, list, hash, set и sorted set.
Написана RoseDB на Go
🖥 GitHub
🟡 Доки
@Golang_google
💻YugabyteDB — высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL
YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.
Быстрое создание локального кластера YugabyteDB с Docker:
docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
--background=false
⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.
▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.
▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.
▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.
Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.
https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/
@sqlhub