36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
SQL отработал, но цифры не сходятся?
SQL Логи бизнеса — канал про реальные рабочие задачи аналитика
Здесь:
🔸ловушки с собеседований
🔸разборы запросов, которые «работают, но не так как надо»
🔸кейсы из банковской аналитики
🔸тесты
Канал ведёт действующий банковский аналитик с опытом работы в Сбере и Т-Банке и с дипломом ВШЭ
Если вам нужен SQL для работы и собеседований — добро пожаловать в SQL Логи бизнеса
Вот некоторые посты с канала:
• Самая частая ошибка джунов
• Когда запрос работает, но выдает не то, что вы ожидаете
• Когда действительно нужен self-join
🎄 Новый год - идеальный момент перезапустить себя.
Не “с понедельника”.
Не “когда будет время”.
А сейчас.
⚡️ VictoriaLogs - быстрый и экономичный лог-движок от VictoriaMetrics
VictoriaLogs - это специализированная open-source база данных для логов, заточенная под высокую скорость, низкое потребление ресурсов и простоту эксплуатации.
Проект создан той же командой, что и VictoriaMetrics, и следует той же философии: максимум производительности без лишней сложности.
Что важно:
- Высокая скорость записи и поиска логов даже при терабайтах данных
- Очень низкое потребление RAM и диска по сравнению с классическими лог-стеками
- Отлично справляется с высокой кардинальностью (trace_id, user_id, ip и т.д.)
- Нет сложной настройки индексов - система оптимизируется автоматически
- Поддержка полнотекстового поиска и мощного LogsQL
- Live-tail логов (аналог tail -f)
- Можно масштабировать просто добавляя CPU, RAM и диск
- Работает как на маленьких серверах, так и под серьёзную нагрузку
- Написан на Go, с упором на cache-friendly структуры и минимальные аллокации
Особенно хорошо подходит для:
- high-load backend-сервисов
- observability и troubleshooting
- замены тяжёлых ELK/Loki-подобных решений
- долгого хранения логов с быстрым поиском
Философия простая: логи должны писаться и читаться быстро, а не требовать кластера из десятков нод.
https://github.com/VictoriaMetrics/VictoriaLogs/
🔥 Хочешь прокачаться в аналитике, но не просто читать теорию, а решать реальные задачи?
Мы запустили полностью бесплатный телеграм-тренажёр 👇
Тебя ждут сценарии, с которыми сталкиваются аналитики каждый день: от простых запросов до задач уровня собеседований.
Что внутри:
✔ живые кейсы из реальной практики
✔ удобный симулятор - как работа в компании, только бесплатно
✔ разбор ошибок — понимаешь не только «как», но и «почему»
✔ добавляем задачи с интервью и улучшаем бот вместе с сообществом
Начни тренироваться сегодня — и почувствуй уверенность в работе с данными.
t.me/Analitics_databot
🖥 На Stepik вышел курс, который учит работать с Docker на реальных проектах.
Владение Docker - навык, который отличает новичка от профи,
Сегодня почти всё разворачивается в контейнерах.
Если ты не умеешь работать с Docker, ты медленнее, зависим от чужих настроек и постоянно ловишь баги «у меня локально работает».
• как упаковывать проекты в контейнеры
• как поднимать целые системы за минуты
• как избегать типичных ошибок в продакшене
• как делать стабильные и повторяемые окружения
•в нем разобраны все возможные ошибки
Только практика и реальные кейсы от авторов Docker Академии- с нуля до уверенного уровня.
🎁 Скидка 40 процентов действует 48 часов
👉 Записывайся и сделай Docker своим настоящим рабочим инструментом.
🔐 Postgresus 2.0 - новая версия self-hosted инструмента для резервного копирования и мониторинга PostgreSQL баз данных, написанный на Go
🔥 Возможности:
- создание бекапов по расписанию для PostgreSQL 12-18;
- хранение бекапов локально, в S3, CloudFlare R2, NAS или Google Drive;
- health check базы данных раз в минуту;
- уведомления в Telegram, Slack, MS Teams, Discord, по почте и в кастомизируемый вебхук, если бекап сломался или база недоступна;
- разделение баз на проекты с контролем доступа и аудит логами (для DBA и DevOps команд);
- улучшенная защита: шифрование резервных копий и read-only пользователь для их создания;
- запуск через скрипт, Docker, Docker Compose и Kubernetes Helm
Запуск через Docker:
docker run -d \
--name postgresus \
-p 4005:4005 \
-v ./postgresus-data:/postgresus-data \
--restart unless-stopped \
rostislavdugin/postgresus:latest
✔️ Tencent представила диффузионную языковую модель: в 6 раз быстрее классических LLM
WeDLM-8B Instruct использует не авторегрессию, как обычные LLM,
а диффузионный способ генерации текста.
Что это даёт?
🚀 В задачах математического рассуждения модель работает в 3–6 раз быстрее,
чем Qwen3-8B даже с оптимизациями vLLM - при сохранении качества.
Этот релиз ломает старый миф, что «диффузионные модели не подходят для точных текстовых задач».
На практике WeDLM показывает, что такой подход может конкурировать
и даже обходить трансформеры по скорости инференса.
Модель открыта и доступна под лицензией Apache 2.0:
🔗 https://wedlm.github.io
🔗 https://huggingface.co/tencent/WeDLM-8B-Instruct
🚀 Новый продвинутый планировщик заданий для PostgreSQL - лучше, чем cron
Если устал от cron и временных триггеров, обрати внимание на pg_timetable:
✅ Сильный: гибкий, надёжный, с богатым функционалом
✅ Легко настраивается, понятен и прозрачен
✅ Позволяет:
• запускать SQL-задачи по расписанию
• отслеживать их статус и history
• обеспечивать graceful restart и защиту от сбоев
Идеален для рабочих баз, сложной логики задач и критичных приложений.
📦 Репозиторий: https://github.com/cybertec-postgresql/pg_timetable
#golang #postgresql #devops #golang
Вы играли в детстве в «Героев меча и магии»? А что, если в них добавить немного дата-аналитики и технологий работы с данными?
Yandex Cloud вместе с Forbes запустили мини-игру, отчасти вдохновленную «Героями».
⚔️ В этой игре ты становишься «Героем данных и киберпанка», а привычные инструменты — PostgreSQL, ClickHouse, Trino, DataLens и другие — превращаются в артефакты с уникальными свойствами. Их можно получить у хранителей или создать в кибер-кузнице.
🐉 В проекте можно найти отсылки к классической игре, например, «Аналитики объявили месяц Чистых Логов. Время поиска багов уменьшилось втрое».
🎯 Игроки выбирают героя и помогают ему решить задачи из финтеха, ритейла или промышленности. Для победы нужно собрать нужный набор артефактов и справиться с «дата-хаосом».
🖥 Игра доступна на десктопе и мобильных устройствах.
📊 В дополнение к игровому опыту на лендинге есть реальные примеры, как компании используют решения Yandex Cloud для аналитики и обработки данных в бизнесе.
👉 Подробнее и поиграть можно здесь.
Развернуть PostgreSQL в MWS Cloud Platform ⬜️ — быстрее, чем вспомнить пароль от pgAdmin. И точно быстрее, чем объяснить DevOps'у, зачем ещё одна база.
Всего несколько минут и у вас:
⏺️готовая база на сетевых или локальных дисках
⏺️постоянный primary endpoint
⏺️безопасное подключение через Private Link
⏺️автоматические бэкапы и обслуживания по твоему расписанию
🐘 Postgres использует архитектуру «отдельный процесс на каждое подключение», поэтому в большинстве случаев вам нужен connection pooler.
Пул соединений вставляется между приложением и базой: он держит набор постоянных подключений и динамически назначает их входящим запросам. Самый распространённый инструмент - PgBouncer, у которого есть три режима работы.
1) Session pooling - каждое приложение-подключение закрепляется за одним pooled-соединением.
2) Transaction pooling - каждую транзакцию привязывают к pooled-соединению и освобождают сразу после завершения.
3) Statement pooling - каждое выражение получает соединение, но нет поддержки многозапросных транзакций, что сильно ограничивает кейсы.
Режим 1 плохо решает проблемы высокой конкуренции Postgres, поэтому обычно не подходит при большом числе подключений. Режим 3 слишком ограничивающий, так как многозапросные транзакции нужны многим приложениям. В итоге режим 2 даёт лучший баланс возможностей и контроля над соединениями.
Именно transaction pooling, тот режим, который PlanetScale применяет для всех своих PgBouncer-инстансов.
@sqlhub
Microsoft запустила VibeVoice Realtime на Hugging Face - лёгкую стриминговую text-to-speech модель, которая начинает озвучивать текст примерно за 300 миллисекунд.
Идеально для живых данных и разговоров с LLM.
huggingface.co/microsoft/VibeVoice-Realtime-0.5B
SQLite-Vec — крошечная и портативная vectorDB на базе SQLite
SQLite-Vec — это сверхлёгкая и очень быстрая векторная база данных, встроенная прямо в SQLite. Идеальный вариант для on-device RAG, edge-приложений и локальных AI-сценариев без тяжёлой инфраструктуры.
Почему это интересно:
- Работает поверх обычного SQLite
- Минимальный оверхед и высокая скорость
- Отлично подходит для локального поиска по эмбеддингам
Ключевые возможности:
- Matryoshka embedding slicing — работа с усечёнными эмбеддингами
- До 32x экономии места за счёт бинарной квантизации
- Поддержка метрик L2, cosine и Hamming distance
- SQL-запросы для vector search без отдельной vectorDB
По сути, это vector search без Kubernetes, без сервисов и без боли — просто SQLite с суперспособностями.
Отличный выбор для:
- локальных RAG-агентов
- десктопных AI-приложений
- embedded-систем
- офлайн-поиска по знаниям
Данные — сырьё для гипотез. А без гипотез не получится успешный продукт.
В VK аналитики помогают продуктам говорить на языке пользователей. Узнайте, как принципы помогают VK превращать гипотезы в фичи и чем гордятся команды. Переходите по ссылке — вдохновляйтесь и присоединяйтесь.
🕒 Расширенный планировщик задач для PostgreSQL
pg_timetable - это мощный планировщик задач для PostgreSQL, который предлагает гибкие возможности для автоматизации выполнения SQL-команд и системных программ. Он полностью управляется из базы данных и поддерживает сложные сценарии планирования, включая цепочки задач и автоматическое повторение пропущенных заданий.
🚀 Основные моменты:
- Полностью управляемая конфигурация через базу данных
- Поддержка YAML для удобного определения цепочек задач
- Возможность передачи параметров и автоматического повторения задач
- Встроенные задачи, такие как отправка email и импорт файлов
- Расширенные возможности планирования по типу cron
📌 GitHub: https://github.com/cybertec-postgresql/pg_timetable
@sqlhub
🖥 Продвинутый SQL-совет по оптимизации: делай запросы "питающимися индексом" (index-only scan) с правильным составным индексом.
Идея: не просто добавить индекс на один столбец, а так подобрать порядок полей, чтобы запрос вообще не ходил в таблицу, а читал всё из индекса. Это даёт огромный буст на "горячих" таблицах.
Допустим, у тебя часто есть такой запрос:
SELECT
id,
created_at,
total_amount
FROM orders
WHERE user_id = 123
AND status = 'paid'
ORDER BY created_at DESC
LIMIT 20;
CREATE INDEX idx_orders_user ON orders (user_id);
CREATE INDEX idx_orders_status ON orders (status);
CREATE INDEX idx_orders_created ON orders (created_at);
CREATE INDEX idx_orders_user_status_created_at
ON orders (user_id, status, created_at DESC)
INCLUDE (total_amount);
user_id, status - фильтруют строки
created_at DESC - сразу даёт нужный порядок для ORDER BY ... DESC
INCLUDE (total_amount) - позволяет взять сумму прямо из индекса
🛠️ Легкий TUI для работы с SQL базами данных
sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках.
🚀Основные моменты:
- Поддержка множества баз данных без дополнительных адаптеров
- Удобный интерфейс для управления соединениями
- Встроенная история запросов с возможностью поиска
- Поддержка SSH туннелей для безопасного подключения
- Редактирование в стиле Vim для терминальных пользователей
📌 GitHub: https://github.com/Maxteabag/sqlit
#python
🖥 Гайд по продвинутому профессиональному использованию SQL
В этом руководстве мы рассмотрим ключевые аспекты работы с SQL на практике. Начнём с сравнения популярных СУБД, затем перейдём к продвинутым приёмам аналитического SQL, оптимизации запросов, администрированию баз данных, и закончится всё интеграцией SQL с Python (SQLAlchemy, pandas и т.д.).
Для каждого раздела приведены примеры на реальных сценариях (интернет-магазин, CRM, аналитика продаж), код и полезные советы.
👉 Читать гайд
🎉 PostgreSQL playground прямо в браузере через WASM!
Открыл для себя интересный проект: полностью работающий PostgreSQL в браузере с помощью WebAssembly!
Теперь можно запускать и экспериментировать с PostgreSQL прямо в браузере — без установки, настроек и локальных серверов. Отлично подходит для:
- обучения SQL
- быстрых прототипов
- демонстраций
- тестирования запросов
🚀 PostgreSQL everywhere — даже в браузере!
🔗 https://github.com/datawan-labs/pg/
🖥 XiYan-SQL - инструмент для интерактивной работы с SQL, основанный на LLM
XiYan-SQL - это open-source решение, позволяющее генерировать, анализировать и выполнять SQL-запросы с использованием больших языковых моделей. Инструмент ориентирован на ускорение исследования данных и автоматизацию рутинных операций, связанных с запросами к базе.
Ключевые возможности:
- Генерация SQL из естественного языка -пользователь формулирует задачу обычными словами, а система преобразует её в корректный SQL-запрос.
- Интерактивная работа с базой данных - запросы можно оперативно уточнять, редактировать и выполнять, получая быстрый цикл обратной связи.
- Поддержка нескольких СУБД - PostgreSQL, MySQL, SQLite и другие.
- 🛠️ Минимальная конфигурация - подходит для анализа данных, прототипирования и облегчения доступа к базе без сложной инфраструктуры.
Преимущества использования:
- Существенно снижает трудоёмкость написания сложных SQL-запросов.
- Упрощает работу аналитикам и разработчикам, которым важно быстро получать корректные результаты.
- Может выступать в роли интерактивного помощника для изучения структуры базы и построения отчётов.
🔗 Репозиторий: github.com/XGenerationLab/XiYan-SQL
@ai_machinelearning_big_data
#sql #llm #ai #opensource #database #datatools #postgresql
🖥 GophrQL - GraphQL toolkit for Go
Что это:
GophrQL — это простая и мощная библиотека на Go, которая помогает строить GraphQL API быстро и с минимальной болью. Она стремится быть легковесной, понятной и удобной для разработчиков, работающих с Go + GraphQL.
Основные фишки:
- Чистый Go-фэйс для описания схемы и резолверов
- Минимум магии и зависимостей
- Явная интеграция с Go-типами
- Хорошо подходит для микросервисов и сервисов с высокими требованиями к производительности
Почему это полезно:
Если вы пишете API на Go и хотите GraphQL без тяжеловесных фреймворков, GophrQL даёт:
✔️ строгую типизацию
✔️ контроль над схемой
✔️ простую и понятную структуру кода
✔️ меньше boilerplate-кода по сравнению с другими Go GraphQL решениями
Кому подойдёт:
- Go-разработчикам, которым нужен GraphQL API
- Командам, ищущим лёгкую альтернативу тяжёлым GraphQL-фреймворкам
- Проектам, где важна производительность и явное управление схемой
🔗 Репозиторий: github.com/maxpert/gophrql
⚙️ Context-async-sqlalchemy: простой способ подружить ASGI и async SQLAlchemy
Эта библиотека упрощает интеграцию асинхронного SQLAlchemy в любые ASGI-приложения.
Что она делает:
• управляет жизненным циклом engine и сессий
• даёт удобные утилиты для работы с БД
• ускоряет разработку — без лишней магии и ограничений
Идея простая: меньше шаблонного кода, больше внимания логике приложения.
https://github.com/krylosov-aa/context-async-sqlalchemy
Полезная шпаргалка по консольным командам Git 👍
В Git полно команд, и если ты часто их забываешь, эта шпаргалка специально для тебя. В репозитории можно быстро почитать об основных командах и концепциях, а затем одним вальяжным нажатием на Ctrl+C скопировать их.
Приятный бонус — всё написано на русском. Так что сохраняем!
#git #шпаргалка
📦 Распределенная база данных FoundationDB 🚀
FoundationDB — это распределенная база данных, оптимизированная для обработки больших объемов структурированных данных. Она использует упорядоченное хранилище ключ-значение и поддерживает ACID-транзакции, обеспечивая высокую производительность как для чтения, так и для записи.
🚀Основные моменты:
- Поддержка ACID-транзакций для надежности данных.
- Высокая производительность для рабочих нагрузок с частыми записями.
- Гибкая архитектура для масштабирования на кластерах серверов.
- API для взаимодействия на различных языках программирования.
📌 GitHub: https://github.com/apple/foundationdb
@sqlhub
🛠 SQL всему голова! 24 декабря в 20:00 на бесплатном уроке поговорим про PostgreSQL FDW: швейцарский нож для интеграций или как я перестал бояться разнородных данных. Будет интересно!
🔭 Разберем Foreign Data Wrappers — встроенную возможность PostgreSQL подключаться к любым внешним источникам данных. Научитесь делать JOIN между MySQL, MongoDB, Redis и даже CSV-файлами в одном SQL-запросе.
📚 Что будет на уроке:
✅ Live demo с 4 БД одновременно: подключим MySQL, MongoDB, Redis и CSV-файл к Postgres, сделаем JOIN в одном запросе
✅ Реальный кейс миграции: как перенести данные с MySQL на Postgres без остановки приложения через postgres_fdw
✅ Production tips: производительность FDW, кэширование, когда использовать, а когда это overkill и лучше ETL
🚩 Приходите узнать, как PostgreSQL превращается в универсальный хаб для всех ваших данных: покажем JOIN таблиц из MySQL и MongoDB в одном запросе, миграцию без downtime и почему это может заменить половину ваших ETL-процессов.
👉 Успейте записаться на бесплатный вебинар: https://otus.pw/az47/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🖥 Оптимизация запросов с индексами
Индексы могут значительно ускорить выполнение ваших запросов в SQL, особенно на больших таблицах. Убедитесь, что вы создали индексы на колонках, которые часто используются в условиях WHERE и JOIN.
Читать полностью…
CREATE INDEX idx_customer_lastname ON customers(last_name);
SELECT * FROM customers
WHERE last_name = 'Smith'
ORDER BY first_name;
SELECT COUNT(*) FROM orders
WHERE customer_id IN (SELECT id FROM customers WHERE last_name = 'Smith');
📘 На Stepik вышел курс — «SQL для технических собеседований»
Теряете офферы на SQL-секции? Знаете синтаксис, но теряетесь на лайвкодинге? Этот курс — прямой путь к прохождению технических интервью.
• Базовый SQL: SELECT, WHERE, JOIN — база для любого собеседования
• Агрегация: GROUP BY, HAVING — закрываем 80% задач на интервью
• Подзапросы, CTE, рекурсии — то, что спрашивают на Middle+
• Оконные функции: ROW_NUMBER, RANK, LAG/LEAD — любимая тема интервьюеров
• Оптимизация: индексы, план выполнения — отличает сильных кандидатов
• Лайвкодинг: как думать вслух и не зависать под давлением
70+ задач из реальных собеседований в Яндексе, Тинькофф, FAANG
Финальный тест — 15 реальных задач за 60 минут
Подходит разработчикам, аналитикам, тестировщикам, DevOps
🎓 Сертификат для резюме и LinkedIn
🚀 Скидка 25%, действует 48 часов
Старт потока 24 декабря
👉 Пройти курс
🔍 Быстрый клиент PostgreSQL для разработчиков
Data Peek — это легкое и быстрое настольное приложение для работы с PostgreSQL, позволяющее разработчикам быстро просматривать данные без лишнего функционала. Поддерживает много вкладок, редактирование данных и визуализацию отношений между таблицами.
🚀Основные моменты:
- Мгновенный запуск за 2 секунды
- Редактор запросов с подсветкой синтаксиса
- Поддержка темного и светлого режимов
- Безопасное хранение учетных данных
- Анализ производительности запросов
📌 GitHub: https://github.com/Rohithgilla12/data-peek
Только в декабре: скидка 10 % на курсы и программы в IT от НИУ ВШЭ
Центр непрерывного образования факультета компьютерных наук НИУ ВШЭ предлагает всем, кто готов начать новый год с погружения в IT-индустрию, скидку 10% на курсы и программы.
Профессии:
🟣Специалист по Data Science: старт — 11 февраля, продолжительность — 1.5 года.
🟣Аналитик данных: старт — 25 февраля, продолжительность — 1 год.
🟣Дата-инженер: старт — март-апрель 2026 год, продолжительность — 1 год.
Очные курсы:
🟣Алгоритмы и структуры данных: старт — 12 января, продолжительность — 10 занятий.
🟣SQL для анализа данных: старт — 14 января, продолжительность — 10 недель.
🟣Прикладная статистика для машинного обучения: старт — 17 января, продолжительность — 10 недель.
🟣Машинное обучение: старт — 9 февраля, продолжительность — 14 недель.
🟣Глубинное обучение: старт — 19 марта, продолжительность — 10 недель.
🟣Математика для анализа данных: старт — 2 апреля, продолжительность — 21 занятие.
🟣BI-аналитика и визуализация данных: старт — 20 мая, продолжительность — 7 недель.
Онлайн-курсы:
🟣Промпт-инжиниринг: нейросети для человека: старт — 30 января, продолжительность — 6 недель.
🟣Python для автоматизации и анализа данных: старт — 3 февраля, продолжительность — 9 недель.
🟣SQL для начинающих: старт — 16 февраля, продолжительность — 2 месяца.
🟣Аналитика в Business Intelligence: старт — 17 февраля, продолжительность — 1 месяц.
🟣LLM: создание и интеграция интеллектуальных ассистентов: старт — 23 марта, продолжительность — 13 недель.
🟣GameDev: разработчик игр: старт — 30 марта, продолжительность — 5 месяцев.
🟣Искусственный интеллект в образовании: старт — 6 апреля, продолжительность — 1 месяц.
🟣Искусственный интеллект для руководителей: старт — 20 апреля.
🟣Frontend-разработчик: старт — апрель 2026 года, продолжительность — 4 месяца.
Скидка действует при подаче заявки до 31 декабря.
⚡️ Узнать подробнее о каждой программе
НИУ "ВШЭ". ИНН 7714030726. erid:2SDnje4QSab