Базы данных. Книги по программированию
23 July 2025 12:03
Как уменьшить расходы на КХД в 7 раз и не отстать от AI гонки?
Нужно использовать КХД на архитектуре Lakehouse. 74% западных корпораций уже мигрировали на архитектуру Lakehouse, которая объединяет сильные стороны DWH и Data Lake, а также служит фундаментом для быстрого внедрения AI-инициатив.
Протестируйте VK Data Lakehouse — КХД нового поколения для уменьшения стоимости хранения данных и ускорения аналитики до 10 раз.
→ Дешевое хранение данных в S3-хранилище. Стоимость хранения 1 ГБ с репликацией в облаке уменьшается в 10 раз — с 30 до 3 рублей по сравнению с DWH.
→ Транзакционность для данных в S3-хранилище. Табличный формат поверх S3 обеспечивает ACID и полноценную работу в сценариях DWH.
→ Ускорение аналитики. MPP SQL-движок для параллельной работы с данными из разных источников без тяжелого ETL.
→ Уменьшение расходов за счет разделения compute и storage. Платите только за то, что используете. Нет затрат на простаивающие ресурсы.
→ Линейный рост затрат вместо экспоненциального при масштабировании.
→ Не нужно содержать отдельные команды под DWH и Data Lake.
→ Универсальное решение для работы с любым объемом данных. От гигабайт до сотен петабайт. Без сложного масштабирования и миграций.
→ Работа с ML становится быстрее без рисков уронить DWH. DS команда может экспериментировать с ad hoc запросами без опаски уронить DWH и BI.
Чтобы получить до 150 000 бонусных рублей для тестирования VK Data Lakehouse в VK Cloud с поддержкой архитекторов:
👉Оставляйте заявку
Будем рядом на всех этапах пилота и поможем довести MVP до результата.
Читать полностью…
Базы данных. Книги по программированию
18 July 2025 13:05
📕 Практические кейсы использования ClickHouse для разработчиков, администраторов, специалистов по базам данных, Data engineers, Backend и FullStack-разработчиков
На открытом уроке 24 июля в 20:00 мск мы погрузимся в тонкости работы с ClickHouse:
📗 На вебинаре разберём:
1. Основные принципы работы, архитектура и преимущества использования ClickHouse;
2. Реальные кейсы использования ClickHouse для анализа веб-логов, IoT данных и финансовых транзакций;
📘 В результате на практике разберетесь в настройке и использовании ClickHouse для обработки больших объемов данных.
👉 Регистрация и подробности о курсе NoSQL: https://vk.cc/cNN2Bm
Все участники открытого урока получат скидку на курс "NoSQL"
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Читать полностью…
Базы данных. Книги по программированию
10 July 2025 18:41
Путеводитель по базам данных
Автор: Владимир Комаров
Год издания: 2024
#db #ru
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
04 July 2025 20:36
T-SQL Fundamentals
Автор: Itzik Ben-Gan
Год издания: 2023
#sql #en
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
04 July 2025 15:02
PostgreSQL for Jobseekers
Авторы: Sonia Valeja, David Gonzalez
Год издания: 2023
#postgresql #en
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
02 July 2025 07:49
Database-Driven Web Development
Автор: Thomas Valentine
Год издания: 2023
#mysql #en
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
30 June 2025 13:35
SQL Query Design Patterns and Best Practices
Автор: Chi Zhang
Год издания: 2023
#sql #en
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
25 June 2025 17:00
SQL All-in-One
Автор: Allen G. Taylor
Год издания: 2024
#sql #en
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
23 June 2025 11:34
Python Книги - канал для скачивания Python книг только на русском языке
Что в нашем канале:
1. Книги по питону, которые помогут вам подготовится к собеседованию.
2. Книги на русском языке
3. Много книг для начинающих
4. Все книги можно скачать в 2 клика
Подписывайтесь и качайте книги: @
Читать полностью…
Базы данных. Книги по программированию
19 June 2025 15:00
⚠️ До старта курса «Administrator Linux. Basic» осталось совсем немного. Набор закрывается 27 июня.
👉 Успейте пройти вступительный тест и получить запись двух вебинаров бесплатно:
— «Что нужно знать, когда переходишь с Windows на Linux. Базовые понятия Linux, работа в консоли с базовыми командами»
— «Вся правда о рынке труда или как быть востребованным в современных реалиях»
💪 Курс построен так, чтобы даже без опыта в Linux вы быстро вошли в профессию. В программе только актуальное: Bash, сети, логика работы ОС, файловые системы и автоматизация.
👉 Пройдите бесплатное вступительное тестирование сегодня и получите запись двух вебинаров: https://vk.cc/cMYHhN
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Читать полностью…
Базы данных. Книги по программированию
16 June 2025 14:35
🚗 Как найти кратчайший маршрут с помощью Apache Spark и GraphFrames
Разбираем кейс на реальных данных из OpenStreetMap — ищем оптимальный маршрут
🔍 Что делаем
1. Загружаем граф дорог города с помощью OSMnx
2. Сохраняем вершины и ребра с координатами, скоростями и геометрией
3. Загружаем всё в Spark
4. Находим кратчайший путь с помощью GraphFrames
📍 1. Скачиваем карту и строим граф улиц
import osmnx as ox
# Загрузка данных о дорогах Москвы
G = ox.graph.graph_from_place("Moscow", network_type="drive")
# Отображение дорог на карте
moscow_gdf = ox.geocoder.geocode_to_gdf("Moscow")
fig, ax = ox.plot.plot_graph(G, show=False, close=False, bgcolor="#111111", edge_color="#ffcb00", edge_linewidth=0.3, node_size=0)
moscow_gdf.plot(ax=ax, fc="#444444", ec=None, lw=1, alpha=1, zorder=-1)
# Настройка границ карты
margin = 0.02
west, south, east, north = moscow_gdf.union_all().bounds
margin_ns = (north - south) * margin
margin_ew = (east - west) * margin
ax.set_ylim((south - margin_ns, north + margin_ns))
ax.set_xlim((west - margin_ew, east + margin_ew))
plt.show()
📁
2. Сохраняем геометрическое описание города в формате GeoJSON и данные о вершинах и рёбрах в формате CSVwith open('Moscow.geojson', 'w') as file:
file.write(moscow_gdf.to_json())
nodes = G.nodes(data=True)
with open('nodes.csv', 'a') as file:
file.write("id,lat,lonn")
for (node, data) in nodes:
file.write("%d,%f,%fn" % (node, data.get("y"), data.get("x")))
edges = G.edges(data=True)
def decode_maxspeed(maxspeed):
match maxspeed:
case str():
match maxspeed.lower():
case "ru:urban": return 60
case "ru:rural": return 90
case "ru:living_street": return 20
case "ru:motorway": return 110
case _: return int(maxspeed)
case list(): return min(list(map(decode_maxspeed, maxspeed)))
case _: return maxspeed
with open('edges.csv', 'a') as file:
file.write("src,dst,maxspeed,length,geometryn")
for (src, dst, data) in edges:
maxspeed = decode_maxspeed(data.get("maxspeed", 999))
length = float(data.get("length"))
geometry = shapely.wkt.dumps(data.get("geometry"))
file.write("%d,%d,%d,%f,%sn" % (src, dst, maxspeed, length, geometry)) 3. Используем библиотеку GraphFrames для обработки графов на Apache Sparkfrom pyspark.sql import SparkSession
spark = SparkSession.builder
.config("spark.jars.packages", "graphframes:graphframes:0.8.4-spark3.5-s_2.12")
.master("local[*]")
.appName("GraphFrames")
.getOrCreate()
nodes = spark.read.options(header=True).csv("nodes.csv")
edges = spark.read.options(header=True).csv("edges.csv")
# Вычисление времени прохождения рёбер
edgesT = edges.withColumn("time", edges["length"] / edges["maxspeed"])
# Построение графа
from graphframes import *
g = GraphFrame(nodes, edgesT)
🧭
4. Ищем кратчайший путь по времени например, от Измайлово до ЖК Зиларт
src = "257601812"
dst = "5840593081"
paths = g.shortestPaths(landmarks=[dst])
paths.filter(F.col("id") == src).show(truncate=False)
💡 Результат: 40 шагов от точки A до точки B.
Такой подход легко масштабируется на миллионы маршрутов. Используйте Spark и GraphFrames для построения логистических моделей, маршрутизации и городского планирования.
🚀 Хотите прокачаться в работе с Big Data? Изучайте Spark! Записывайтесь на курс Spark Developer от OTUS — учитесь на реальных данных и продвинутых кейсах:
https://vk.cc/cMT1Wg
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Базы данных. Книги по программированию
13 June 2025 12:08
Python and SQL Bible
Автор: Cuantum Technologies
Год издания: 2023
#sql #python #en
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
04 June 2025 16:10
Как масштабировать машинные модели и работать с огромными объемами данных? Откройте для себя возможности Spark ML на открытом уроке от OTUS!
Spark ML — это мощный инструмент для масштабируемого машинного обучения, который позволяет обучать модели на больших данных, не переходя на специализированные ML-системы. Мы покажем, как интеграция с Spark SQL и DataFrame API упрощает ETL-подготовку данных и фичуризацию для реальных проектов.
Убедитесь, как Spark ML решает задачи отказоустойчивости и распределённых вычислений, позволяя вам легко строить промышленные ML-пайплайны.
Посетите открытый урок 11 июня в 20:00 МСК в преддверие старта курса «Spark Developer» и получите скидку на обучение: https://vk.cc/cMy4E7
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Читать полностью…
Базы данных. Книги по программированию
02 June 2025 10:05
Проектирование и реализация
Автор: Эдуард Сьоре
Год издания: 2021
#db #ru
Скачать книгу
Читать полностью…
Базы данных. Книги по программированию
01 June 2025 21:45
Изучаем SQL
Автор: Алан Болье
Год издания: 2021
#sql #ru
Скачать книгу
Читать полностью…
16143