2844
По всем вопросам- @haarrp @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
Thank you so much. I am an IT business analyst and owner of company. Investing recently in data science and machine learning. So, i am educating myself.
Читать полностью…
This group is for anybody, but information mostly in Russian... if you have any questions — ask it, we'll try to help
Читать полностью…
Бесплатный стартер-пак в науку о данных от karpov courses
Анализ данных необходим для улучшения продукта и повышения эффективности бизнеса, а спрос на внедрение работы с данными стабильно растёт каждый год. Если вы стремитесь к более фундаментальному пониманию профессий аналитика данных, инженера машинного обучения и работы с данными в целом, то обязательно обратите внимание на бесплатный стартер-пак в науку о данных от karpov.courses.
Ребята разложили сферу Data Science на составные элементы — от самых азов до продвинутого уровня. Вы познакомитесь с экспертами сферы, освоите необходимую терминологию, закрепите и структурируете имеющиеся знания, получите полезные советы от нанимающего тимлида и эйчара из крупных компаний о том, как перейти на более интересную/высокооплачиваемую роль.
Забрать стартер-пак или узнать подробнее о программе можно по ссылке: https://clc.to/erid_LjN8KHBDK
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.
🖥 Teable — это no-code платформа, построенная на основе Postgres, которая служит аналогом Airtable.
🌟 Teable предназначена для работы с данными, облегчая создание таблиц, связей и настроек без необходимости программирования. Teable позволяет пользователям управлять базами данных через удобный интерфейс, автоматизировать обработку данных и разворачивать приложения. Поддержка Postgres делает платформу масштабируемой и подходящей для гибкого использования как для начинающих, так и для профессионалов в сфере управления данными.
🔐 Лицензия: AGPL-3.0
🖥 Github
@sqlhub
Классная штука, недавно искал редактор для набросков, жалко, что этот не попался!
Читать полностью…
📖 Бесплатная книга: "Математика для компьютерных наук" от MIT!
🌟 Эта книга охватывает дискретную математику, включая теорию множеств, комбинаторику, графы и доказательства. Она создана для студентов компьютерных наук и рассматривает математические основы, важные для алгоритмов, анализа данных и логики программирования, акцентируя внимание на строгом доказательном подходе
🔥 В книге 1048 страниц, и все абсолютно бесплатно!
📖 Читать: *клик*
@sqlhub
Быстрый путь в Т-Банк для системных аналитиков
9 и 10 ноября пройдет Weekend Offer для специалистов уровней middle и senior. Можно пройти все этапы собеседования за выходные, и если все понравится — оффер ваш.
Что вас ждет в команде Т-Банка:
— Выстроенные процессы и понятная зона ответственности.
— Быстрые согласования и простое взаимодействие с командами.
— Комьюнити более 1 000 системных аналитиков.
— Конференции и митапы, обучающие курсы и программа менторства.
Узнайте больше и оставьте заявку до 6 ноября
🖥 Google использовал большую языковую модель для выявления уязвимости в SQLite
Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.
Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.
Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.
https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html
@sqlhub
🖥 Эта статья описывает лучшие практики работы с MongoDB в .NET. Автор объясняет, как настроить MongoDB в ASP.NET Core, регистрировать зависимости через DI-контейнер и работать с ID-шниками в MongoDB
🌟 Статья также включает примеры работы с коллекциями, демонстрирует использование Guid для идентификаторов и предлагает удобную организацию кода через класс MongoDbContext. В конце статьи даны рекомендации по сериализации данных и использовании camelCase для полей
🔗 Ссылка: *клик*
@sqlhub
🖥 Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы!
🌟 В этой статье автор столкнулся с серьезным замедлением при массовой загрузке данных в базу данных SQL Server. Причина кроется в том, что процесс добавления новых записей сталкивается с так называемыми "блокировками", которые замедляют всю операцию. Автор статьи предлагает несколько решений для оптимизации этого процесса и ускорения загрузки данных
🔗 Ссылка: *клик*
@sqlhub
🖥 Эта статья описывает, как создать документацию для базы данных с помощью инструмента DBdocs, используя язык DBML. Она демонстрирует, как автоматически генерировать документацию, что упрощает процесс документирования структуры базы данных
💡 В статье объясняется, как настроить DBML, создать документацию и делиться ею с командой для улучшения понимания структуры данных.
🔗 ссылка: *клик*
@sqlhub
⚡️ Выпуск СУБД MySQL 9.1.0
Компания Oracle выпустила новую версию MySQL 9.1.0. Теперь сборки MySQL Community Server доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Благодаря новой модели выпуска версий, MySQL 9.1 относится к веткам "Innovation".
Эти ветки предназначены для раннего доступа к новым функциям и выпускаются каждые 3 месяца.
Их поддержка прекращается после выхода следующей значительной версии. Планируется выпуск LTS-версии летом следующего года, которая рекомендуется для стабильных внедрений.
После этого будет выпущена новая версия MySQL 10.0.
Что нового в MySQL 9.1?
- Добавлена поддержка IF NOT EXISTS в CREATE VIEW, предотвращая ошибки при создании представлений с существующими именами.
- Прекращена загрузка триггеров при операциях чтения, уменьшая потребление памяти и нагрузку на CPU. Триггеры теперь загружаются только при модификациях данных.
- Расширен вывод EXPLAIN, включающий информацию о многодиапазонном чтении и полуобъединении.
- Обеспечено атомарное выполнение операций CREATE DATABASE и DROP DATABASE для защиты от сбоев.
- В JavaScript-хранимых процедурах добавлен тип VECTOR для передачи данных между процедурами.
- Поддержка аутентификации через протокол OpenID Connect.
- Исправлено 27 уязвимостей, включая критическую CVE-2024-5535, вызванную чтением данных вне выделенного буфера в OpenSSL.
@sqlhub
Разогреем эту осень на IT Talk by Sber в Омске! ⚡️
24 октября эксперты Сбера расскажут о сложных запросах в ClickHouse, импортозамещении технологических стеков и инструментах бизнес-аналитики.
Спикеры и темы:
✅ Григорий Пилипейко, Senior Data-инженер – «Clickhouse и сложные запросы»
✅ Светлана Ромашева, Senior Data-инженер – «Импортозамещение инструментов Business Intelligence на примере управленческой отчётности»
✅ Александр Ткаченко, руководитель направления – «Как мы делали Корпоративный Портал, а получилась WEB-платформа "СРЕДА" для разработчиков и бизнеса».
Митап будет интересен всем без исключения, а особенно инженерам данных, владельцам продуктов и DB-инженерам.
Если это ты, то регистрируйся здесь!💚
⚡️ Marimo — это реактивный ноутбук на Python, который теперь поддерживает SQL.
Вот его основные возможности:
▪️Запуск одной ячейки приводит к автоматическому запуску всех зависимых ячеек.
▪️Вы можете запускать свои ноутбуки как скрипты Python, параметры которых задаются через аргументы командной строки.
▪️Встроенная поддержка SQL и удобная панель для работы с данными делают Marimo мощным инструментом для анализа информации.
▪️Ноутбуки Marimo сохраняются в формате .py, что позволяет легко управлять версиями через Git.
Важно отметить, что поддержка SQL была добавлена недавно. Это позволяет вам писать запросы и получать результаты в виде датафреймов.pip install marimo && marimo tutorial intro
🔗 Ссылка
@sqlhub
👣 sqlseeder — инструмент на Go для генерации SQL-запросов INSERT из данных в форматах JSON и Excel. Он поддерживает отношения «один ко многим» и «многие ко многим» между таблицами и позволяет настраивать разделители для удобной обработки данных. Пользователи могут генерировать SQL-запросы, используя JSON- или Excel-данные, и применять шаблоны Go для гибкой настройки SQL-выхода.
🖥 Github
@sqlhub
Привет. Математика и котики Савельева это то же что и Stats with Cats (Чарльз Скуфс)?
Читать полностью…
💪 Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты?
Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформы данных (DWH) — регистрация до 8 ноября!
Открытые школы — это возможность усилить свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — Холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время.
Что ты получишь?
🔹Уникальный рыночный опыт и масштабные ИТ-проекты: мы одни из первых, кто внедряет технологии для управления данными. Выпускники школ смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере.
🔹Быстрый рост в ИТ при поддержке экспертов и топовых преподавателей. Карьерные треки для выпускников Открытых школ позволяют быстро расти в профессии в Т1.
🔹Работа в бигтех-компании: ИТ-аккредитация, современный техстек, ДМС, удаленка, крутые офисы, спорт, обучение, митапы, ИТ-конференции, программы признания и развития, а также многое другое от Т1.
Более 900 специалистов уже прошли этот путь — теперь твоя очередь! Читай подробности в карточках ☝️ Старт обучения уже 11–12 ноября! Ссылка для подачи заявки.
Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjcEokmZ
🖥 ChartDB — это бесплатный и открытый редактор диаграмм баз данных. Он позволяет визуализировать и проектировать структуру базы данных через один запрос!
🌟 ChartDB поддерживает работу с несколькими типами баз данных, включая PostgreSQL, MySQL и SQLite. ChartDB использует AI для экспорта данных и позволяет редактировать схемы, адаптируя их для разных диалектов SQL, что удобно для миграции между базами данных.
🔐 Лицензия: AGPL-3.0
🖥 Github
🔗 Сайт проекта: *клик*
@sqlhub
🖥 Weaviate — это векторная база данных на Go с открытым исходным кодом, оптимизированная для поиска и машинного обучения. Она позволяет хранить данные в виде векторов, что делает её полезной для приложений, работающих с семантическим поиском, NLP, и рекомендательными системами
🌟 Weaviate поддерживает различные источники данных и легко интегрируется с ML моделями, автоматически индексируя данные для быстрого поиска и анализа
🔐 Лицензия: BSD-3-Clause
🖥 Github
@sqlhub
🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!
🔐 Лицензия: MIT
🖥 Github
@sqlhub
Переключение на SEQUENCE или использование OPTIMIZE_FOR_SEQUENTIAL_KEY даёт положительный, но совсем не надёжный результат в борьбе за PAGELATCH_EX.
Лучший результат даёт комбинация использования SEQUENCE+ inmemory таблица. В общем представлении выглядит это так: SEQUENCE используется как генератор последовательности int или bigint ключа и он является общим для основной row stored таблицы и inmemory таблицы. Таблица inmemory - фактически копия структуры основной таблицы+столбец для определения что данные уже перенесены в row stored таблицу. Т.к. использование SEQUENCE для inmemory таблиц не возможно - добавляем представление и instead триггер, в котором и используем next value for SEQUENCE.
Вставку новых данных выполняем в inmemory view и таким образом исключается PAGELATCH_EX навсегда! С необходимой периодичностью данные из inmemory таблицы переносим в rowstore таблицу, т.к. SEQUENCE был использован в instead триггере, то данные можно переносить непосредственно с ключом.
Для таблицы inmemory подбираем корректное значение для busket, в соответствии с объемом вставок и периодом переноса - таким образом для inmemory таблицы минимизируем объем занимаемой памяти.
Такой вариант - это естественно изменение структуры, но фактически он очень прозрачен.
Нажмите кнопку, чтобы подтвердить, что вы не бот
Sql на практике: @sqlhub
Статья по факту вырезка из первоисточника, книга известного автора. Не надо стесняться и указывать что материал в статье является вырезкой из книги Бен Ган "Оконные функции"
Читать полностью…
🖥 Базы данных в деталях — полный курс! (2024)
💡 Узнайте все о базах данных в этом курсе, разработанном, чтобы помочь вам понять сложности архитектуры и оптимизации баз данных. От понимания базовых компонентов, таких как управление транзакциями и механизмы хранения, до освоения расширенных методов индексации и изучения внутренней работы SQLite, этот курс снабжает вас знаниями для эффективного управления и оптимизации систем данных
🕞 Продолжительность: 3:41:19
🔗 Ссылка: *клик*
@sqlhub
Бизнесу данные нужны как воздух📊
На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы.
Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио.
Вы научитесь:
- использовать Python для анализа данных;
- применять методы ИИ в своих задачах;
- работать с базами данных;
- визуализировать данные.
После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.
Освойте профессию на стыке IT и бизнеса
Реклама. ООО "Нетология". Erid 2VSb5zBiKfv