36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🖥 Шпаргалка по SQL — cheat sheet с базовыми командами для работы с таблицами, данными и запросами.
@sqlhub
🌍Хотите освоить работу с географическими данными в PostgreSQL?
Приглашаем на бесплатный вебинар 26.12 в 20:00, где вы узнаете как использовать PostGIS для решения практических задач. Запишитесь сейчас и улучшите свои навыки в работе с геоданными!
На вебинаре мы разберем:
- Что такое системы координат (SRID) и как они влияют на работу с географическими данными.
- Какие типы географических объектов поддерживаются в PostgreSQL и как их создавать.
- Основные функции для работы с географическими данными: расчёт расстояний, проверка пересечений и построение зон.
- Как использовать PostgreSQL для решения практических задач, связанных с географией, например, поиск ближайшего объекта или определение зоны покрытия.
👉Регистрация. Участие бесплатно: https://otus.pw/OpXT/?erid=LjN8KPVV7
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
⚡️ PostgREST создает полноценное RESTful API на основе любой существующей базы данных PostgreSQL.
**Производительность:**
Скорость работы обеспечивается за счет трех факторов. Во-первых, сервер написан на Haskell с использованием HTTP Warp (это компилируемый язык с легковесными потоками). Во-вторых, он передает максимальное количество вычислений базе данных, включая:
- Сериализацию ответов JSON прямо в SQL,
- Валидацию данных,
- Механизмы авторизации,
- Комбинированный подсчет строк и фильтрацию,
- Возврат всех данных одной командой (*).
И наконец, PostgREST эффективно взаимодействует с базой данных через библиотеку Hasql:
- Поддерживает пул соединений с базой данных,
- Использует бинарный протокол PostgreSQL,
- Работает без сохранения состояния, что позволяет легко масштабироваться горизонтально.
▪ Github
@haskell_tg
🖥 pgvectorscale — это расширение для PostgreSQL, которое предоставляет функциональность для работы с векторами, что полезно в контексте обработки и хранения векторных представлений данных, например, для машинного обучения или поиска по векторным данным!
🌟 Этот проект является частью экосистемы Timescale, которая известна своими решениями для работы с временными рядами, но здесь акцент сделан именно на работу с векторами для быстрого поиска и манипуляций с многомерными данными.
🔐 Лицензия: PostgreSQL
🖥 Github
@sqlhub
🖥 EventStore — встраиваемая реализация хранилища событий, написанная на Go!
🌟 Она использует библиотеку GORM для работы с базами данных, такими как SQLite и PostgreSQL. Функции включают сохранение событий в потоки, их чтение, подписку на события в реальном времени и создание отказоустойчивых проекций для построения моделей чтения. Инструмент ориентирован на применение в архитектурах, базирующихся на event sourcing и DDD (Domain-Driven Design).
🔐 Лицензия: MIT
🖥 Github
@sqlhub
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sql_lib
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
🖥 Обеспечение целостности данных в финансовых транзакциях: решение PostgreSQL для транзакций!
🌟 Когда речь идет о финансовых системах, целостность данных является одной из самых важных проблем. В среде финансовых транзакций сбои могут привести к потере денег, несоответствию остатков на счетах или даже нарушениям безопасности. Для обеспечения согласованности и безопасности данных необходимо использовать транзакции в базе данных. В этой статье мы рассмотрим, как транзакции в PostgreSQL помогают решать эти проблемы, с практическими примерами использования NestJS и Prisma для внедрения надежных решений.
🔗 Ссылка: *клик*
@sqlhub
🖥 Обучающая статья по SQL для начинающих! В ней подробно расписан синтаксис команды CREATE TABLE с различными примерами.
🔗 Ссылка: *клик*
@sqlhub
🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени!
🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных.
🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных.
🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🔥 Огромная бесплатная книга по SQL! (500+ страниц!)
🔗 Ссылка: *клик*
@sqlhub
👣 Go Graph Seeder — CLI-инструмент, разработанный на языке Go, предназначенный для генерации случайных данных и заполнения графовых баз данных, совместимых с Gremlin!
🌟 Он позволяет пользователям создавать узлы и ребра с различными свойствами, используя JSON-конфигурационные файлы. Это упрощает процесс наполнения графовых баз данных случайными или тестовыми данными, что особенно полезно при разработке и тестировании приложений, работающих с графовыми структурами данных.
🖥 Github
@sqlhub
🖥 pgroll — это инструмент командной строки на Go с открытым исходным кодом, предназначенный для безопасной и обратимой миграции схем в PostgreSQL!
🌟 Основная задача проекта заключается в обеспечении миграций без простоя, когда изменения схемы применяются таким образом, чтобы и старая, и новая версии схемы оставались доступными для клиентских приложений. Это особенно полезно при внесении сложных изменений, требующих поддержания совместимости с уже работающими приложениями.
🌟 pgroll использует подход «расширить/сузить» (expand/contract), создавая виртуальные схемы на основе представлений поверх физических таблиц. Этот метод позволяет миграциям быть безопасными и минимизирует риски, такие как блокировки базы данных или прерывание работы приложений.
🌟 Инструмент поддерживает автоматическое заполнение данных для новых колонок, мгновенный откат изменений при возникновении проблем и работу с существующими схемами без необходимости начинать с нуля.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 t.me/haskell_tg - Haskell входит в число наиболее востребованных функциональных языков программирования.
В нашем новом канале, вы найдете множество уроков, книг и гайдов для погружения в этот мощный язык с нуля.
Отличная возможность не только выучить новый язык, но и возможность прокачать свои навыки программирования.
t.me/haskell_tg - стоит подписаться!
Как готовить данные для анализа с помощью ETL?
Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬
Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище.
Вы узнаете:
🟡 Что такое ETL и как он работает
🟡 Какие есть различия между пакетной и потоковой обработкой
🟡 Какие виды документации используют в дата-проектах
🟡 Как оценивать и поддерживать высокое качество данных
🟡 Как мониторить ETL-процессы
В конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁
Встречаемся 4 декабря в 19:00 по мск. Успейте присоединиться по ссылке.
⚡️ Интересный факт: DuckDB быстрее подсчитывает строки в CSV-файле, чем команда подсчета слов UNIX, а также анализирует файл, чтобы определить его диалект (разделитель, символ кавычки и т. д.).
Вот время для CSV-файла размером 3 ГБ: 2,966 секунды для `wc -l` и 1,261 секунды для DuckDB.
Результаты теста Hyperfine benchmark tool.
@sqlhub
⚡️ SQLCipher представляет собой ответвление от библиотеки SQLite, которое добавляет возможность использования 256-битного шифрования AES и включает дополнительные функции обеспечения безопасности, такие как шифрование «на лету» и надёжное получение криптографических ключей.
Программа обеспечивает быструю работу с минимальными накладными расходами, полностью шифрует данные и поддерживает передовые методы защиты информации. Пользователи могут преобразовывать стандартные базы данных в защищённые и управлять паролями через команды.
▪ Github
@sqlhub
🖥 Эта статья описывает набор SQL-скриптов для администрирования серверов и баз данных SQL!
🌟 Эти скрипты помогают упростить рутинные задачи, такие как управление пользователями, ролями, разрешениями, а также создание резервных копий и восстановление баз данных.
🔗 Ссылка: *клик*
@sqlhub
В СУБД Яндекса YDB появился компонент, отвечающий за аналитическую обработку данных. Инструмент под названием YDB DWH обеспечивает работу со сложными аналитическими запросами (OLAP). Сама платформа может использоваться как корпоративное хранилище – она способна хранить сотни терабайт данных.
СУБД горизонтально масштабируется, а запросы выполняются быстрее за счет устройства платформы – она реализована в виде массивно-параллельной архитектуры (MPP). В планах у компании работа над поддержкой SQL диалекта PostgreSQL для бесшовной интеграции в OLAP- и OLTP-сценариях.
🖥 Полный справочник по SQL!
🔗 Ссылка: *клик*
@sqlhub
📖 postgres_for_everything — полезный репозиторий, который собирает примеры использования PostgreSQL для различных задач, таких как очереди сообщений, аналитика, контроль доступа, GIS, временные ряды, поиск, кэширование и многое другое!
🌟 Цель проекта — показать универсальность PostgreSQL как инструмента для упрощения разработки и ускорения процессов, используя одну базу данных для множества нужд.
🖥 Github
@sqlhub
🖥 Steampipe — инструмент с открытым исходным кодом, предназначенный для проведения запросов к облачным данным и API с помощью SQL!
💡 Он позволяет подключаться к различным облачным сервисам и выполнять SQL-запросы, чтобы извлекать, фильтровать и анализировать данные из таких сервисов, как AWS, Azure, Google Cloud, GitHub и других.
🔍 Основные возможности Steampipe:
🌟 SQL-интерфейс для работы с облачными данными. Steampipe преобразует облачные API в виртуальные таблицы, что позволяет использовать SQL-запросы для получения информации.
🌟 Подключение к множеству облачных сервисов. Он поддерживает такие провайдеры, как AWS, Azure, Google Cloud, Kubernetes, GitHub и другие, позволяя вам работать с данными в этих сервисах через единый интерфейс.
🌟 Плагины и расширяемость. Steampipe поддерживает расширение с помощью плагинов, что позволяет подключать новые источники данных и интеграции.
🌟 Безопасность и аудит. Инструмент помогает анализировать и проверять конфигурации облачных сервисов, а также отслеживать и анализировать события в облаке.
🔐 Лицензия: AGPL-3.0
🖥 Github
@sqlhub
🖥 TypeDB — это база данных, предназначенная для работы со сложными связями и большими наборами данных!
🌟 Она использует язык запросов TypeQL, позволяющий описывать данные с высокой семантической детализацией. Основное отличие TypeDB — возможность моделировать и анализировать сложные отношения между объектами, что делает её подходящей для задач, связанных с исследованиями, обработкой графов знаний и построением интеллектуальных систем.
🌟 Система поддерживает концепции типизации данных, автоматическую дедукцию новых знаний и расширяемую структуру, что удобно для областей, требующих сложного анализа, например, биоинформатики и AI.
🔐 Лицензия: MPL-2.0
🖥 Github
@sqlhub
🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.
Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.
Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.
@ai_machinelearning_big_data
#AI #LLM
🖥 postgres-r2-backup — решение для создания резервных копий базы данных PostgreSQL, интегрированное с облачным хранилищем Amazon S3 или аналогичными решениями (например, MinIO)!
🌟 Этот проект позволяет автоматизировать процесс создания бэкапа данных с PostgreSQL и хранить резервные копии в облаке, что упрощает управление данными и повышает безопасность.
🖥 Github
@sqlhub
⚡️ Llama 3.3 70B.
Модель доступна в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.
Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.
Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.
Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.
▶️ Пример инфренса на Transformers:
import transformers
import torch
model_id = "meta-llama/Llama-3.3-70B-Instruct"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
messages,
max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])
Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика
Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.
Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.
Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)
Зарегистрироваться на GitVerse.
🔥 TypeORM — популярная библиотека ORM (Object-Relational Mapping) для работы с базами данных в TypeScript и JavaScript!
🌟 TypeORM поддерживает многие реляционные базы данных, включая PostgreSQL, MySQL, SQLite, MariaDB и нереляционную MongoDB. Библиотека позволяет разработчикам работать с базами данных, используя объекты и классы вместо написания SQL-запросов напрямую. Она поддерживает такие функции, как миграции, ленивую загрузку (lazy loading), отношения между сущностями и сложные запросы.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🥷 w3af — фреймворк для тестирования веб-приложений на уязвимости!
🌟 Он объединяет функции веб-сканера и инструмента для эксплуатации уязвимостей, предоставляя разработчикам и специалистам по безопасности возможность находить и анализировать потенциальные уязвимости в веб-приложениях и сервисах.
💡 Основные возможности — сканирование для обнаружения SQL-инъекций, XSS, CSRF и других распространенных уязвимостей, а также интеграция с Python для написания собственных плагинов и расширений.
🖥 Github
@sqlhub
🖥 GenAI Showcase — демонстрация использования MongoDB в контексте генеративного искусственного интеллекта!
🌟 Этот репозиторий включает в себя примеры для интеграции MongoDB с такими технологиями, как Retrieval-Augmented Generation (RAG) и различными моделями ИИ.
🔍 Основные функции репозитория:
🌟 Использование MongoDB как векторной базы данных и хранилища памяти для AI-решений.
🌟 Интеграция с популярными фреймворками, такими как LlamaIndex, Haystack и LangChain, а также моделями от OpenAI и Anthropic.
🌟 Примеры решений для конкретных отраслей, включая здравоохранение, финансы и электронную коммерцию.
🌟 Готовые сценарии для создания систем RAG и агентов на основе ИИ, таких как AI Research Assistant и AI Investment Researcher.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 SeaweedFS — это высокопроизводительная распределённая файловая система с поддержкой хранения огромного количества файлов и их быстрой обработки!
💡 Её основное назначение — управление смешанными нагрузками, включая blob-хранилища, объекты, файловые системы и аналитику данных.
🔍 Особенности:
🌟 Масштабируемость: система легко расширяется путём добавления серверов, обеспечивая хранение больших объёмов данных.
🌟 Поддержка множества форматов: Blob Storage, S3-совместимое объектное хранилище, файловая система с FUSE-монтажом и интеграцией с Big Data-фреймворками (Hadoop, Spark).
🌟 Производительность: постоянное время поиска данных (O(1)) и эффективное управление метаданными!
🌟 Надёжность: репликация данных, защита от сбоев, контроль целостности и поддержка многоуровневого хранения.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub