36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🖥 postgres-r2-backup — решение для создания резервных копий базы данных PostgreSQL, интегрированное с облачным хранилищем Amazon S3 или аналогичными решениями (например, MinIO)!
🌟 Этот проект позволяет автоматизировать процесс создания бэкапа данных с PostgreSQL и хранить резервные копии в облаке, что упрощает управление данными и повышает безопасность.
🖥 Github
@sqlhub
⚡️ Llama 3.3 70B.
Модель доступна в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.
Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.
Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.
Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.
▶️ Пример инфренса на Transformers:
import transformers
import torch
model_id = "meta-llama/Llama-3.3-70B-Instruct"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
messages,
max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])
Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика
Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.
Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.
Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)
Зарегистрироваться на GitVerse.
🔥 TypeORM — популярная библиотека ORM (Object-Relational Mapping) для работы с базами данных в TypeScript и JavaScript!
🌟 TypeORM поддерживает многие реляционные базы данных, включая PostgreSQL, MySQL, SQLite, MariaDB и нереляционную MongoDB. Библиотека позволяет разработчикам работать с базами данных, используя объекты и классы вместо написания SQL-запросов напрямую. Она поддерживает такие функции, как миграции, ленивую загрузку (lazy loading), отношения между сущностями и сложные запросы.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🥷 w3af — фреймворк для тестирования веб-приложений на уязвимости!
🌟 Он объединяет функции веб-сканера и инструмента для эксплуатации уязвимостей, предоставляя разработчикам и специалистам по безопасности возможность находить и анализировать потенциальные уязвимости в веб-приложениях и сервисах.
💡 Основные возможности — сканирование для обнаружения SQL-инъекций, XSS, CSRF и других распространенных уязвимостей, а также интеграция с Python для написания собственных плагинов и расширений.
🖥 Github
@sqlhub
🖥 GenAI Showcase — демонстрация использования MongoDB в контексте генеративного искусственного интеллекта!
🌟 Этот репозиторий включает в себя примеры для интеграции MongoDB с такими технологиями, как Retrieval-Augmented Generation (RAG) и различными моделями ИИ.
🔍 Основные функции репозитория:
🌟 Использование MongoDB как векторной базы данных и хранилища памяти для AI-решений.
🌟 Интеграция с популярными фреймворками, такими как LlamaIndex, Haystack и LangChain, а также моделями от OpenAI и Anthropic.
🌟 Примеры решений для конкретных отраслей, включая здравоохранение, финансы и электронную коммерцию.
🌟 Готовые сценарии для создания систем RAG и агентов на основе ИИ, таких как AI Research Assistant и AI Investment Researcher.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 SeaweedFS — это высокопроизводительная распределённая файловая система с поддержкой хранения огромного количества файлов и их быстрой обработки!
💡 Её основное назначение — управление смешанными нагрузками, включая blob-хранилища, объекты, файловые системы и аналитику данных.
🔍 Особенности:
🌟 Масштабируемость: система легко расширяется путём добавления серверов, обеспечивая хранение больших объёмов данных.
🌟 Поддержка множества форматов: Blob Storage, S3-совместимое объектное хранилище, файловая система с FUSE-монтажом и интеграцией с Big Data-фреймворками (Hadoop, Spark).
🌟 Производительность: постоянное время поиска данных (O(1)) и эффективное управление метаданными!
🌟 Надёжность: репликация данных, защита от сбоев, контроль целостности и поддержка многоуровневого хранения.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 Эта статья посвящена обновлению материализованных представлений (Materialized Views, MViews) в Oracle SQL по требованию!
🌟 Автор обсуждает сценарии, в которых материализованные представления используются для повышения производительности, например, при работе с большими объемами данных.
💡 Ключевая идея статьи — необходимость и способы ручного обновления MViews для синхронизации данных между исходными таблицами и представлением. Автор рассматривает подходы к настройке обновлений, использованию PL/SQL и управлению данными в различных бизнес-кейсах, а также демонстрирует, как работать с процедурой DBMS_MVIEW.REFRESH.
🔗 Ссылка: *клик*
@sqlhub
🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников!
🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов.
🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей.
🔐 Лицензия: BSD-2-Clause
🖥 Github
@sqlhub
🌎 PostgreSQL и ClickHouse — два мира, два подхода к индексации!
💡 Вы когда-нибудь задумывались, как индексация может влиять на производительность ваших баз данных? На открытом вебинаре мы раскроем тайны реляционных и колоночных БД и покажем, как правильно использовать индексацию для оптимизации работы с большими объемами данных.
👨🏫 Спикер: Алексей Железной — Senior Data Engineer с более чем 5-летним опытом разработки и проектирования пайплайнов для обработки, хранения и визуализации данных.
📅 Дата: 2 декабря в 20:00 МСК
🎁 Бонус: Участники вебинара получат скидку на обучение на курсе «ClickHouse для инженеров и архитекторов БД»
👉 Регистрируйтесь на открытый урок по ссылке: ссылка
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников!
🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов.
🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей.
🔐 Лицензия: BSD-2-Clause
🖥 Github
@sqlhub
🖥 SurrealDB — это современная многомодельная база данных, предназначенная для универсального управления данными!
💡 Она объединяет возможности SQL, NoSQL и графовых баз данных в едином решении, позволяя использовать реляционные, документные, графовые, временные и ключ-значение модели данных без необходимости переключаться между разными системами.
🌟 SurrealDB также поддерживает запросы через SQL, GraphQL, REST и SDK для различных языков программирования, таких как Rust, JavaScript, Python, PHP, Java и другие. Кроме того, она включает функции реального времени, масштабируемости, встроенной поддержки AI и машинного обучения, а также обладает мощной системой управления схемами и разрешениями.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 SQLFluff — это инструмент для статического анализа SQL-кода (SQL-linter), который помогает проверять и форматировать SQL-запросы в соответствии с определёнными стилевыми правилами!
🌟 Этот проект поддерживает гибкость за счёт настройки под разные диалекты SQL, такие как ANSI SQL, PostgreSQL, MySQL, BigQuery, Snowflake и многие другие.
🌟 Он особенно полезен в проектах ETL и ELT, а также совместим с такими инструментами, как Jinja и dbt (Data Build Tool), поддерживая шаблонизированные SQL-запросы. SQLFluff может автоматически исправлять большинство ошибок форматирования, экономя время разработчиков и позволяя сосредоточиться на задачах высокой важности. Для удобства пользователей доступно расширение для Visual Studio Code и подробная документация.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 Освоение служб интеграции SQL Server: полное руководство!
💡 В современном мире, где все движет технологиями, эффективное управление данными и их перемещение играют ключевую роль в обеспечении бесперебойной работы предприятий. Одним из мощных инструментов, который существенно помогает в этом процессе, являются SQL Server Integration Services (SSIS). В этом видео вы углубитесь в тонкости SSIS, проливая свет на ее функциональность, предварительные условия, настройку, выполнение и расширенные функции, в конечном итоге предлагая подробное руководство по интеграции данных.
🕞 Продолжительность: 1:59:16
🔗 Ссылка: *клик*
@sqlhub
🔥 full-stack-fastapi-template — шаблон для создания полноценных веб-приложений с использованием FastAPI и современных технологий!
🌟 Он включает в себя готовую архитектуру для фронтенда и бэкенда с поддержкой баз данных, аутентификации, авторизации и тестирования. Этот шаблон упрощает создание приложений с хорошей структурой и масштабируемостью, предлагая пример интеграции различных стэков и инструментов для быстрой разработки.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🔥 Огромная бесплатная книга по SQL! (500+ страниц!)
🔗 Ссылка: *клик*
@sqlhub
👣 Go Graph Seeder — CLI-инструмент, разработанный на языке Go, предназначенный для генерации случайных данных и заполнения графовых баз данных, совместимых с Gremlin!
🌟 Он позволяет пользователям создавать узлы и ребра с различными свойствами, используя JSON-конфигурационные файлы. Это упрощает процесс наполнения графовых баз данных случайными или тестовыми данными, что особенно полезно при разработке и тестировании приложений, работающих с графовыми структурами данных.
🖥 Github
@sqlhub
🖥 pgroll — это инструмент командной строки на Go с открытым исходным кодом, предназначенный для безопасной и обратимой миграции схем в PostgreSQL!
🌟 Основная задача проекта заключается в обеспечении миграций без простоя, когда изменения схемы применяются таким образом, чтобы и старая, и новая версии схемы оставались доступными для клиентских приложений. Это особенно полезно при внесении сложных изменений, требующих поддержания совместимости с уже работающими приложениями.
🌟 pgroll использует подход «расширить/сузить» (expand/contract), создавая виртуальные схемы на основе представлений поверх физических таблиц. Этот метод позволяет миграциям быть безопасными и минимизирует риски, такие как блокировки базы данных или прерывание работы приложений.
🌟 Инструмент поддерживает автоматическое заполнение данных для новых колонок, мгновенный откат изменений при возникновении проблем и работу с существующими схемами без необходимости начинать с нуля.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 t.me/haskell_tg - Haskell входит в число наиболее востребованных функциональных языков программирования.
В нашем новом канале, вы найдете множество уроков, книг и гайдов для погружения в этот мощный язык с нуля.
Отличная возможность не только выучить новый язык, но и возможность прокачать свои навыки программирования.
t.me/haskell_tg - стоит подписаться!
Как готовить данные для анализа с помощью ETL?
Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬
Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище.
Вы узнаете:
🟡 Что такое ETL и как он работает
🟡 Какие есть различия между пакетной и потоковой обработкой
🟡 Какие виды документации используют в дата-проектах
🟡 Как оценивать и поддерживать высокое качество данных
🟡 Как мониторить ETL-процессы
В конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁
Встречаемся 4 декабря в 19:00 по мск. Успейте присоединиться по ссылке.
⚡️ Интересный факт: DuckDB быстрее подсчитывает строки в CSV-файле, чем команда подсчета слов UNIX, а также анализирует файл, чтобы определить его диалект (разделитель, символ кавычки и т. д.).
Вот время для CSV-файла размером 3 ГБ: 2,966 секунды для `wc -l` и 1,261 секунды для DuckDB.
Результаты теста Hyperfine benchmark tool.
@sqlhub
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
📊 D2 — современный язык для описания диаграмм с помощью текста!
💡 Этот инструмент преобразует текстовые сценарии в визуальные диаграммы, используя декларативный подход: вы описываете, что хотите видеть, а D2 автоматически создает визуализацию.
🔍 Особенности D2:
🌟 Простая синтаксическая структура и встроенные темы для быстрой визуализации.
🌟 Поддержка анимаций, LaTeX, нескольких языков, Markdown, UML и последовательностных диаграмм.
🌟 Экспорт в форматы PNG, SVG и PDF.
🌟 Возможность использования в локальном CLI или в онлайн-песочнице для быстрого создания и редактирования диаграмм.
🌟 Поддержка различных движков для компоновки, работы с контейнерами и импорта изображений.
🔐 Лицензия: MPL-2.0
🖥 Github
@sqlhub
🔐 keyring — библиотека для работы с системными хранилищами паролей на Python!
🌟 Она позволяет разработчикам безопасно хранить и получать учетные данные, используя стандартные механизмы защиты, встроенные в операционные системы, такие как Windows Credential Locker, macOS Keychain, и Linux Secret Service.
💡 Основной функционал включает в себя автоматический выбор подходящего хранилища для текущей системы, поддержку плагинов для расширения возможностей и интеграцию с популярными менеджерами паролей. Это упрощает создание безопасных приложений, которые требуют работы с конфиденциальными данными.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 Использование DuckDB для анализа Ad-Hoc: альтернатива Pandas для любителей SQL!
🌟 Анализ ad-hoc является неотъемлемой частью любого человека в области данных. Нам приходится регулярно объединять данные из различных источников, таких как файлы CSV или базы данных, для некоторого ad-hoc тестирования или быстрого составления отчетов.
🌟 Наиболее распространенным инструментом в нашем распоряжении является Pandas Python, где мы можем считывать данные из различных источников в dataframes, а затем выполнять анализ. Однако для тех, кому удобнее в SQL, чем в Python, DuckDB является отличной альтернативой! Он позволяет запрашивать данные с помощью SQL, без необходимости загружать их в базу данных или преобразовывать в dataframe Pandas.
🔗 Подробнее: *клик*
@sqlhub
🖥 libsql — это форк SQLite с добавлением новых возможностей, таких как обработка запросов по HTTP и gRPC, а также поддержка прозрачной репликации!
💡 LibSQL позволяет создавать распределенные базы данных, где запись обрабатывается основным сервером, а чтение может выполняться с реплик. Проект поддерживает безопасную передачу данных с помощью TLS и предоставляет Docker-образ для простого развертывания.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 Полезная статья с Postgre Wiki, которая рассказывает о распространенных ошибках при работе и более правильных методах для каждого случая!
🔗 Ссылка: *клик*
@sqlhub
🖥 restic — это инструмент для создания резервных копий данных с фокусом на надежность, шифрование и скорость!
🌟 Разработанный как кросс-платформенное решение, restic поддерживает системы Windows, macOS, Linux и другие, предоставляя пользователям возможность хранить резервные копии в локальных или облачных хранилищах, таких как Amazon S3, Google Cloud Storage и другие.
🔍 Особенности:
🌟 Шифрование по умолчанию — все данные шифруются с использованием AES-256, что обеспечивает их безопасность.
🌟 Дедупликация данных — инструмент автоматически исключает дублирующиеся данные, что снижает объем хранимых резервных копий.
🌟 Поддержка различных источников и хранилищ — можно создавать резервные копии как локально, так и в облаке, на FTP или SFTP-серверах.
🌟 Удобство и скорость — restic оптимизирован для быстрого создания и восстановления резервных копий с минимальными ресурсами.
🔐 Лицензия: BSD-2-Clause
🖥 Github
@sqlhub
⚡️Всероссийский Хакатон ФИЦ 2024
🚀Попробуйте себя в одном из предложенных кейсов:
1. Семантический делитель текстов: Разработать алгоритм, который сможет обеспечить точное разделение текста на блоки.
2. Контекстный перевод названий научных работ: Разработать переводчик, который будет переводить названия научных работ.
3. Прогнозирование бизнес драйверов: Разработать решение для задачи прогнозирования временных рядов бизнес-драйверов.
4. Система контроля и управления доступом: Разработка системы контроля и управления доступом.
И др. 16 кейсов смотрите на сайте: https://фиц2024.рф/hackathon
Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн.
🏆Призовой фонд: 6 000 000 руб.
🔥Дедлайн регистрации: 26 ноября, 23:59
📅Даты отборочного этапа: 29 ноября - 2 декабря
🦾Даты финала: 3 - 4 декабря
Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon
#реклама
О рекламодателе
Сегодня не можешь найти стажировку. Завтра — открываешь с ноги дверь в топовые компании и претендуешь на зп выше рынка. Как так? Очень просто со знанием SQL.
Как работать с данными на профессиональном уровне, рассказывают на курсе Нетологии «SQL и получение данных». За 2 месяца вы узнаете, как создавать собственные базы данных, станете асом в создании сложных запросов и сможете с первого раза находить нужную информацию в огромных таблицах.
Всё обучение построено с упором на практику: вы выполните 6 работ, а в конце самостоятельно развернёте и проанализируете базу данных. Как минимум — будет повод похвастаться друзьям, как максимум — добавить новый скилл в резюме и получить крутую работу.
Регистрируйтесь
Реклама. ООО "Нетология". Erid 2VSb5xk6S8G