52808
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
Доклады, нетворкинг и облачные технологии — всё на K2 Cloud Conf.
Ребята из K2 Cloud сделали свою конференцию, где поделятся всем про облака: как подключаться к ним без компромиссов в безопасности, автоматизировать процессы с помощью PaaS, а также расскажут о новом типе сетевых дисков – всё это и не только!
Встречаемся 4-го марта. Подробности и регистрация по ссылке
🖥 httpdbg — это инструмент с открытым исходным кодом, предназначенный для отладки HTTP(S)-запросов в Python-программах!
🌟 Он позволяет разработчикам перехватывать и анализировать HTTP(S)-клиентские запросы, выполняемые их приложениями, без необходимости вносить изменения в исходный код. Для использования достаточно запустить программу с помощью команды pyhttpdbg вместо стандартного python, после чего можно просматривать перехваченные запросы через веб-интерфейс по адресу http://localhost:4909.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
🐼 Pandas умирает медленной и мучительной смертью.
Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.
Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.
Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.
Я уже давно работаю с FireDucks 🦆
Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.
Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :
import fireducks.pandas as pd
python
$ python -mfireducks.imhook yourfile[.]py
"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.
Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science
...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.
Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old
⭐️ Python 1.0.0 был выпущен 31 год назад
https://groups.google.com/g/comp.lang.misc/c/_QUzdEGFwCo/m/KIFdu0-Dv7sJ?pli=1
Хотите создать устойчивое к нагрузкам масштабируемое приложение?
Ключевой элемент при проектировании микросервисов – правильная интеграция брокеров сообщений с микросервисной архитектурой.
На открытом вебинаре «Как эффективно использовать брокеры сообщений в микросервисной архитектуре?» вы научитесь:
- Повышать производительность системы, настраивать взаимодействие между микросервисами, правильно работать с очередями сообщений
- Связывать различные слои приложений с помощью брокеров сообщений
- Проектировать решения с учётом масштабируемости и отказоустойчивости
- Эффективно управлять инфраструктурой сообщений RabbitMQ и Apache Kafka
А также увидите примеры кода и познакомитесь со случаями использования брокеров сообщений.
Будет интересно: бэкенд и фулстек-разработчикам, системным аналитикам, девопс-инженерам.
Спикеры: Сергей Прощаев, Java-разработчик в ПАО «Сургутнефтегаз».
Бонус! Всем участникам – скидка 5% и эксклюзивные материалы от спикера.
6 февраля, 19:00 МСК
Записаться - https://otus.pw/4Ues/?erid=2W5zFJDZrtp
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🌟 Model2Vec: создание компактных и быстрых моделей на основе Sentence Transformer.
Model2Vec - библиотека для создания компактных и быстрых моделей на основе предобученных Sentence Transformer моделей.
Model2Vec позволяет создавать эмбединг-модели слов и предложений, которые значительно меньше по размеру, но при этом сопоставимы по производительности с исходными Sentence Transformer моделями.
Отличительные особенности:
🟢быстрая дистилляция, процесс создания модели занимает несколько минут;
🟢быстрый инференс, в 500 раз быстрее на CPU относительно родительской модели;
🟢BYOM и BYOV, можно использовать на любой Sentence Transformer модели с любым словарем;
🟢мультиязычность, все что нужно - только мультиязычная модель в качестве источника;
🟢интеграция с Huggingface, загрузка\выгрузка моделей привычными from_pretrained и push_to_hub.
Пайплайн Model2Vec трехэтапный. На первом этапе словарь пропускается через модель Sentence Transformer для получения векторов эмбедингов для каждого слова.
Далее, размерность полученных эмбеддингов сокращается с помощью метода главных компонент (PCA). Наконец, применяется zipf-взвешивание для учета частотности слов в словаре.
Model2Vec работает в двух режимах:
🟠Output, в котором модель работает подобно Sentence Transformer, используя subword токенизацию;
🟠Vocab, в котором создается набор статических эмбедингов слов, аналогично GloVe или Word2Vec.
Оценку производительности Model2Vec делали на наборе данных MTEB на задачах PEARL (оценка качества представления фраз) и WordSim (оценка семантической близости слов).
Результаты показывают, что Model2Vec превосходит по производительности GloVe и модели, основанные на WordLlama по всем задачам оценки.
▶️Пример дистилляции:
from model2vec.distill import distill
# Choose a Sentence Transformer model
model_name = "BAAI/bge-base-en-v1.5"
# Distill the model
m2v_model = distill(model_name=model_name, pca_dims=256)
# Save the model
m2v_model.save_pretrained("m2v_model")
from model2vec import StaticModel
# Load a model from the HuggingFace hub, or a local one.
model_name = "minishlab/M2V_base_output"
# You can optionally pass a token if you're loading a private model
model = StaticModel.from_pretrained(model_name, token=None)
# Make embeddings
embeddings = model.encode(["It's dangerous to go alone!", "It's a secret to everybody."])
🖥 Способ, как нарисовать бабочку в консоли с помощью Python!
@pythonl
🖥 Authentik — это система управления удостоверениями (IAM) с открытым исходным кодом, предназначенная для обеспечения аутентификации и авторизации пользователей в различных приложениях!
🌟 Она поддерживает единый вход (SSO), многофакторную аутентификацию (MFA) и интеграцию с популярными протоколами, такими как OAuth2, SAML и LDAP. Authentik используется для защиты веб-приложений и управления доступом на основе ролей.
🔐 Лицензия: CC BY-SA 4.0
🖥 Github
@pythonl
🔥 IronCalc — это движок для работы с электронными таблицами!
🌟 Он включает инструменты для чтения и записи файлов формата .xlsx, с возможностью интеграции с различными языками программирования, такими как Python и JavaScript. Проект нацелен на создание более открытой и функциональной инфраструктуры для работы с таблицами, предлагая разработчикам гибкость в использовании как в веб-приложениях, так и в десктопных приложениях.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
⭐️ Pandera, библиотека Python, которая упрощает валидацию pandas датафреймов.
Она также поддерживает , быструю и легкую библиотеку Polars.
С помощью Pandera вы можете быть уверены, что ваши Polars датафреймы имеют правильную структуру и будут работать правильно.pip install pandera
▪ Github
▪Документация
#Pandera #python #opensource #Polars
🖥 Hickle — это Python-библиотека, предназначенная для сериализации объектов в формат HDF5, что позволяет эффективно хранить и обмениваться большими объемами данных!
💡 Hickle является альтернативой стандартным методам сериализации (например, pickle) и предлагает улучшенную производительность при работе с большими наборами данных. Она используется в научных и аналитических приложениях для сохранения сложных структур данных, таких как массивы и матрицы, в компактном и эффективном формате.
🔐 Лицензия: MIT
🖥 Github
@pythonl
🌍 WebRover – это автономный ИИ-агент , предназначенный для взаимодействия с элементами веб-страниц и выполнения пользовательских запросов.
Агент построен на базе LangChain и LangGraph и в первую очередь создан, чтобы освободить пользователей от рутины, связанной с поиском и сбором информации.
Благодаря глубокому пониманию контекста и способности автоматически определять нужные элементы, WebRover эффективно справляется даже со сложными задачами.
Основные возможности WebRover включают:
- самостоятельную навигацию по сайтам, управление состоянием через LangGraph и автоматизированное взаимодействие с браузером посредством Playwright.
- агент способен анализировать содержимое страниц, делать скриншоты и формировать структурированные ответы и парить информацию.
Особенности
🤖 Навигация на основе GPT-4 для понимания контекста и интеллектуальной навигации по веб-сайтам
🎯 Интеллектуальное обнаружение элементов: Автоматически идентифицирует и взаимодействует с любыми элементами сайтов
📸 Визуальная обратная связь: Визуализация процесса навигации в реальном времени
🔄 Автономная работа: Самокорректирующаяся навигация со стратегиями обратного ходаgit clone https://github.com/hrithikkoduri18/webrover.git
cd webrover
cd backend
▪ Github
@ai_machinelearning_big_data
#aiagents #ai #ml #opensource
🔥 Minima — это open source решение для RAG в контейнерах для развертывания на любых мощностях (клауд или локал), с возможностью интеграции с ChatGPT и MCP.
Minima также может использоваться как RAG на вашей машине.
Minima поддерживает три режима работы:
1. Изолированная установка — Работа в контейнерах без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, ранкер, эмбеддинг) и векторный сторедж запускаются на вашем сервере или ПК, обеспечивая безопасность ваших данных.
2. Кастомный GPT — Запросы к вашим локальным документам через приложение или веб-версию ChatGPT с использованием кастомных GPT. Индексатор работает на вашем сервере или локальном ПК, а основная LLM остаётся ChatGPT.
3. Anthropic Claude — Использование приложения Anthropic Claude для запросов к вашим локальным документам. Индексатор работает на вашем локальном ПК, а основная LLM — это Anthropic Claude.
В данный момент, Minima решает задачу RAG on-premises и призывает всех поставить звезду и форкнуть репозиторий, а так же не стесняться и принять участие в разработке.
📌 Лицензия MPL-2.0
▪ Github
@pythonl
🖥 TinyTroupe — это экспериментальная библиотека на Python, которая позволяет моделировать взаимодействие искусственных агентов с различными личностями, интересами и целями!
🌟 Используя мощь больших языковых моделей, таких как GPT-4, TinyTroupe создаёт реалистичные симуляции поведения. Эти агенты могут общаться друг с другом, реагировать на внешние стимулы и существовать в созданных мирах.
🔐 Лицензия: MIT
🖥 Github
@pythonl
🖥 Fastcore — это библиотека Python, расширяющая возможности языка для работы с библиотекой fastai!
💡 Она включает функции для тестирования, многократной диспетчеризации, композиции объектов и функционального программирования. Fastcore добавляет возможности из других языков, таких как множественная диспетчеризация из Julia и mixins из Ruby, а также улучшает стандартные возможности Python, такие как параллельная обработка.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
Вы тоже сможете вырасти до хардового аналитика уровня Middle+. Как?
Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
Два месяца назад мы уже писали про этот курс. Сейчас пишем еще раз, потому что у курса вышло полезное обновление, уже доступное ученикам, независимо от того, когда они его купили.
—————
📚 Первое: в портфолио включили примеры интеграций от крупных BigTech-компаний. Это позволит вам понять, как технологии применяются в реальных бизнес-контекстах.
🌐 Второе: обновили портфолио. Теперь в нём есть задания повышенного уровня сложности для каждой темы. Это небольшие реальные проекты, с помощью которых можно не только проверить, но и улучшить свои навыки!
✔️Третье: вышел новый модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы.
💬Четвертое: стал активен чат учеников (общение, обмен опытом, помощь внутри сообщества)
—————
• Результат после прохождения курса: 15 рабочих проектов в портфолио-резюме
• Доступ к урокам и всем обновлениям останется навсегда
• Фундаментальная база
• Всю программу и отзывы смотрите в боте курса
Когда перейдете в бот курса, то получите бесплатные открытые уроки по архитектуре и интеграциям. Польза 👇
@studyit_help_bot
Скидка на курс от канала
— 1 000₽ на Stepik по промокоду PYTHONL2
до 28 февраля.
⚡️ Surprise
Создание надежной рекомендательной системы с нуля может занять много времени и большого объема кода.
Surprise упрощает процесс и позволяет создавать рекомендательные системы с минимальным кодом, предоставляя встроенные алгоритмы, готовый датасет и встроенную оценку модели.
▪ Github
▪ Пример
@pythonl
🖥 reaktiv Python Version PyPI Version License
Если вы работали с современными фронтенд-фреймворками, такими как React, Vue или Angular, вы знакомы с мощью реактивного управления состояниями.
Это магия, лежащая в основе динамических пользовательских интерфейсов и систем реального времени.
Но почему Python должен упускать преимущества реактивности? reaktiv привносит эти преимущества реактивного программирования в ваши Python-проекты.pip install reaktiv
▪Github
@pythonl
#python #frontend #react #opensource
🖥 web2py — это фреймворк для веб-приложений с открытым исходным кодом, написанный на Python!
🌟 Он предназначен для быстрой разработки безопасных веб-приложений, управляемых базами данных, и предоставляет полный стек инструментов, включая генерацию HTML, обработку запросов, управление сессиями, а также абстрактный слой работы с базами данных (DAL), который поддерживает различные СУБД, такие как SQLite, MySQL, PostgreSQL и другие.
🖥 Github
@pythonl
🖥 MicroPie — это ультра-микро веб-фреймворк на языке Python, разработанный для создания веб-приложений с минимальными усилиями!
🌟 Он поддерживает асинхронные веб-приложения благодаря реализации спецификации ASGI и обеспечивает высокую производительность и гибкость. Среди ключевых возможностей MicroPie — автоматическое сопоставление URL с функциями, управление сессиями с использованием cookies, поддержка шаблонов через Jinja2 (если установлена), а также минимальные зависимости, что упрощает разработку и развертывание приложений.
🔐 Лицензия: BSD-3-Clause
🖥 Github
@pythonl
📞 bpytop — это современный инструмент мониторинга ресурсов, который работает на Linux, macOS и FreeBSD!
💡 Он отображает данные об использовании процессора, памяти, дисков, сети и запущенных процессов в удобном и визуально привлекательном интерфейсе. Написанный на Python, bpytop предлагает гибкие возможности настройки и легкость использования, включая полную поддержку управления с помощью мыши.
🌟 Инструмент отличается быстрым откликом, интуитивным управлением и визуализацией системных данных в реальном времени. Пользователи могут настроить интерфейс, выбирая цветовые схемы, управлять процессами прямо из меню, отслеживать сетевые подключения и даже работать с несколькими устройствами одновременно.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
🖥 Flask-Moment — расширение для Flask, которое интегрирует Moment.js для форматирования дат и времени в шаблонах Jinja2!
🌟 С помощью этого инструмента можно легко отображать даты и время в удобном формате, включая поддержку локализации, временных зон и обновлений времени в реальном времени.
🌟 Основное применение — улучшение отображения временных данных в веб-приложениях Flask. Flask-Moment позволяет использовать Moment.js прямо в шаблонах, избавляя разработчиков от необходимости самостоятельно писать сложный код JavaScript для обработки времени.
🔐 Лицензия: MIT
🖥 Github
@pythonl
Спорим, тебе советовали книгу “Грокаем алгоритмы”
А как насчет грокнуть уже эти алгоритмы?
Да так, чтобы РАЗ И НАВСЕГДА
Ты не смог выучить алгоритмы, потому что:
- cложно и бессистемно объясняли
- практика не билась с теорией
- отправляли читать устаревшие книги...
Я это исправлю! И научу тебя решать алгоритмические задачи по четкой и понятной системе!
Регистрируйся на открытый урок в предверии курса
"Хакни алго-собесы". И за 1 час ты:
☝️ получишь четкую систему решения алгоритмических задач
☝️ решишь топ-3 популярные задачи
☝️ получишь RoadMap изучения алгоритмов
12:30 по МСК в эту субботу (1 февраля) стартуем.
Регистируйся, чтобы не упустить шанс выучить алгоритмы навсегда
Erid: 2VtzqwwXV16
ИП Фатин Максим Романович. ИНН: 525406426719
🖥 Vanna
Это Python-фреймворк с открытым исходным кодом, в котором используется LLM для создания SQL-запросов на основе естественного языка.
✔️ Всё просто: сначала обучаете модель на своих данных, а потом можно задать вопросы на обычном языке.
В ответ модель выдает готовые SQL-запросы, которые можно сразу запускать в своей базе данных.
⚡️ Установка: pip install vanna
▪GitHub: https://github.com/vanna-ai/vanna
@ai_machinelearning_big_data
#python #sql #opensource #vanna #llm
🖥 pysimdjson — это Python-библиотека, которая представляет собой обертку над C-библиотекой simdjson, предназначенной для быстрого парсинга JSON-данных!
🌟 Эта библиотека использует SIMD (Single Instruction, Multiple Data) технологии, которые позволяют ускорить обработку JSON по сравнению с традиционными методами, особенно для больших данных. pysimdjson обеспечивает высокую производительность, делая парсинг JSON быстрее и эффективнее, чем стандартные решения в Python.
🔐 Лицензия: Apache-2.0
🖥 Github
@pythonl
⭐️ Browser-use
Создайте своего собственного оператора OpenAI с помощью инструментов с открытым исходным кодом!
Browser Use - это платформа с открытым исходным кодом, которая позволяет агентам искусственного интеллекта использовать браузер всего с помощью нескольких строк кода на Python.
Ключевые функции:
🆓 100% Открытый исходный код
✅ Интегрируется с Gradio для создания веб-интерфейса
✅ Работает с Claude, gpt-4o и Llama 3
✅ Для обеспечения безопасной работы пользовательское управление в цикле
Вы просто указываете компьютеру, что делать, а при использовании браузера это выполняется.
▪ Github
@pythonl
🖥 orjson — это высокопроизводительная библиотека для работы с JSON в Python!
🌟 Она обеспечивает быструю сериализацию и десериализацию JSON, поддерживает обработку дат, таймстампов и numpy-массивов. Библиотека совместима с стандартным API Python и подходит для использования в высоконагруженных приложениях, требующих эффективной обработки JSON-данных.
🖥 Github
@pythonl
🖥 Pydantic имеет встроенную функцию #DataValidation , но она потребляет много памяти.Attrs не имеет встроенной проверки данных и обеспечивает более высокую производительность и меньшее использование памяти, что идеально подходит для внутренних структур данных и простого создания классов в #Python.
from attrs import define, field
@define
class UserAttrs:
name: str
age: int = field()
@age.validator
def check_age(self, attribute, value):
if value < 0:
raise ValueError("Age can't be negative")
return value # accepts any positive age
try:
user = UserAttrs(name="Bob", age=-1)
except ValueError as e:
print("ValueError:", e)
Узнай свой грейд и зарплату — бесплатно
1. Переходи в бота ШОРТКАТ @shortcut_python_bot
2. Бронируй удобный слот на индивидуальную встречу для тестирования
3. Проходи тест
4. Сразу же на звонке узнаешь свой грейд и з/п в рынке — на основе опыта менторов из бигтеха
Всё просто, даже добавить нечего
Пройти тестирование в ШОРТКАТ ➡️ @shortcut_python_bot
Реклама. ООО "ШОРТКАТ", ИНН: 9731139396, erid: 2VtzqvMqbhE