1963
Сборник наиболее интересных Python материалов. https://pythondigest.ru/ Сделать донат - https://boosty.to/pydigest Блог автора - @whydaily Рекомендуем хостинг https://firstvds.ru/?from=421453
[Видео] Moscow Python Podcast. Из проектирования в разработчики (level: all)
https://www.youtube.com/watch?v=qQkmkaTzu_8
В гостях у Moscow Python Podcast Python QA-инженер компании Genesys Юрий Польников. Обсудили с Юрием его путь из инженера в сфере строительства и преподавателя в разработчики.
[Видео] Денис Толкачев, Сбер,Лаборатория Нейронаук. Производственный брак. Ищем некрасивую рыбу на конвейере
https://www.youtube.com/watch?v=cbG_9y1-2nk
Как разработать систему распознавания рыб на конвейерной ленте, имея на руках только видеозаписи рыб с ленты, raspberry pi и python. При этом хотим близкое к real-time быстродействие системы на rpi и не сойти с ума. Требования к модели: уметь отличать рыбу от остальных предметов, определять вид рыбы, положение рыбы на ленте (головой в сторону движения или хвостом, хребтом вправо или влево), брак. В данном докладе хотелось бы рассказать слушателям про путь в данной задаче: Поиск похожих решений: их достоинства и недостатки, Как формировали собственное решение: Детекция - Сегментация - Выбор моделей, Разметка, Обучение, Первые попытки и интеграции, Попытки обучить «легкие» модели и переразметка имеющихся данных.
[Видео] Станислав Фатеев, CVisionLab. Pydantic: валидируй это. Как работать с данными быстро и без боли
https://www.youtube.com/watch?v=CWzQv7hG5_c
Вы уверены, что приходящие к вам данные соответствуют вашим ожиданиям? Добавим немного определённости в нашу жизнь с помощью Pydantic. В своём докладе я расскажу о том, как сериализовать и валидировать данные и почему это важно. Поделюсь тем, как мы значительно упростили процесс поддержки и парсинг параметров production приложения. И как использование Pydantic помогло нам: улучшить структурированность параметров, настроить версионирование и проверку в CI текущей схемы на наличие изменений, получить автоматическое построение документации параметров минимальными усилиями. И в целом расскажу о преимуществах, недостатках и полезных особенностях Pydantic. Как уйти от работы со словарями к классам. А также затрону нетривиальные возможности и случаи использования.
[Видео] Данил Ахтаров, Тинькофф. Почему питон не будет функциональным и почему нафиг никому это не нужно
https://www.youtube.com/watch?v=MGXBzjp-mTk
На питоне можно писать так и эдак, но когда ты в команде, кто-то "старший" решает, как лучше это делать. Вы могли слышать, что "этот код не питонячий", "так на питоне не пишут". Стоит разобраться почему. Я совсем недавно открыл для себя функциональное программирование, и мне понравился этот стиль. В основном композиция функций на языке Хаскель. Так как мой основной стек это Python, я предполагал, что такое можно сделать и на нем. Но почему все используют императивный подход в разработке и внедрить в свой рабочий проект новые идеи очень сложно. Если все таки захотим использовать функциональный стиль, с какими проблемами можем столкнуться? Если честно, в питоне мало фичей для ФП, но можно использовать диалекты, с помощью которых ваш код будет декларативным и более читаемым для людей. Но есть свои недостатки, которые нельзя игнорировать. В своем докладе я предлагаю познакомиться с этой темой и, возможно, вы отметите для себя что-то интересное.
[Видео] Василий Копытов, Авито. Как и почему мы перешли от Python к Go в нашем основном сервисе рекомендаций
https://www.youtube.com/watch?v=uA3VVce6KCw
Рекомендации Авито — это первое, что видит пользователь, когда попадает на главную страницу. Нагрузка на наш основной сервис — порядка 200 тысяч запросов в минуту. За последние два года мы сильно улучшили качество рекомендаций, но сильно проиграли в latency. Главным врагом производительности и latency стало добавление ML модели второго уровня на основе CatBoost для ранжирования объявлений от базовых ML моделей первого уровня в реалтайм. В докладе я расскажу: Как мы приняли решение переписать все на Go, перед этим мы выжали из Python все, что смогли; Как подружили CatBoost с Go и стали использовать ML модель на основе CatBoost в Go; Что получили по latency и потреблению memory/cpu.
История одного CRUD'а
https://habr.com/ru/post/660847/?utm_campaign=660847&utm_source=habrahabr&utm_medium=rss
В 2015 году, когда я пришёл на своё текущее место работы, мне было непривычно от необыкновенной свободы действий. Буквально, на новом месте можно было проявить весь творческий потенциал как DevOps-евангелиста. Мне нравилось выстраивать процессы, автоматизировать рутину, делать разработку удобной. Больше всего я люблю оптимизации, а больше всего ненавижу - рутину.
Эта история одной боли и попытке не просто "принять обезболивающее", а реально излечить её. Поэтому готовьтесь переварить лонгрид.
Ирина, голосовой помощник. Продолжение
https://habr.com/ru/post/660715/?utm_campaign=660715&utm_source=habrahabr&utm_medium=rss
Это продолжение статьи Ирина — опенсорс русский голосовой помощник. Offline-ready (https://habr.com/ru/post/595855/). Расскажу, что поменялось за два месяца с момента прошлой статьи.
Как мы кикшеринг взломали
https://habr.com/ru/post/660575/?utm_campaign=660575&utm_source=habrahabr&utm_medium=rss
В один прекрасный весенний вечер мне в голову пришла прекрасная идея - попробовать зареверсить приватный API одного из самых крупных шерингов самокатов в РФ. Сразу скажу что на публикацию этого материала мне дал разрешение лично директор компании, но попросил не называть имена и название сервиса. Так же скажу что это не инструкция к действию, ведь уязвимость уже исправили и смысла пытаться её воспроизвести нет.
Обзор некоторых возможностей Python 3.11
https://habr.com/ru/post/660495/?utm_campaign=660495&utm_source=habrahabr&utm_medium=rss
Согласно заявлению Python Software Foundation (PSF), Python 3.11 сейчас находится в альфа-ревизии и планируется к релизу в Октябре 2022 (https://peps.python.org/pep-0664/#schedule). Какие изменения ожидают нас в следующей версии?
Understanding a Real-Time Object Detection Network: You Only Look Once (YOLOv1)
https://pyimagesearch.com/2022/04/11/understanding-a-real-time-object-detection-network-you-only-look-once-yolov1/
Table of Contents Understanding a Real-Time Object Detection Network: You Only Look Once (YOLOv1)
#python #pydigest
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Ирина, голосовой помощник. Продолжение
- Мечтают ли алгоритмы о финансовой отчётности: новый способ работы с ФО в ВТБ
- Как врать с помощью статистики
- Нюансы распознавания речи. Восстанавливаем пунктуацию, числа и заглавные буквы
- Анализ данных виртуальных велотренировок
- История одного CRUD'а
- [Видео] доклады c Python Weekend
Заходите в гости - https://pythondigest.ru/issue/434/
Присылайте интересные новости через форму на сайте.
Custom Pod Autoscaler – сверхгибкое автоскалирование в Kubernetes
https://habr.com/ru/post/659705/?utm_campaign=659705&utm_source=habrahabr&utm_medium=rss
Преимущества использования системы оркестрации контейнеров — удобство их развертывания, обновления и масштабирования. И одним из наиболее популярных таких инструментов является Kubernetes. Многие знают, что Kubernetes имеет встроенный механизм для автоскалирования подов — Horizontal Pod Autoscaling (HPA). Но что, если надо принимать решение с учетом множества факторов: суммы метрик, зависимости от количества готовых контейнеров, процента или доли доступных/недоступных подов или даже времени суток? А если эти показатели важны для нас все вместе? Мы в студии Whalekit смогли решить эту задачу. И отличным решением для этого стал Custom Pod Autoscaler (CPA).
Обратная сторона Луны: как мы создали чат-бота с «человеческим лицом»
https://habr.com/ru/post/659763/?utm_campaign=659763&utm_source=habrahabr&utm_medium=rss
Несколько лет назад я помогал девушке с дипломной работой, и мы создали чат-бота с психологическим уклоном — он тестировал типы личности и темпераменты. Тогда я настолько проникся этим опытом, что, когда начал создавать чат-бота для нужд технической поддержки, решил добавить в него немного психологии. Так появилась Луна — чат-бот, который помогает в работе инженерам «Инфосистемы Джет» и реагирует на эмоции. Читать далее
Своё частичное зеркало PyPi, на всякий случай
https://habr.com/ru/post/657663/?utm_campaign=657663&utm_source=habrahabr&utm_medium=rss
В статье мы рассмотрим организацию частичного зеркала PyPi при помощи devpi (https://www.devpi.net/), запуск сервера будет автоматизирован при помощи docker-compose.
С учётом текущей обстановки, имеет смысл позаботиться о том, чтобы привычные инструменты оставались доступны и в дальнейшем, даже в случае тех или иных блокировок. В частности это касается менеджера пакетов pip (проблема с ним из-за блокировок ранее уже возникала (https://habr.com/ru/post/453608/)). Делать полную копию всего архива пакетов вряд ли рационально, но довольно легко можно настроить своё частичное зеркало, которое будет сохранять для повторного использования пакеты, которые вы через него загружаете.
Data Science — это не только подсчет пельменей…
https://habr.com/ru/post/659349/?utm_campaign=659349&utm_source=habrahabr&utm_medium=rss
Пока идут разговоры про отъезд ИТ специалистов, про их возврат, про поддержку ИТ компаний, а неофиты pandas восторженно разбирают json, есть предложение посмотреть на роль data science инструментов в современной ИТ инфраструктуре немного с другой точки зрения. DS — это ведь не только подсчет пельменей, накликивание мышкой графиков-пирожков или создание N+1 системы по рекомендации фильмов из вселенной Марвел. Является продолжением серии предыдущих публикаций.
Анализ данных виртуальных велотренировок
https://habr.com/ru/post/661067/?utm_campaign=661067&utm_source=habrahabr&utm_medium=rss
В предыдущей статье (https://habr.com/ru/post/658675/) я рассказал о том, как получить данные о персональных тренировках из набора FIT-файлов, которые создаются при использовании носимых устройств (фитнес-браслеты, часы, смартфоны, велокомпьютеры).
[Видео] Павел Мальцев, Speechki. Redis, сова и глобус
https://www.youtube.com/watch?v=I3Ej8Npy2Lw
Все мы привыкли, что Redis простой инструмент, который прекрасно подходит для кеширования в формате Key-Value. Однако в нём есть более весёлые структуры данных, которые могут сделать нашу жизнь веселее и приятнее. Залезем в кроличью нору и найдём в документации списки, хеши, множества и другие структуры. Покажу несколько кейсов из реального продакшена, где эти структуры полезны и как использовать их особенности себе на пользу. Строим свой велосипед на двух колёсах.
[Видео] Матвей Коняев, Точка. Как писать тесты дешевле
https://www.youtube.com/watch?v=MJPZ-XrWLsw
Доклад поможет раскрыть несколько важных моментов, которые помогут написать тесты дешево, быстро и правильно: Общая архитектура приложения, при которой удобно использовать интеграционные тесты Общая архитектура тестов Использование pytest и mocker На реальном примере покроем приложение сначала юнит-тестами и убедимся, что такой подход к тестированию не совсем корректный и в итоге пропускает ошибки в функционале. Параллельно посмотрим, что наличие исключительно интеграционных тестов тоже несет не всегда позитивные последствия. На примере доклада рассмотрим подход к разработке, который находится между TDD и "разработал и после покрыл тестами". Помимо всего прочего, сможем посмотреть, как можно тестировать код на максимальную глубину, даже захватывая базовые классы Слушатели смогут убедиться, что высокий процент покрытия тестами — это не всегда хорошо. А так же смогут понять, что разработка и параллельное тестирование собственного кода — это сбалансированный подход в плане качества кода, стоимости разработки. Мы сможем посмотреть на реальном примере, что писать тесты с хорошей архитектурой не так сложно и долго.
[Видео] Тимур Кадыров,Лаборатория Нейронаук. Ускоряем расчет признаков на коротком датасете для HFT на бирже
https://www.youtube.com/watch?v=czg7jH4vD84
Для работы HFT необходимы очень маленькие задержки. Поэтому при внедрении ML модели нужно учитывать ограничения на время расчёта признаков. Есть много докладов и статей на тему ускорения расчётов на pandas. Сюда можно отнести и pandarallel, и dask, и polars. Ребята из Intel даже рассказывали на прошлом PyCon-е про modin. Все эти инструменты работают при больших объемах данных. Но что делать, если количество строк меньше 1000 или даже 100? В данном докладе хочу осветить несколько тем: Почему так важна низкая задержка при hft Какие возможны оптимизации для снижения количества расчетов Numpy Structured arrays как замена Pandas DataFrame Вспоминаем математику и ещё немного сокращаем количество операций.
Байесовская Сеть Доверия: Практика
https://habr.com/ru/post/658311/?utm_campaign=658311&utm_source=habrahabr&utm_medium=rss
Мы продолжаем нашу серию статей, связанных с байесовскими методами, один из которых — Байесовские Сети Доверия (БСД). Теоретическую основу БСД вы можете найти в этой статье (https://habr.com/ru/company/otus/blog/567574/).
В этой статье мы сначала вкратце вспомним теорию. Дальше будет, что называется, только хардкор: на примере данных “Титаника” мы будем строить БСД.
Асинхронный django — status update. Проект vinyl
https://habr.com/ru/post/660831/?utm_campaign=660831&utm_source=habrahabr&utm_medium=rss
Некоторое время назад я писал про альтернативные возможности, как можно добавить в django асинхронность (есть официальный подход, изложенный в DEP-09 (https://github.com/django/deps/blob/main/accepted/0009-async.rst)). С тех пор у меня получилось оформить свои идеи в нечто относительно цельное, что вылилось в vinyl project (https://github.com/pwtail/vinyl). Описание проекта читайте на гитхабе, здесь же я хочу рассказать о его интересных особенностях.
Мечтают ли алгоритмы о финансовой отчётности: новый способ работы с ФО в ВТБ
https://habr.com/ru/post/660387/?utm_campaign=660387&utm_source=habrahabr&utm_medium=rss
Финансовая отчетность (ФО) — штука предельно ответственная. Получаемая от бизнеса ФО постоянно нужна банку для организации повседневной деятельности. Но процесс получения важной для нас отчётности омрачается тем, что работа с ФО — это монотонный неэффективный конвейер, на поддержание которого банковские служащие тратят тысячи человекочасов. ВТБ использует электронные инструменты получения ФО, такие как: ФНС, 1С, Коробочное решение распознавания. Это основные направления развития, но сегодня они не покрывают всю потребность в клиентской ФО.
Машинное обучение на службе урбанистики
https://habr.com/ru/post/660527/?utm_campaign=660527&utm_source=habrahabr&utm_medium=rss
Как театр начинается с вешалки, так анализ начинается с данных. Во многих науках существуют уже готовые датасеты, однако урбанистике с этим повезло меньше остальных. Современный человек утолил свой голод, излечился от болезней, познал тайны атомного ядра и вселенной - пора наверно и обустроить городское пространство вокруг себя? Но для начала его следует изучить.
Как врать с помощью статистики
https://habr.com/ru/post/660269/?utm_campaign=660269&utm_source=habrahabr&utm_medium=rss
В данной статье мы рассмотрим, как можно быстро доказать следующие утверждения, смотря на один и тот же источник данных:
Лошади бегают по часовой стрелке быстрее чем против.
Лошади бегают против часовой стрелки быстрее чем по часовой.
Лошади бегают на более дальние дистанции быстрее (с большей скоростью), чем на короткие.
Лошади бегают на более дальние дистанции медленнее (с меньшей скоростью), чем на короткие.
Нюансы распознавания речи. Восстанавливаем пунктуацию, числа и заглавные буквы
https://habr.com/ru/post/660041/?utm_campaign=660041&utm_source=habrahabr&utm_medium=rss
В задачах распознаваниях речи при переводе аудио в текст есть дополнительные этапы, делающие этот текст более человекочитаемым. Например, предложение "привет хабр сегодня мы сделаем двадцать шесть моделей по распознаванию голоса" будет выглядеть лучше в таком виде: "Привет, хабр. Сегодня мы сделаем 26 моделей по распознаванию голоса". Другими словами, сегодня мы поговорим про то, как автоматически восстановить пунктуацию и капитализацию (сделать нужные буквы заглавными). Также упомянем денормализацию текста (при этом числа обретут свою цифровую форму обратно, эту задачу еще называют inverse text normalization).
Websocket-сервер для геолокации на asyncio
https://habr.com/ru/post/659341/?utm_campaign=659341&utm_source=habrahabr&utm_medium=rss
Вебсокеты нужны там, где идет взаимодействие с пользователем в режиме реального времени. С их помощью клиент может послать запрос к серверу, как в обычном HTTP. Но самое интересное, что используя вебсокеты, сервер тоже может послать данные клиенту, не дожидаясь от него HTTP-запроса. Это взаимодействие чем-то похоже на чат. Кстати, вебсокеты часто используются для реализации чата в вебе, но этим область применения технологии совсем не ограничивается.
Cling – не просто интерпретатор C++
https://habr.com/ru/post/659733/?utm_campaign=659733&utm_source=habrahabr&utm_medium=rss
В этом посте будут рассмотрены некоторые продвинутые варианты применения Cling, поддерживающие интероперабельность и расширяемость. Здесь мы постараемся продемонстрировать создание экземпляров по запросу; встраивание Cling как услуги, а также похвастаемся расширением, обеспечивающим автоматическое дифференцирование на лету.
Anna: готовим отчет о тестировании API, чтобы все были довольны
https://habr.com/ru/post/659729/?utm_campaign=659729&utm_source=habrahabr&utm_medium=rss
Всем привет. Как часто вам нужно разрабатывать сотни авто тестов и предоставлять заинтересованным лицам отчеты с результатами? Лично мне очень часто. В этом мне помогает Anna (https://github.com/EvgeniiGerasin/anna-api-framework).
Прогнозирование атмосферного CO2 с помощью Python
https://habr.com/ru/post/659405/?utm_campaign=659405&utm_source=habrahabr&utm_medium=rss
Прогнозирование атмосферного CO2 с помощью Python. Как создавать модели прогнозирования временных рядов с помощью Darts.
[Видео] Moscow Python Podcast. Data Science в Кухне на районе (level: all)
https://www.youtube.com/watch?v=4IPuLCvGYnA
В гостях у Moscow Python Podcast Python Data Scientists компании Кухня на районе Кирилл Малев и Сергей Макарин.