Почему обновления Django важны даже без SQL-инъекций

Запрос может вредить серверу, просто заставляя его тратить слишком много памяти или процессорного времени на разбор данных.

В обновлении безопасности Django от 6 октября исправили несколько таких сценариев. Один связан с кешированием множества длинных языковых кодов, другой — с квадратичной сложностью разбора параметров HTTP-заголовка.

Исправления вошли в 6.1.2, 6.0.9 и 5.2.18. Обновляться нужно до актуального исправленного выпуска своей поддерживаемой ветки.

После обновления проверьте обработку необычных заголовков: внутри парсера изменился механизм разбора, поэтому некоторые некорректные значения могут обрабатываться иначе.

Общий урок для своего кода: ограничивать размер входа до дорогой обработки и помещения в кеш. Даже полезный кеш становится проблемой, если ключи бесконтрольно задаёт внешний запрос.

#python #django

Читать полностью…

Python 3.16 alpha: что уже может проверить автор библиотеки

Первая альфа Python 3.16 вышла 13 октября. Набор возможностей ещё меняется, но ждать финального выпуска для первой проверки совместимости необязательно.

В анонсе разработчики предлагают запускать библиотеки и приложения на предварительной версии и сообщать об ошибках CPython.

Для библиотеки полезно проверить установку, импорт, тесты и сборку расширений. Если установка не удалась, отделите несовместимость своего кода от отсутствия готовых сборок зависимостей.

Такую проверку можно добавить отдельным заданием CI, сохранив основную матрицу поддерживаемых версий. Сбой предварительной версии нужно разобрать, а не автоматически считать регрессией библиотеки.

Это ранний выпуск для тестирования. Перенос рабочего сервиса на него не требуется; финальный Python 3.16 запланирован на октябрь 2027 года.

#python #тестирование

Читать полностью…

После GIL: почему одних потоков недостаточно

Убрать общую блокировку — не значит убрать гонки данных. Если несколько потоков меняют общие объекты, приложению по-прежнему нужны правила доступа.

На Python Language Summit обсуждали модель BOC: задачи заранее объявляют, какие защищённые данные им нужны, а планировщик координирует выполнение. Идея — перенести часть работы с блокировками из прикладного кода в механизм запуска задач.

Прототип bocpy использует отдельные интерпретаторы. Его уже можно исследовать, но полноценное владение объектами потребует изменений среды выполнения. Авторы также отмечают цену обмена данными.

Это исследовательское предложение, а не новая гарантия стандартного Python. Для рабочего приложения пока нужно явно выбирать модель параллельности и проверять совместное использование изменяемых объектов.

#python #параллельность

Читать полностью…

Таблицы из PDF: локальная библиотека или облачный API

Текст из PDF извлечён, а столбцы таблицы перемешались. Для отчёта важны не только слова, но и связи между строками, заголовками и ячейками.

В сравнении Docling и LlamaParse один документ обрабатывают двумя способами. Docling работает локально, LlamaParse отправляет PDF в облачный сервис. Отличаются установка, стоимость, форматы результата и возможности настройки.

Docling умеет отдавать таблицы в pandas DataFrame. Для облачного варианта нужно отдельно учитывать отправку документов и условия обработки данных.

Скорость авторы измеряют на одном десятистраничном PDF. Это пример эксперимента, а не универсальный рейтинг парсеров.

Для своего набора проверьте объединённые ячейки, многострочные заголовки, переносы таблиц между страницами и точность чисел после извлечения.

#python #данные

Читать полностью…

Ленивый импорт откладывает не только загрузку модуля

В Python 3.15 импорт можно отложить до первого обращения к имени. Это полезно для консольной утилиты, которая ради --help загружает тяжёлые зависимости.

# Python 3.15+
lazy import json

def parse(text):
    return json.loads(text)

Но выполнение модуля тоже переносится. Если импорт регистрировал плагин, а к имени никто не обратился, регистрация не произойдёт. Ошибка загрузки также может возникнуть позже привычного места импорта.

В руководстве по ленивым импортам предлагают сначала измерить их стоимость через -X importtime, затем отложить только нужные зависимости.

Новый синтаксис не разбирается старыми версиями Python. Для совместимого кода есть __lazy_modules__: старые интерпретаторы игнорируют этот список и выполняют обычный импорт.

#python #производительность

Читать полностью…

Что проверить при обновлении до Pydantic 2.14

Библиотека добавила поддержку Python 3.15 и прекратила поддержку 3.9. Поэтому обновление стоит начать с версий интерпретатора в CI и рабочих окружениях.

В анонсе Pydantic 2.14 есть улучшение для функций, принимающих выражения типов. TypeAdapter теперь использует TypeForm, благодаря чему совместимый анализатор может вывести результат TypeAdapter(int | str) как int | str, а не неизвестный тип.

Это улучшает статическую проверку, но не заменяет выполнение валидации. Само указание аннотации ещё не проверяет внешние данные.

Для TypeForm нужны достаточно свежие анализаторы: авторы указывают Pyright 1.1.412 или Mypy 2.2 и новее. Перед обновлением проверьте также свои валидаторы, сериализацию и генерацию схем: в выпуск вошли небольшие изменения поведения.

#python #pydantic

Читать полностью…

UTF-8 по умолчанию не перекодирует старые файлы

В Python 3.15 текстовый ввод-вывод по умолчанию использует UTF-8. Это убирает часть различий между платформами, но файл в CP1251 остаётся файлом в CP1251.

В руководстве по переходу предлагают сначала найти операции с неявной кодировкой:

python -X warn_default_encoding app.py

Предупреждения покажут выполненные вызовы, где кодировка не указана. Для остальных путей пригодится статическая проверка.

Указывайте encoding="utf-8" для UTF-8 и encoding="cp1251" для известных старых файлов. Если нужна именно кодировка локали пользователя, используйте encoding="locale".

Не добавляйте errors="ignore" ради исчезновения ошибки: так можно незаметно потерять символы. Перед обновлением проверьте реальные входные файлы, включая выгрузки из старых систем.

#python #файлы

Читать полностью…

Python обработал 7,6 ГБ JSON за 0,12 секунды

Здесь интересно, куда уходило время. Дэниел Лемир, исследователь производительности, взял 2,2 млн событий GitHub, чтобы посчитать открытые PR по языкам. А Python при обычном разборе создавал кучу словарей, списков и строк, которые для этой задачи вообще не нужны.

В эксперименте с fastsimdjson и lazy=True Python-объекты создаются только для запрошенных полей. Сборка Python без GIL позволяет обрабатывать события в 64 потоках внутри одного процесса. У каждого потока свои счётчики, в конце их складывают. Зачем собирать весь объект, если нужна только малая часть?

У Лемира получилось около 0,12 секунды. Стенд: два Xeon Gold 6548N, 64 ядра, free-threaded Python 3.14.6 и fastsimdjson 0.6.0. Все 7,6 ГБ уже распакованы в RAM, чтение с диска и распаковка в замер не входят. Это лучший из семи прогонов, одинаковую статистику сверили всеми методами.

Читать полностью…

Почему subprocess с PIPE может зависнуть

Дочерний процесс пишет в stdout, родитель вызывает wait(). На небольшом выводе всё работает. На большом буфер канала заполняется: ребёнок ждёт чтения, родитель — завершения ребёнка.

В разборе взаимной блокировки показано, почему каналы нужно читать во время работы процесса. Для ограниченного вывода удобен run():

import subprocess

result = subprocess.run(
    ["python", "--version"],
    capture_output=True,
    text=True,
    timeout=10,
    check=True,
)

Он использует communicate(), который обслуживает оба потока. Вывод при этом собирается в памяти, поэтому для больших логов выбирайте файл или потоковое чтение.

У Popen.communicate(timeout=...) другая тонкость: истечение тайм-аута само не убивает процесс. Нужны завершение процесса и повторный communicate() для чтения остатка вывода.

#python #процессы

Читать полностью…

Почему тест проходит отдельно и падает в наборе

Один тест добавляет объект в общий список, другой рассчитывает, что список пуст. При привычном порядке запуска ошибка может долго оставаться незаметной.

В разборе плагинов pytest есть инструмент для таких случаев: pytest-randomly перемешивает порядок тестов и печатает seed. С ним можно повторить проблемный запуск:

pytest --randomly-seed=12345

Плагин также управляет состоянием генераторов случайных чисел, поэтому сбой стоит проверить и на зависимость от случайных данных.

Ищите изменяемые атрибуты класса, глобальные кеши и фикстуры, которые оставляют состояние после себя. Исправление — изолировать данные и добавить очистку. Один успешный запуск в случайном порядке ещё не доказывает независимость тестов.

#python #тестирование

Читать полностью…

Почему mmap не всегда избавляет от копирования

mmap позволяет обращаться к содержимому файла по смещениям. Это удобно для бинарных форматов и повторного поиска, но срез mapped[start:end] всё равно создаёт новый объект bytes.

Чтобы работать с данными через заимствованное представление, используйте memoryview. Тогда нужно следить за временем жизни: пока представления существуют, закрытие mapping может вызвать BufferError. Освободите их до выхода из контекстного менеджера.

Отображение не означает, что весь файл сразу загружен в RAM, и не делает его неизменяемым снимком. Другой процесс всё ещё может менять исходный файл.

Для одного последовательного прохода обычное буферизованное чтение часто проще. Выбирайте mmap под характер доступа и измеряйте результат.

#python #память

Читать полностью…

👁👁 Тестовый собес на Python с разработчиком из Яндекса
[+ ответы на 50 сложных вопросов в подарок]

14 октября в 19:00 (МСК) приходи посмотреть открытое онлайн-собеседование на Python-разработчика.

Интервьюер: Хачатур Саркисян – разработчик из Яндекса, работает с высоконагруженными сервисами, Kafka и микросервисной архитектурой.

На эфире нет сценария ↓
Кандидат – случайный разработчик, который не знает вопросов заранее.

На обычном собесе ты не знаешь, что думает интервьюер, пока не придёт фидбек. На этом эфире Хачатур проговорит всё вслух:

— какие вопросы и задачи он даёт кандидатам в бигтехе;
— что в каждом ответе засчитал бы, а что нет – и почему.

А в конце ответит на твои вопросы.

Эфир проходит в рамках менторской программы от ШОРТКАТ для разработчиков, которые хотят повысить грейд, ЗП и прокачать скиллы!

Участие бесплатное 🔥

🎁 За регистрацию дарим файл с ответами на 50 сложных вопросов с Python-собеседований.

Зарегаться на эфир и забрать подарок можно в боте → @shortcut_py_bot

Реклама.
О рекламодателе.

Читать полностью…

Как менеджер паролей найдёт вашу форму Django

Менеджер паролей обнаружил утечку и предлагает заменить пароль. Чтобы открыть нужную страницу, он может обратиться к /.well-known/change-password.

В Django достаточно добавить RedirectView с pattern_name, указывающим на публичную форму смены пароля. URL стандарта не содержит завершающего слеша, а редирект должен быть временным.

Проверьте имя целевого маршрута тестом: Django разрешает его при запросе, поэтому опечатка может остаться незаметной до первого обращения.

Ещё одна проверка — неизвестный URL должен возвращать 404. Если catch-all выдаёт 200 на любой путь, менеджер паролей может проигнорировать этот механизм.

#python #django

Читать полностью…

Python 3.10 больше не получает исправления безопасности

Версия 3.10.22 стала последней в своей ветке. После пяти лет поддержки Python 3.10 достиг end of life: новых security updates для него не будет.

В объявлении команды Python есть и другие изменения: 3.13.16 — последний полный maintenance-релиз ветки 3.13. Дальше она будет получать только исправления безопасности.

Перед миграцией проверьте интерпретатор в контейнерах, CI, виртуальных окружениях и заданиях по расписанию. Затем убедитесь, что для выбранной версии доступны совместимые зависимости и wheels, и прогоните тесты приложения.

Обновление пакетов внутри окружения само по себе не обновляет Python. Версию runtime нужно менять отдельно.

#python #обновления

Читать полностью…

Как PEP 827 предлагает выводить тип выбранных полей

ORM-запрос выбирает name и email, но статический анализатор часто видит заранее заданную модель. Для отдельных операций приходится вручную поддерживать похожие типы: публичный ответ, создание записи и частичное обновление.

PEP 827 предлагает преобразования типов: условные выражения, перебор типов и доступ к членам модели. Библиотека могла бы вывести тип результата из выбранных полей или построить Update-модель с необязательными свойствами.

На Language Summit обсуждали и хранение аннотаций: Pydantic и FastAPI используют их во время выполнения, поэтому одного результата статической проверки недостаточно. Сохранение исходных выражений требует компромисса между памятью, скоростью и сложностью. Это предложение с прототипом, а не доступный синтаксис стабильного Python.

#python #типизация

Читать полностью…

Как найти медленную функцию новым профилировщиком Tachyon

Приложение тормозит, но непонятно, где оно проводит время. В Python 3.15 появился статистический профилировщик profiling.sampling, известный как Tachyon.

В разборе Astral показывают запуск через uv:

uv run --python 3.15   -m profiling.sampling run   --flamegraph --browser app.py

Профилировщик периодически снимает состояние выполнения. Граф помогает найти участки, которые часто попадают в выборку, и выбрать место для дальнейшего исследования.

Число выборок не равно точному числу вызовов. А изменение короткой функции не обязательно ускорит весь сценарий.

После правки повторите тот же замер с теми же данными и отдельно сравните полное время работы. Авторское ускорение на одном примере нельзя переносить на любое приложение.

#python #производительность

Читать полностью…

Как дать помощнику контекст ошибки из Logfire

Помощник видит код репозитория, но не знает, какой запрос завершился ошибкой и сколько времени заняла база. Без телеметрии он может уверенно искать причину не в том месте.

В разборе Logfire MCP показывают, как передать клиенту MCP доступ к трассам, логам и метрикам. Помощник может запросить данные через SQL, сопоставить ошибку с обработчиком и проверить гипотезу на реальном выполнении.

Начать расследование лучше с конкретного сервиса, интервала времени и проблемного запроса. Так проще получить проверяемый ответ и ограничить объём данных.

Права нужно выбирать по задаче: сервер предоставляет инструменты не только для запросов, но и для управления объектами мониторинга. Доступ к просмотру телеметрии сам по себе не требует разрешать изменения алертов или настроек.

#python #отладка

Читать полностью…

Enum ограничивает состояния, но не проверяет переходы

Статус "paied" — допустимая строка. Enum позволяет проверить значение на границе приложения:

from enum import Enum

class Status(Enum):
    NEW = "new"
    PAID = "paid"

print(Status("paid") is Status.PAID)  # True
# Status("paied") вызовет ValueError

В разборе Enum отдельно рассматривают значения для сериализации и имена членов. Status("paid") ищет по значению, а Status["PAID"] — по имени.

Но наличие статусов NEW и PAID не запрещает переход обратно. Разрешённые переходы нужно описать отдельно, например в методе объекта или таблице правил.

Если значения уходят в API или базу, выбирайте их явно. Переименование элемента перечисления и изменение внешнего строкового значения могут иметь разные последствия для совместимости.

#python #архитектура

Читать полностью…

Готовый сокет ещё не содержит всё сообщение

Selector сообщил, что сокет доступен для чтения. Это означает, что можно попробовать прочитать данные, а не что весь запрос уже пришёл.

В разборе модуля selectors показывают небольшой цикл обработки соединений. Сокеты переводят в неблокирующий режим, а данные накапливают в буфере конкретного соединения.

У TCP нет границ сообщений: один recv может вернуть часть запроса или несколько сообщений вместе. Нужен свой способ выделения сообщения — длина, разделитель или формат протокола.

Запись тоже бывает частичной. Неотправленный остаток сохраняют, а ожидание записи включают только при наличии данных. Иначе постоянно готовый к записи сокет может заставить цикл расходовать CPU впустую.

DefaultSelector выбирает доступный механизм платформы, но правила протокола и очистка соединений остаются задачей приложения.

#python #сети

Читать полностью…

Одинаковые файлы, разные ZIP: почему меняется хеш

Два архива распаковываются в одинаковые файлы, но их SHA-256 различаются. Причиной могут быть даты записей, их порядок, права или настройки сжатия.

В разборе воспроизводимых архивов используют поддержку SOURCE_DATE_EPOCH в Python 3.14. При записи через writestr() с именем файла переменная позволяет задать стабильную дату вместо текущей.

Дату лучше брать из неизменяемого события сборки, например коммита. Отдельно нужно сортировать имена, фиксировать содержимое и параметры сжатия. Явно переданный ZipInfo требует своей политики метаданных.

Проверка должна сравнивать байты двух сборок, а не только распакованные файлы. Для строгой воспроизводимости закрепите и версии инструментов: одинаковые исходники не гарантируют одинаковое сжатие в любой среде.

#python #сборка

Читать полностью…

Почему тесты находят пакет, который забыли положить в сборку

При структуре, где пакет лежит в корне репозитория, Python может импортировать его прямо из рабочей директории. Тесты проходят, хотя установленный пакет может оказаться неполным.

В разборе структуры проекта предлагают для библиотек рассмотреть каталог src/:

project/
├── pyproject.toml
├── src/
│   └── mypkg/
│       └── __init__.py
└── tests/

Теперь пакет обычно нужно установить, прежде чем импортировать. Это помогает заметить зависимость от файлов, случайно доступных в корне проекта.

Но установка для разработки и установка собранного wheel — разные проверки. Чтобы найти пропущенный шаблон или файл данных, соберите wheel и запустите тесты с ним в чистом окружении вне репозитория.

#python #тестирование

Читать полностью…

Как сделать бэкап работающей SQLite через Python

Просто скопировать файл активной базы рискованно. Во время копирования страницы могут изменяться, а при WAL часть данных находится в отдельном журнале.

Python предоставляет доступ к SQLite Online Backup API через Connection.backup(). Метод вызывают у источника и передают ему соединение с приёмником:

import sqlite3
from contextlib import closing

with closing(sqlite3.connect("app.db")) as src:
    with closing(sqlite3.connect("backup.db")) as dst:
        src.backup(dst)

SQLite согласует копирование с работой базы. Получившаяся копия самостоятельна: следующие записи в исходник в неё не попадут.

Здесь closing нужен для закрытия соединений: обычный with connection управляет транзакцией, но не закрывает соединение. После бэкапа проверьте восстановление и чтение данных.

#python #sqlite

Читать полностью…

Что проверить перед переходом на SQLAlchemy 2.1

Обновление зависимости может поменять драйвер подключения, даже если строка подключения осталась прежней.

В SQLAlchemy 2.1 адрес postgresql:// по умолчанию выбирает psycopg, а oracle:// — oracledb. Если проект рассчитывает на конкретный DBAPI, укажите его явно и проверьте совместимость.

Есть ещё два изменения: минимальная версия Python — 3.11, а greenlet больше не устанавливается автоматически. Для асинхронных возможностей используйте:

pip install "sqlalchemy[asyncio]"

Перед обновлением прогоните сценарии подключения, транзакций и загрузки связей. Проверьте окружение CI: старая установленная зависимость может скрыть то, что сломается при чистой установке.

#python #sqlalchemy

Читать полностью…

Как запустить тесты самого Django через uv

Хотите исправить баг в Django? Сначала понадобится окружение для тестов фреймворка. Установки Django из PyPI для этого недостаточно: нужны исходники и тестовые зависимости.

Адам Джонсон показывает настройку через uv. После клонирования репозитория выполните из его корня:

uv venv
uv pip install -e . -r tests/requirements/py3.txt
uv run python tests/runtests.py

Editable-установка позволяет тестам использовать ваш изменённый код. Для запуска можно указать конкретные тестовые модули вместо всего набора.

Одна из возможных проблем — сборка pylibmc, которой нужны компилятор и заголовки libmemcached. Без этой зависимости остальные тесты можно запускать, но проверки, которым она нужна, будут пропущены. Учитывайте это, если правка затрагивает кеширование.

#python #django

Читать полностью…

Почему Rust внутри CPython предлагают начать с zlib

На Python Language Summit обсудили постепенное внедрение Rust в CPython. Первый кандидат — модуль zlib: небольшой участок с заметным применением, в том числе при работе с пакетами.

Предлагается использовать zlib-rs, а существующую реализацию сохранить как fallback. В обсуждаемом плане Rust-бэкенд мог бы стать опциональным в Python 3.16. Это предложение, а не уже принятая возможность релиза.

Перед расширением проекта нужно проверить поддержку платформ, влияние на производительность, сборку и сопровождение зависимостей.

Rust помогает исключить некоторые ошибки работы с памятью, но корректность алгоритмов по-прежнему требует тестирования. Поэтому в плане есть fuzzing и property-based tests.

#python #cpython

Читать полностью…

Когда Path.info экономит обращения к файловой системе

При обходе большого каталога проверки is_file() и is_dir() могут создавать множество запросов метаданных. В Python 3.14 появился кеш типов файлов Path.info.

У объектов, полученных через Path.iterdir(), он может уже содержать информацию из сканирования каталога. Несколько проверок типа используют эти данные повторно.

Цена — актуальность. Если другой процесс заменил файл после обхода, path.info может описывать прежнее состояние. Для свежей проверки используйте прямые методы Path.is_file() и Path.is_dir().

Кеш нельзя очистить на месте; новый Path(path) начинает с пустым кешем. Но даже свежая проверка не устраняет гонку между проверкой и открытием файла — ошибки операции всё равно нужно обрабатывать.

#python #файлы

Читать полностью…

Общая папка для работы Claude Code и Codex

Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:

Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову

В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.

#ии #инструменты

Читать полностью…

Почему lru_cache удерживает объекты в памяти

Декоратор lru_cache хранит аргументы и результат функции. Если поставить его на метод экземпляра, self станет частью ключа — кеш может удерживать объект после того, как остальной код перестал им пользоваться.

Есть и другие ловушки мемоизации. Каждый cache hit возвращает сохранённый объект: изменение закешированного списка увидят следующие вызовы. А maxsize ограничивает число записей, но не задаёт срок их жизни.

Для результатов выбирайте неизменяемые структуры, для внешних данных продумайте инвалидирование. Через cache_info() проверьте, сколько попаданий кеш вообще даёт.

Потокобезопасность кеша тоже не гарантирует один запуск функции: при одновременных промахах вычисление может повториться.

#python #производительность

Читать полностью…

🧑‍💻 Какие навыки помогают вам в разработке в 2026 году?

Что вы чаще используете в работе? В каких задачах помогает ИИ, а где проще справиться самостоятельно?

Мы решили собрать портрет современного разработчика — и приглашаем вас поделиться своим опытом. Расскажите, какие навыки вам пригодились и как вы используете ИИ. Если обходите его стороной, нам тоже интересно узнать почему.

Опрос анонимный и займёт около 5 минут. Результаты опубликуем в общем большом исследовании.

👉 Пройти опрос

Читать полностью…

Что мешает запускать Python из снимка памяти

Импорты и инициализация повторяются при каждом старте интерпретатора. Снимок уже подготовленного процесса мог бы пропускать эту работу — особенно в WebAssembly и сервисах, которые часто запускают короткие задачи.

В обсуждении снимков CPython есть неожиданный барьер: случайное начальное значение для хеширования. Python выбирает его при запуске, чтобы затруднить атаки через коллизии. Снимок зафиксирует значение, и восстановленные процессы начнут использовать одно и то же.

Худ Чатем предлагает отдельную фазу инициализации с повторной настройкой состояния после восстановления. Потребуется учитывать и библиотеки, рассчитывающие на новый запуск. Это пока обсуждаемая архитектура; просто сохранить память процесса недостаточно для безопасного ускорения старта.

#python #cpython

Читать полностью…