Telegram-канал tsingular - Технозаметки Малышева: Unsorted

Технозаметки Малышева

23 October 2025 14:03

🔥 UPDATE OpenAI deactivating: Нашел причину! Критическая уязвимость в LiteLLM

Оказалось проблема была не в IP и не в RU тексте

LiteLLM сливал всю внутреннюю метаданные прокси напрямую в OpenAI

Что утекало

Если клиент передавал хоть какую то metadata (например sessionId в теле реквеста то LiteLLM добавлял к ней ВСЮ внутреннюю инфу прокси хотя должен был писать во внутренний лог

{
  "metadata": {
    "sessionId": "abc-123",              // от клиента
    "headers": {                          // ВСЁ ЭТО УТЕКАЛО
      "x-real-ip": "1.2.3.4",
      "x-forwarded-for": "5.6.7.8, ...",
      "user-agent": "RestSharp/112.1.0"
    },
    "user_api_key_spend": 287.83,
    "endpoint": "https://my-proxy.com/..."
  }
}

OpenAI видел
- Все IP адреса через x-forwarded-for
- Что вы используете прокси
- Информацию о расходах и ключах
- User-Agent = автоматизация
- Внутреннюю структуру сервиса

→ Бан 3 аккаунтов (одному было 2 года обидно)

Как это произошло

У меня появилось приложение клиент которого использует RestSharp для подключения к прокси (популярная C# библиотека 9.8k звезд) просто передавал sessionId для трекинга (честно не знаю то ли это клиент делает то ли разработчик)

metadata = new { sessionId = "abc-123" }

Прям внутрь реквеста к ллм

        "role": "user",
        "content": "Привет! Как дела?"
      }
    ],
    "temperature": 1,
    "metadata": {
      "sessionId": "a5b3e26b-18c7-4017-9bcd-c2db6e450f78"
    },
    "stream_options": {
      "include_usage": true
    }
  }'

И всё LiteLLM начинал сливать всю инфу в OpenAI

Код проблемы пока нашел с курсором но передал так же людям проверить!

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/litellm_pre_call_utils.py#L892

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/proxy_server.py#L7855

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/route_llm_request.py#L122

https://github.com/BerriAI/litellm/blob/main/litellm/llms/openai/chat/gpt_transformation.py#L436

Вы в зоне риска если
Используете LiteLLM Proxy
Клиенты передают metadata
Используете nginx перед LiteLLM
В РФ + VPS за рубежом

Почему у других не было проблем

Большинство клиентов не передают metadata вообще и юзают обычные клиенты на питоне типа AsyncOpenAI

Но если хоть один клиент начинает использовать metadata утечка уже началась....

Кто на LiteLLM и ходит к openai напрямую проверьте это по списку

1 Проверьте логи что реально уходит к провайдеру (сделайте тест с передачей метадаты)

2 Временно запретите клиентам передавать metadata

3 Ждите фикс в LiteLLM (я уже исправил локально скоро PR)

Update всем спасибо за оч полезную инфу выше

Далее буду осторожнее

Со мной такое в первый раз (за один акк прям обидно 2 года ему было)

PS Если у вас LiteLLM прокси срочно проверьте что отправляете провайдеру 🔥