admguides | Unsorted

Telegram-канал admguides - Admin Guides | Сисадмин

11954

Обучающий канал по ОС Linux & Windows для начинающих и действующих администраторов. Админ, реклама: @Ak_Mihail Биржа: https://telega.in/c/admguides РКН: https://kurl.ru/nQejS

Subscribe to a channel

Admin Guides | Сисадмин

Dentry shrinker: как Linux освобождает память, занятую путями к файлам

Допустим, вы запустили find по каталогу с миллионами файлов. Команда давно завершилась, но память, занятая ядром, заметно выросла.

Дело может быть в dentry cache - кэше, который Linux использует для поиска файлов по именам.

⏺Почему кэш растёт

При обходе каталогов ядро создаёт структуры dentry. Они связывают имена с объектами файловой системы и позволяют быстрее находить файлы при повторных обращениях.

Посмотреть статистику можно через:

cat /proc/sys/fs/dentry-state


Первые два значения - общее количество учтённых dentry и число неиспользуемых.

Неиспользуемые записи не обязательно сразу удаляются: они могут пригодиться при следующем поиске.

⏺Как работает dentry shrinker

Когда Linux требуется освободить память, механизм reclaim обращается к shrinker файловой системы.

Он ищет неиспользуемые dentry, которые можно безопасно удалить из кэша, и освобождает связанные с ними структуры.

При этом активные записи, на которые ещё есть ссылки, просто так не удаляются.

⏺Можно ли очистить кэш вручную?

Да, например:

sync
echo 2 | sudo tee /proc/sys/vm/drop_caches


Значение 2 запускает очистку доступных для освобождения dentry и inode cache.

Но регулярно выполнять такую команду не стоит: Linux обычно сам управляет кэшем, а принудительная очистка может замедлить последующие обращения к файлам.

Читать полностью…

Admin Guides | Сисадмин

💬 Вопрос на собеседовании для DevOps-инженера

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Что такое TCP BBR (Bottleneck Bandwidth and Round-trip propagation time) и зачем он нужен?

✅Ответ: TCP BBR - это алгоритм управления перегрузкой в TCP, разработанный Google. В отличие от классических алгоритмов (Reno, Cubic), которые регулируют скорость передачи на основе потерь пакетов, BBR измеряет доступную пропускную способность канала и время задержки (RTT), чтобы оптимально использовать сеть.

Как это работает:
• Алгоритм оценивает текущую пропускную способность и RTT.
• Регулирует скорость отправки данных, чтобы максимально использовать канал, не вызывая излишних задержек.
• Позволяет эффективно работать даже в сетях с высокой задержкой или переменной пропускной способностью.

Читать полностью…

Admin Guides | Сисадмин

Потолок зарплаты в IT — ВСЁ

Даже Senior-разработчики упираются в потолок. Дальше — менеджмент, смена компании или годы ожидания повышения.

Но есть другой путь — зарабатывать больше на уже накопленном IT-опыте. И для этого необязательно переучиваться с нуля.

Как именно, рассказывает Артём Алехин — экс-тимлид Сбера, работавший на валютных удаленках.
Он совмещал российский найм с валютным контрактом, зарабатывая $8–9 тысяч в месяц. Артем создал проект в рамках которого получил для своих 200 учеников 40+ офферов на 200к+.

Три направления, с которыми работает Артём:
— Валютная удалёнка: выход на зарубежный рынок и поиск офферов от $5 000.
— Монетизация экспертизы: превращать свой IT-опыт в доход через обучение и менторство
— Свой IT-продукт: запуск SaaS с проверкой спроса сервиса для селлеров.

Артём помогает выбрать подходящий путь и выстроить стратегию роста дохода, чтобы перестать зависеть от одного работодателя.

Переходи в канал Артёма и изучай: @artem_itishnaya

Читать полностью…

Admin Guides | Сисадмин

Как проверить, какие файлы изменились после установки пакета

Установили пакет, а после этого сервис начал работать иначе. Возможно, обновились библиотеки, изменились конфиги или появились новые файлы.

Но как понять, что именно произошло? В Linux есть несколько способов проверить изменения, причём без ручного просмотра каждого каталога.

⏺debsums - проверяем файлы Debian/Ubuntu

sudo apt install debsums
debsums -s nginx


Утилита сравнивает контрольные суммы установленных файлов с эталонными MD5-суммами, если они доступны в метаданных пакета.

Если файл изменён, debsums сообщит об этом. Для проверки конфигурационных файлов можно добавить -a:

debsums -as nginx


Но это проверка текущего состояния, а не история изменений после установки.

⏺rpm -V - ищем изменения в RPM-пакетах
Для Fedora, RHEL и других RPM-систем:

rpm -V nginx


Команда проверяет размер, контрольную сумму, права, владельца и другие атрибуты файлов относительно данных RPM.

Например:

S.5....T.  c /etc/nginx/nginx.conf


Здесь изменились размер, контрольная сумма и время модификации конфигурационного файла.

⏺Как узнать, что добавилось после установки

debsums и rpm -V не показывают полноценную разницу между состояниями системы.

Для этого можно заранее сохранить список файлов:

find /etc /usr/local -type f | sort > before.txt


После установки:

find /etc /usr/local -type f | sort > after.txt
comm -13 before.txt after.txt


Так увидим новые пути. Но изменения содержимого существующих файлов этот способ не обнаружит - для них нужно сравнивать контрольные суммы или использовать snapshot.

Читать полностью…

Admin Guides | Сисадмин

В Windows 11 сохранился код диспетчера памяти Windows 95

Механизм совместимости EmulateHeap помогает старым приложениям, которые зависят от особенностей работы с памятью в Windows 95.

Microsoft взяла исходный код её менеджера кучи, перекомпилировала и включила в систему совместимости.

Один из известных примеров подобных проблем - оригинальная SimCity. Игра читала память, которую сама уже освободила. 


В Windows 3.x ошибка не мешала работе, а в Windows 95 приводила к сбоям. Тогда Microsoft добавила для игры специальный режим работы с памятью.

⏺EmulateHeap воспроизводит старое поведение кучи и загружается только для приложений, которым включено это исправление. Найти его можно в Compatibility Administrator из Windows ADK. При этом Windows 95 в фоне не запускается.

Читать полностью…

Admin Guides | Сисадмин

Если вы планировали в 2026 году прокачать свои навыки в k8s и освоить их на новом, продвинутом уровне - велком!

Но скажем сразу, курс подходит только продвинутым специалистам.
Не покупайте Kubernetes Мега, если

...вы только знакомитесь с K8s. Мы здесь не учим kubectl apply и не разбираем YAML построчно. Для этого есть “K8s: Базовый уровень” - это отдельный, более спокойный маршрут.

...у вас нет 8-10 часов в неделю. Мы не растянем курс. Мы про максимум эффективности.

...вы ждете слайдов и красивых схем. 78 часов практики против 44 часов теории. Готовьте терминал.

А теперь кому это нужно:

Тем, кто уже держит кластеры в проде и упирается в потолок. Кто хочет разобраться с KEDA, операторами, отказоустойчивостью БД, продвинутым Helm и продакшен-эксплуатацией под нагрузкой

Подробнее о курсе.
#реклама
О рекламодателе

Читать полностью…

Admin Guides | Сисадмин

💬👨‍💻🐍💩🤖🤖🐧👩‍💻🧑‍💻👋🦀

Дождались! Ребята сделали
крутейший канал про IT новой эпохи

Нейросети, ИИ-агенты, вайбкодинг, вайбхакинг и новые инструменты уже меняют привычный мир технологий.

Там разбирают эти изменения и другие интересные IT-темы на простых картинках и понятном языке, а еще делятся полезными ресурсами и свежими новостями

Подписывайтесь: @IT_Portal

Читать полностью…

Admin Guides | Сисадмин

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Почему NFS-клиент может продолжать видеть старые данные, хотя файл на сервере уже изменился?

✅Ответ: Причина может быть в кэшировании атрибутов и содержимого файлов на стороне NFS-клиента.

Чтобы не обращаться к серверу при каждой операции, Linux сохраняет в кэше данные файлов и их метаданные. Из-за этого изменения, сделанные другим клиентом, не всегда становятся видны мгновенно.

Например, два сервера работают с одной NFS-директорией. Первый обновляет файл конфигурации, а второй некоторое время продолжает читать старую версию.

Это связано с тем, что NFS использует модель согласованности close-to-open: при открытии файла клиент обычно проверяет, не изменился ли он на сервере. Но это не гарантирует мгновенную синхронизацию всех операций.

Посмотреть параметры монтирования можно:

nfsstat -m

Читать полностью…

Admin Guides | Сисадмин

pstore: как сохранить логи после kernel panic

После kernel panic сервер перезагрузился, а в journalctl нет ничего полезного. Последние сообщения ядра могли просто не успеть попасть на диск.

Для таких случаев в Linux есть pstore и его backend ramoops. Они позволяют сохранить диагностические данные в специальной области RAM и прочитать их после перезагрузки.

⏺Проверяем поддержку
Сначала смотрим конфигурацию ядра:

zgrep -E 'CONFIG_PSTORE=|CONFIG_PSTORE_RAM=' \
/proc/config.gz


Если /proc/config.gz отсутствует, можно проверить /boot/config-$(uname -r).

Нужны CONFIG_PSTORE и CONFIG_PSTORE_RAM. Но одной поддержки недостаточно: для ramoops требуется заранее зарезервированная область физической памяти.

⏺Настраиваем ramoops
На поддерживаемой системе область можно задать через Device Tree или параметры загрузки.

Например, для уже зарезервированного участка RAM размером 1 МиБ:

ramoops.mem_address=<адрес>
ramoops.mem_size=0x100000
ramoops.record_size=0x20000
ramoops.max_reason=2


Здесь record_size задаёт размер одной записи, а max_reason=2 разрешает сохранять Oops и Panic.

Адрес нельзя выбирать произвольно: область должна быть корректно зарезервирована и сохранять содержимое после перезапуска.

⏺Читаем логи после сбоя

После перезагрузки проверяем:

sudo mount -t pstore pstore /sys/fs/pstore
ls -l /sys/fs/pstore/


Если дамп сохранился, появятся файлы вида:

dmesg-ramoops-0
dmesg-ramoops-1


Читаем:

sudo cat /sys/fs/pstore/dmesg-ramoops-0


На системах с systemd-pstore записи могут автоматически переноситься в /var/lib/systemd/pstore/.

⚡️pstore полезен там, где обычное логирование заканчивается вместе с падением ядра. Но ramoops не гарантирует сохранение данных при любом сбое: если прошивка очищает RAM или питание полностью пропадает, записи могут исчезнуть.

Читать полностью…

Admin Guides | Сисадмин

4 инструмента для поиска скрытых расходов RAM

free -h показывает, что память занята, но по top непонятно кем. Процессы выглядят нормально, а доступной RAM становится всё меньше.

Причина может быть не только в приложениях. Память расходуют kernel-объекты, page cache, разделяемые страницы и другие структуры, которые не всегда очевидны в обычной статистике.

⏺slabtop - смотрим память ядра

sudo slabtop -o


Показывает использование slab-кэшей: inode, dentry и других kernel-объектов.

Если один из кэшей постоянно растёт, стоит проверить, какие подсистемы его используют. Но сам по себе большой slab ещё не означает утечку: часть памяти может быть освобождена при необходимости.

⏺page_owner - ищем источник выделения страниц

sudo cat /sys/kernel/debug/page_owner


Позволяет увидеть стеки вызовов, связанные с выделением физических страниц. Полезно, когда нужно понять, какой участок ядра отвечает за расход памяти.

Требует CONFIG_PAGE_OWNER и включения через page_owner=on при загрузке. Также нужен смонтированный debugfs.

⏺smem - считаем память процессов точнее

sudo smem -tk


В отличие от обычного RSS, smem показывает PSS a память, разделяемую несколькими процессами, с пропорциональным учётом для каждого.

Это особенно полезно, когда десятки процессов используют общие библиотеки или shared memory, а сумма их RSS создаёт впечатление огромного расхода RAM.

⏺drgn - исследуем структуры ядра
drgn позволяет читать внутренние структуры работающего Linux через Python.
Например:

from drgn.helpers.linux import for_each_task

for task in for_each_task(prog):
print(task.pid, task.comm)


Здесь prog - объект drgn.Program, подключённый к ядру. Для такого анализа обычно нужны подходящие отладочные символы и разрешение на чтение памяти ядра.

Инструмент полезен, когда стандартной статистики недостаточно и нужно исследовать конкретные kernel-объекты.

⚡️Эти инструменты решают разные задачи: slabtop показывает расходы slab, page_owner помогает найти источники выделения страниц, smem уточняет потребление процессов, а drgn позволяет разбирать структуры ядра напрямую. Вместе они помогают понять, куда уходит RAM, когда обычного top уже недостаточно.

Читать полностью…

Admin Guides | Сисадмин

page_ext: сколько памяти Linux тратит на информацию о памяти

Linux тратит RAM не только на процессы и кэш, но и на описание самой памяти.

Для каждой физической страницы ядро хранит метаданные, а дополнительные механизмы диагностики могут заметно увеличить их объём.

⏺Зачем нужен page_ext
Обычно страницы описываются через struct page. Но добавлять туда поля для каждого отладочного механизма невыгодно.

Поэтому page_ext хранит дополнительные данные отдельно, не увеличивая базовую структуру. Например, его использует page_owner, чтобы отслеживать, где выделялись страницы памяти.

⏺Сколько памяти это занимает

Допустим, на сервере 64 ГиБ RAM, а размер страницы - 4 КиБ:

64 ГиБ / 4 КиБ = 16 777 216 страниц


Если дополнительные метаданные занимают 16 байт на страницу, получаем 256 МиБ только на их хранение.

Это условный расчёт. Реальный расход зависит от конфигурации ядра.

⏺Как проверить
При поддержке CONFIG_PAGE_OWNER диагностику можно включить параметром загрузки:

page_owner=on


После перезагрузки данные доступны через debugfs:

sudo cat /sys/kernel/debug/page_owner


Сам механизм тоже расходует RAM, в том числе на хранение информации о стеках вызовов.

⚡️page_ext показывает, что диагностика памяти сама требует памяти. На больших серверах даже несколько дополнительных байтов на страницу могут обернуться сотнями мегабайт расходов.

Читать полностью…

Admin Guides | Сисадмин

bio splitting: почему Linux дробит запросы к диску

Приложение отправляет большой запрос на чтение, но до накопителя он может дойти несколькими отдельными операциями.

И дело не обязательно в файловой системе. Сам block layer умеет разбивать I/O, если исходный запрос не укладывается в ограничения устройства.

⏺Откуда берутся ограничения

В Linux операции чтения и записи описываются структурами bio. Внутри находятся адреса данных, размер и информация о том, с какими секторами нужно работать.

Но устройство не обязано принимать запрос любого размера.

Посмотреть его ограничения можно через sysfs:

cat /sys/block/nvme0n1/queue/max_sectors_kb
cat /sys/block/nvme0n1/queue/max_segments
cat /sys/block/nvme0n1/queue/max_segment_size


Первый параметр ограничивает объём данных в запросе, второй - количество сегментов, третий - размер отдельного сегмента.

Например, если допустимый размер запроса составляет 128 КБ, один bio на 512 КБ нельзя просто передать устройству целиком.

⏺Что происходит при splitting

Block layer может разделить исходный bio на несколько частей:

Исходный bio: 512 KB
|
v
Block layer
|
+-- bio 128 KB
+-- bio 128 KB
+-- bio 128 KB
+-- bio 128 KB


Каждая часть получает свой диапазон секторов и ссылки на соответствующие участки памяти.

При этом данные не обязательно копируются. Разделение касается прежде всего описания I/O и его границ.

⏺Почему размер - не единственная причина

Даже небольшой запрос может не пройти ограничения устройства.

Например, если данные представлены слишком большим количеством сегментов памяти или запрос пересекает границу, которую контроллер не умеет обрабатывать за одну операцию.

Дополнительные ограничения могут появляться и в стеке Device Mapper или RAID. Поэтому один запрос приложения, один bio и одна команда накопителю - далеко не всегда одно и то же.

Читать полностью…

Admin Guides | Сисадмин

kmalloc_obj: зачем Linux типизированное выделение памяти

В коде ядра легко допустить неприятную ошибку: выделить память под структуру, но случайно указать неправильный размер.

Компилятор может ничего не заметить, а проблема проявится уже во время работы. Например, когда код начнёт записывать данные за пределы выделенного участка.

⏺Как это работает с kmalloc

Обычно память под структуру выделяют так:

struct my_device *dev;

dev = kmalloc(sizeof(*dev), GFP_KERNEL);


Здесь всё правильно. Но kmalloc() получает только размер в байтах. Какой именно объект будет храниться в памяти, allocator не знает.

Если разработчик ошибётся в sizeof(), можно получить слишком маленький буфер.

⏺Что меняет kmalloc_obj

Идея типизированного выделения - связать размер памяти непосредственно с типом объекта.

Вместо ручного указания размера используется выражение, по которому компилятор определяет нужный тип:

dev = kmalloc_obj(*dev, GFP_KERNEL);


Для массива предусмотрен аналогичный подход:

dev = kmalloc_objs(*dev, 16, GFP_KERNEL);


Так меньше шансов перепутать размер структуры или неправильно рассчитать память под несколько элементов.

⏺А что с защитой памяти

Важно понимать: типизированное выделение не превращает C в безопасный язык и не устраняет все ошибки работы с указателями.
Но оно убирает один источник проблем - несоответствие размера выделяемой памяти объекту, для которого она предназначена.

Особенно это полезно в kernel-коде, где подобная ошибка может закончиться повреждением памяти, а не просто падением одного приложения.

Читать полностью…

Admin Guides | Сисадмин

dm-dust: как устроить диску bad sectors без поломки

Представьте: диск исправен, SMART ничего подозрительного не показывает, но чтение определённого сектора внезапно возвращает Input/output error.

В Linux такое можно воспроизвести специально. Для этого есть dm-dust - target Device Mapper, который имитирует повреждённые блоки и позволяет проверить, как файловая система или приложение переживёт ошибку чтения.

1️⃣Создаём тестовый диск

Чтобы не рисковать настоящим накопителем, используем файл и loop-устройство:

truncate -s 64M /tmp/dust.img
LOOP=$(sudo losetup --find --show /tmp/dust.img)
SECTORS=$(sudo blockdev --getsz "$LOOP")

echo "0 $SECTORS dust $LOOP 0 512" |
sudo dmsetup create dusttest


Теперь /dev/mapper/dusttest выглядит как обычное блочное устройство. Пока все операции проходят без искусственных ошибок.

2️⃣ Ломаем конкретный блок

Допустим, хотим сделать нечитаемым блок №64:

sudo dmsetup message dusttest 0 addbadblock 64
sudo dmsetup message dusttest 0 enable


Пробуем прочитать его напрямую:

sudo dd if=/dev/mapper/dusttest \
of=/dev/null bs=512 count=1 skip=64 \
iflag=direct


Вместо данных получим:

dd: error reading '/dev/mapper/dusttest':
Input/output error


Причём ошибка возникает в Device Mapper. Сам backing storage остаётся исправным.

3️⃣ Проверяем восстановление

У dm-dust есть интересная особенность: запись в повреждённый блок проходит успешно и удаляет его из списка bad blocks.

Так имитируется поведение диска, который переназначил проблемный сектор.

Для проверки файловой системы можно сначала создать её на /dev/mapper/dusttest, записать тестовые файлы, а затем включить ошибки на выбранных блоках данных или метаданных.

Дальше смотрим:

sudo dmesg -w
sudo dmsetup status dusttest


Интересно, вернёт ли приложение EIO, продолжит ли файловая система работать и не перейдёт ли она в read-only режим. Конкретная реакция зависит от файловой системы и того, какой блок оказался недоступен.

После эксперимента:

sudo dmsetup message dusttest 0 disable
sudo dmsetup message dusttest 0 clearbadblocks
sudo dmsetup remove dusttest
sudo losetup -d "$LOOP"

Читать полностью…

Admin Guides | Сисадмин

Диагностика сетей Docker за пару минут

Контейнеры перестали «видеть» друг друга или интернет?

Обычно виноваты bridge, IP или iptables. Быстрая проверка помогает локализовать проблему.

1️⃣Что у нас вообще есть?

docker network ls


Смотрим все сети и их типы. Первая проверка - сеть существует и активна ли она.

2️⃣Разбираемся с конкретной сетью

docker network inspect <name>


Проверяем настройки bridge, IP-адреса и какие контейнеры к ней подключены. Часто именно здесь всплывает конфликт IP.

3️⃣Какой IP у контейнера?

docker exec -it <container> ip addr


Быстрая проверка: назначен ли контейнеру правильный IP и подключен ли к нужной сети.

4️⃣Контейнеры видят друг друга?

docker exec -it <container> ping <ip>


Если пинги не проходят - смотрим bridge и firewall.

5️⃣Правила iptables для Docker

iptables -L -n -v | grep DOCKER


Иногда проблема не в Docker, а в том, что iptables заблокировал трафик.

Читать полностью…

Admin Guides | Сисадмин

Как дать сервису отдельную файловую систему

Иногда приложению нужен доступ только к нескольким каталогам, но при запуске оно видит почти всю файловую систему сервера.

В systemd можно создать для сервиса отдельное файловое окружение без полноценного контейнера. Для этого пригодятся TemporaryFileSystem и BindPaths.

⏺Создаём временный каталог

Допустим, приложение записывает промежуточные файлы в /var/cache/myapp.
Добавим в unit:

[Service]
TemporaryFileSystem=/var/cache/myapp:rw


Теперь внутри сервиса по этому пути будет отдельный tmpfs. Файлы в нём не попадут в исходный каталог хоста и исчезнут после завершения mount namespace сервиса.

При этом другие процессы продолжат видеть обычный /var/cache/myapp.

⏺Открываем доступ к нужным данным

Если приложению нужны файлы из определённого каталога хоста, можно подключить его через bind mount:

[Service]
TemporaryFileSystem=/var/cache/myapp:rw
BindReadOnlyPaths=/srv/shared:/mnt/shared


Сервис увидит содержимое /srv/shared по пути /mnt/shared, но не сможет изменять его через это отображение.

Если нужна запись, вместо BindReadOnlyPaths используется BindPaths.

⏺Проверяем результат

После изменения unit:

sudo systemctl daemon-reload
sudo systemctl restart myapp.service


Посмотреть файловое окружение процесса можно через его mount namespace:

PID=$(systemctl show -P MainPID myapp.service)
sudo nsenter -t «$PID» -m findmnt /var/cache/myapp


Так можно убедиться, что сервис действительно использует отдельный tmpfs, а не каталог хоста.

Читать полностью…

Admin Guides | Сисадмин

chroot vs pivot_root: два способа сменить корень Linux

Обе команды позволяют процессу увидеть другой каталог как /. Но работают они по-разному, и заменить одну другой получается далеко не всегда.

⏺chroot - меняем точку отсчёта

chroot() изменяет корневой каталог, относительно которого процесс разрешает абсолютные пути.

Например:

sudo chroot /srv/rootfs /bin/sh


Теперь /etc для оболочки означает /srv/rootfs/etc на хосте.

Но таблица монтирования не меняется. Старые mount points остаются на месте, а сам chroot не создаёт полноценной изоляции: процесс с достаточными привилегиями может выйти за его пределы.

⏺pivot_root - переставляем монтирования

pivot_root() работает на другом уровне. Он заменяет корневое монтирование в текущем mount namespace и перемещает старый корень в указанный каталог.

Упрощённо:

До:
/ → старый root
/newroot → новый root

После:
/ → новый root
/oldroot → старый root


Старый корень затем можно размонтировать, если он больше не используется.

Именно такой подход применяют контейнерные runtime: вместе с mount namespace он позволяет построить отдельное файловое окружение.

⏺В чём главное различие?

chroot меняет корень для разрешения путей конкретного процесса.


pivot_root перестраивает расположение корневого монтирования внутри mount namespace. Для него нужны соответствующие привилегии и соблюдение требований к монтированиям.

Читать полностью…

Admin Guides | Сисадмин

Как получить SIGBUS, просто уменьшив файл

Обычно SIGBUS связывают с проблемами оборудования или памяти.

Но в Linux этот сигнал можно получить даже на исправном компьютере - достаточно изменить размер файла, с которым работает программа.
Разберём небольшой эксперимент с mmap() и truncate().

⏺Что происходит
mmap() позволяет отобразить файл в виртуальную память процесса. После этого приложение обращается к его содержимому как к обычному массиву.
Но представим, что файл занимал 8 КиБ, а другой процесс уменьшил его до нуля через truncate().

Отображение mmap() при этом не исчезнет. Однако при обращении к странице, которая теперь целиком находится за пределами файла, ядро отправит процессу SIGBUS.

⏺Проверяем на практике

Создадим файл и небольшую программу:

truncate -s 8192 /tmp/test.bin
#include <fcntl.h>
#include <sys/mman.h>
#include <unistd.h>

int main(void) {
int fd = open(«/tmp/test.bin», O_RDONLY);
char *p = mmap(NULL, 8192, PROT_READ,
MAP_SHARED, fd, 0);
close(fd);

sleep(5);
return p[4096];
}


Компилируем и запускаем:

gcc test.c -o test
./test &
truncate -s 0 /tmp/test.bin
wait


Программа сначала создаёт отображение, затем ждёт пять секунд. За это время мы уменьшаем файл до нуля.

При чтении p[4096] процесс получит SIGBUS, а оболочка обычно сообщит Bus error.

⏺Почему не SIGSEGV?

Адрес остаётся частью допустимого виртуального отображения. Проблема не в отсутствии mmap, а в том, что соответствующей страницы файла больше нет.

Именно поэтому Linux использует SIGBUS, а не обычный SIGSEGV.

Читать полностью…

Admin Guides | Сисадмин

Два типа дисков на одном сервере, чтобы не выбирать между скоростью и объёмом.

Для корпоративного портала или Bitrix24 на SSD можно разместить приложения, а HDD использовать для документов, файлов и внутренних данных компании.

В Рег.облаке такая конфигурация стоит 8 330 ₽/мес. В неё входят:
• Xeon E3-1270v3
• 16 ГБ RAM
• 2 × 240 ГБ SSD
• 2 × 2 ТБ HDD

В итоге на одной машине можно разместить рабочие сервисы и хранилище для команды, не арендуя отдельный сервер под каждую задачу.

Переезд тоже не обязательно организовывать самостоятельно: миграция бесплатная, как и установка BitrixEnv.

Посмотрите предложение на сайте Рег.облака

Читать полностью…

Admin Guides | Сисадмин

Что будет, если ограничить диск до 1 МБ/с через cgroup?

Быстрый SSD может выдавать сотни мегабайт в секунду. Но Linux позволяет ограничить скорость I/O отдельной группы процессов, даже если сам диск почти не загружен.

Для этого в cgroup v2 есть контроллер io и параметр io.max.

⏺Ставим ограничение

Создадим тестовую cgroup и ограничим запись до 1 МиБ/с:

sudo mkdir /sys/fs/cgroup/slowio


Узнаем major:minor нужного блочного устройства:

lsblk -o NAME,MAJ:MIN


Например, для устройства 259:0:

echo "259:0 wbps=1048576" |
sudo tee /sys/fs/cgroup/slowio/io.max


Теперь процессы внутри этой cgroup будут ограничены по скорости записи на указанное устройство.

⏺Проверяем на практике

Запустим тест с прямой записью, чтобы минимизировать влияние page cache:

sudo sh -c '
echo $$ > /sys/fs/cgroup/slowio/cgroup.procs
dd if=/dev/zero of=/mnt/test/slow.bin \
bs=1M count=100 oflag=direct
'


Если файловая система расположена на выбранном устройстве и контроллер работает, скорость должна приблизиться к 1 МиБ/с.

Запись 100 МиБ в таком случае займёт около 100 секунд, хотя физически SSD способен закончить её гораздо быстрее.

⏺Что происходит внутри

Block layer учитывает I/O, отправляемый процессами cgroup, и задерживает операции, если они превышают заданный лимит.

Application
↓
cgroup io.max
↓
I/O throttling
↓
SSD


В результате приложение ждёт разрешения отправить следующие запросы. При этом диск может оставаться почти свободным.

Посмотреть статистику можно через:

cat /sys/fs/cgroup/slowio/io.stat

Читать полностью…

Admin Guides | Сисадмин

Трюки с SSH для продуктивности

SSH — это не только удалённый терминал, но и мощный инструмент для повышения эффективности работы.

Рассмотрим три полезных фишки: мультиплексирование, проброс портов и ProxyJump.


1️⃣Мультиплексирование соединений (ControlMaster): Обычно при каждом новом SSH-подключении создаётся отдельное соединение — это тормозит и требует ресурсов.

ControlMaster позволяет использовать одно главное соединение для нескольких сессий, ускоряя подключение.

Как настроить:
Добавьте в ~/.ssh/config:

Host *
ControlMaster auto
ControlPath ~/.ssh/cm-%r@%h:%p
ControlPersist 10m


Теперь новые подключения к одному серверу будут использовать уже открытое соединение, а не создавать новое.

2️⃣ Проброс портов (Port Forwarding): SSH умеет «прокидывать» порты, что полезно для безопасного доступа к внутренним сервисам:

• Локальный проброс: доступ к удалённому порту через локальный

ssh -L 8080:localhost:80 user@server  


Теперь на вашей машине localhost:8080 будет перенаправлен на server:80.

• Удалённый проброс: наоборот, проброс с сервера на клиент

ssh -R 9090:localhost:3000 user@server  


• Динамический проброс (SOCKS Proxy):

ssh -D 1080 user@server  


Создаёт SOCKS5-прокси на локальном порту 1080, который можно использовать в браузере.

3️⃣ ProxyJump (перескакивание через bastion): Если сервер доступен только через промежуточный bastion, удобно использовать ProxyJump вместо ручных туннелей:

В ~/.ssh/config:

Host internal-server
HostName internal.example.com
User user
ProxyJump bastion-user@bastion.example.com


Теперь достаточно одной команды ssh internal-server, и соединение пройдёт через bastion автоматически.

Читать полностью…

Admin Guides | Сисадмин

Lazy TLB: почему Linux не всегда переключает адресное пространство

При переключении процессов Linux может менять таблицы страниц, через которые виртуальные адреса переводятся в физические.


Но иногда ядро оставляет прежнее адресное пространство активным, даже если CPU уже выполняет другую задачу. Это называется Lazy TLB.

⏺Когда переключение не нужно

У пользовательского процесса есть свой mm_struct, описывающий адресное пространство. А kernel threads, например kworker, обычно собственного mm_struct не имеют.

Поэтому при переходе с приложения на kernel thread ядро может сохранить прежние таблицы страниц:

Process A (mm_A)
↓
kworker
↓
Process B (mm_B)


Пока выполняется kworker, CPU может использовать адресное пространство процесса A, хотя сам поток не обращается к его пользовательской памяти.

⏺Зачем это нужно

Смена адресного пространства требует управления TLB - кэшем трансляций виртуальных адресов.

Lazy TLB позволяет избежать части этих расходов. При этом ядро продолжает учитывать изменения отображений, чтобы не использовать устаревшие трансляции.

⏺Как это реализовано

В Linux за переходы отвечают механизмы enter_lazy_tlb() и switch_mm().

user task → kernel thread
enter_lazy_tlb()

kernel thread → user task
switch_mm()


Конкретная реализация зависит от архитектуры процессора.

Читать полностью…

Admin Guides | Сисадмин

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.


❓Вопрос: Что происходит на фоне когда вы заходите по ssh на сервер Linux?

✅Ответ: Каждый раз, когда мы заходим по ssh на любой Unix сервер, устанавливает TCP соединение между Клиентом и Сервером по порту 22 (по-умолчанию, если не указано другое) и Сервер выдает список версию протокола SSH которую он поддерживает.

Если клиента она «устраивает», то соединение продолжается и после того как сервер передаст свой публичный ключ и клиент сохранит его в файле '~/.ssh/known_hosts' мы получим подсказку ssh.

Да, и такие вопросы тоже бывают😅

Читать полностью…

Admin Guides | Сисадмин

АЙТИШНИКИ БЕСПЛАТНОЕ ОБУЧЕНИЕ

Проект «Terminal» стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков:

• Практические курсы и задания
• Книги и статьи известных авторов
• Полезные инструменты и ресурсы
• IT-новости и инсайды

Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go, Git, Linux, QA, Java, Vibe-coding, InfoSec и др.

⌨️ подписаться

Читать полностью…

Admin Guides | Сисадмин

⚡️У FirstVDS похитили данные части клиентов через VMmanager 6

17 октября злоумышленники использовали уязвимость в VMmanager 6 и скопировали с дисков клиентских VM пароли, ключи, токены, криптокошельки и другие файлы.

⏺Атака шла через узлы виртуализации, поэтому серверы работали как обычно, без следов внутри VM. Пострадавшим отправили уведомления.

FirstVDS закрыла внешний доступ к панели и установила патчи. На утро 19 октября уязвимость устранена не полностью.

Получившим уведомление нужно сменить пароли, отозвать старые ключи и токены, проверить входы с 17 октября. Криптовалюту - перевести на новые кошельки, созданные на чистом устройстве.

Читать полностью…

Admin Guides | Сисадмин

fprobe: как следить сразу за сотнями функций ядра

Представим, что нужно понять, какие функции Linux вызываются во время определённой операции.

Ставить отдельный kprobe на каждую - сомнительное удовольствие, особенно если речь о сотнях точек.

Для таких задач в ядре есть fprobe. Он позволяет привязать общие обработчики к множеству функций и собирать события при входе и выходе из них.

⏺Что происходит внутри

fprobe использует инфраструктуру ftrace. Вместо того чтобы создавать отдельный механизм перехвата для каждой функции, он регистрирует набор адресов и общие callbacks.
Упрощённо:

vfs_read() ───────┐
vfs_write() ──────┤
vfs_open() ───────┼──► fprobe
filp_close() ─────┘ │
▼
entry / exit


Так можно наблюдать за целой группой функций, например связанных с VFS, памятью или сетевым стеком.

⏺Как это выглядит в коде

В kernel-модуле можно описать один обработчик:

static void probe_entry(struct fprobe *fp,
unsigned long entry_ip,
unsigned long ret_ip,
struct ftrace_regs *fregs,
void *entry_data)
{
pr_info("called: %ps\n", (void *)entry_ip);
}


А затем зарегистрировать fprobe для набора функций через register_fprobe_syms().
Обработчик получает адрес функции, поэтому может определить, какая именно точка вызвала событие.

⏺Зачем это нужно
Например, при исследовании файловых операций можно отслеживать сразу несколько участков VFS и смотреть, через какие функции проходит выполнение.

При этом важно учитывать накладные расходы. Если повесить обработчик на очень горячие функции и писать каждое событие в kernel log, сама диагностика начнёт заметно влиять на систему.

Читать полностью…

Admin Guides | Сисадмин

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Почему Docker-контейнер может занимать намного больше места, чем размер его образа?

✅Ответ: Причина может быть в механизме OverlayFS, который Docker использует для организации файловой системы контейнера.

Образ состоит из слоёв, доступных только для чтения. При запуске контейнера поверх них создаётся отдельный записываемый слой.

Когда приложение пытается изменить файл из образа, срабатывает механизм copy-up: файл копируется в записываемый слой, и изменения происходят уже там.

Посмотреть использование диска Docker можно командой:

docker system df -v


А размер записываемого слоя конкретного контейнера:

docker inspect --size <container_id>

Читать полностью…

Admin Guides | Сисадмин

Два антивируса в Windows могут начать бороться друг с другом

Инженер Microsoft Рэймонд Чен рассказал о сбое, причину которого корпоративная поддержка долго не могла найти. Виновниками оказались два антивируса в одной системе.

Один вызывал функцию, которую второй считал подозрительной. Второй пытался её заблокировать и сам вызывал подозрения у первого. Вместо защиты получился взаимный конфликт, приводивший к сбоям.


Антивирусы глубоко вмешиваются в работу Windows, в том числе перехватывают системные функции. Если несколько программ одновременно контролируют одни и те же операции, их действия могут мешать друг другу и вызывать зависания.

Чен сравнил это с двумя охранными фирмами, которым поручили патрулировать один этаж, но не сообщили о присутствии коллег.

Какие продукты конфликтовали и как устранили проблему, он не уточнил. В рассказе использованы вымышленные названия Fabrikam и Contoso.

Читать полностью…

Admin Guides | Сисадмин

Как настроить ротацию паролей для системных пользователей

Ротация паролей на Linux управляется через PAM и утилиту chage. Политика задаётся либо глобально через /etc/login.defs, либо точечно для каждого пользователя.

Глобальная политика

/etc/login.defs применяется ко всем новым пользователям при создании:

# /etc/login.defs
PASS_MAX_DAYS 90
PASS_MIN_DAYS 1
PASS_WARN_AGE 14


PASS_MAX_DAYS: через сколько дней пароль истекает. PASS_MIN_DAYS: минимум дней до смены, защищает от немедленной смены обратно на старый. PASS_WARN_AGE: за сколько дней предупреждать пользователя.

Для существующих пользователей login.defs не применяется задним числом, только chage:

chage -M 90 -m 1 -W 14 username


Смотрим текущую политику пользователя

chage -l username
passwd -S username


chage -l покажет даты последней смены, истечения, предупреждения и блокировки.

Применяем ко всем пользователям разом

for user in $(awk -F: '$3 >= 1000 && $3 != 65534 {print $1}' /etc/passwd); do
chage -M 90 -W 14 $user
echo "$user: $(chage -l $user | grep 'Password expires')"
done


Фильтруем по UID >= 1000 чтобы не трогать системных пользователей.

Принудительная смена при следующем входе

Если нужно сбросить пароль конкретному пользователю:

chage -d 0 username


При следующем SSH-входе система потребует сменить пароль до того как пустит в систему.

Читать полностью…

Admin Guides | Сисадмин

💬 Вопрос на собеседовании для DevOps-инженера

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Что такое CFS bandwidth control и как оно управляет CPU-ресурсами в Linux?

✅Ответ: CFS bandwidth control — это механизм планировщика Completely Fair Scheduler (CFS) для ограничения доли процессорного времени, доступного группе задач (cgroup). Он позволяет задавать квоты CPU для контейнеров и процессов, предотвращая «захват» CPU одним нагрузочным процессом.

Как это работает:
• Задаётся период (cpu.cfs_period_us) и квота (cpu.cfs_quota_us).
• Планировщик распределяет CPU среди процессов так, чтобы группа не превышала выделенную квоту за период.
• Если квота исчерпана, процессы группы ждут до следующего периода, а остальные задачи продолжают выполняться.

Читать полностью…
Subscribe to a channel