👩‍💻 Команда fd — быстрая и удобная альтернатива find

fd — это современная, быстрая и удобная альтернатива стандартной команде find. Она делает то же самое — ищет файлы и каталоги, — но проще в использовании, работает быстрее и выдает чистый, цветной, читаемый вывод.

⚙️ Установка

В большинстве дистрибутивов Linux fd доступна в официальных репозиториях:

sudo apt install fd-find    # Для Debian/Ubuntu  
sudo dnf install fd-find    # Для Fedora  
sudo pacman -S fd           # Для Arch Linux  

⚙️ Синтаксис:

fd [паттерн] [директория]

⚙️ Базовое использование

1️⃣ Поиск по имени файла:

fd filename

Найдёт все файлы, имя которых содержит “filename”.

2️⃣ Поиск по шаблону:

fd 'pattern'

Поддерживаются регулярные выражения для шаблонов.

3️⃣ Поиск в определённой директории:

fd filename /path/to/dir

4️⃣ Исключение бинарных файлов (по умолчанию):

fd 'filename'

fd ищет только в текстовых файлах, игнорируя двоичные.

5️⃣ Поиск по типу файлов:
• Только файлы: fd -t f
• Только директории: fd -t d

6️⃣ Вывод полной информации:

fd -l

Показывает подробные пути к найденным объектам.

7️⃣ Поиск с учётом регистра:

fd -s filename

8️⃣ Пример поиска в проекте:
Найти все файлы с расширением .rs в текущем каталоге и его подкаталогах:

fd '\.rs$'

Читать полностью…

👩‍💻 Утилита symlinks

symlinks — это консольный инструмент в Linux, который помогает управлять символьными ссылками (symbolic links, или "ярлыками" в файловой системе). Она позволяет искать, проверять и исправлять ссылки в заданном каталоге.

На большинстве систем утилита ставится пакетом symlinks:

sudo apt install symlinks      # Ubuntu, Debian
sudo dnf install symlinks      # Fedora
sudo pacman -S symlinks        # Arch

⚙ Синтаксис:

symlinks [опции] [каталог]

⚙ Опции:
-c — заменить абсолютные / беспорядочные ссылки на относительные
-d — удалить битые ссылки
-o — предупреждать о ссылках между файловыми системами
-r — проверять рекурсивно подкаталоги
-s — сокращать длинные ссылки (отображаются в выводе только если не указан параметр -c)
-t — показывать, что будет сделано с помощью -c
-v — показывать подробный отчет (выводит все ссылки)

⚙ Примеры использования:

1⃣ Найти все симлинки в каталоге /usr/local/bin:

symlinks -v /usr/local/bin

Команда выведет список ссылок и покажет, какие из них "good" — рабочие, а какие "dangling" — битые (ведут в несуществующий файл).

2⃣ Проверить рекурсивно и удалить битые ссылки:

sudo symlinks -rd /opt/

3⃣ Только проверить, не изменяя ничего:

symlinks -rv /home/user/projects

⚙ Практический смысл:

🔎 Проверка целостности системы или проекта. После обновлений или чисток пакетов остаются "битые" ссылки — ведущие в никуда.
🔎 Подготовка окружения для деплоя или контейнера. При переносе проекта, создании Docker-образа или сборке пакета абсолютные пути могут сломаться (например, /home/user/... внутри контейнера не существует).
🔎 Чистка симлинков после ручной установки софта. Когда программы ставятся вручную, часто создаются симлинки в /usr/local/bin → /opt/.... После удаления директории /opt/app ссылки остаются.
🔎 Работа с большими файловыми архивами или бэкапами. При создании резервных копий с помощью rsync или копировании проекта на другой диск относительные ссылки часто "ломаются", потому что пути изменились.
🔎 Упрощение диагностики. Можно быстро увидеть, какие файлы — ссылки и куда они ведут. Это удобно, например, при разборе чужой системы или CI/CD окружения.

Читать полностью…

👩‍💻 Утилита ncdu

ncdu (NCurses Disk Usage) — это консольная утилита Linux для анализа использования дискового пространства. Она похожа на du, но имеет интерактивный, удобный интерфейс прямо в терминале.

⚙️ Установка:

sudo apt install ncdu    # Debian/Ubuntu  
sudo dnf install ncdu    # Fedora  
sudo pacman -S ncdu      # Arch


ncdu показывает, какие каталоги и файлы занимают больше всего места на диске, и позволяет:

✔️ быстро перемещаться по дереву каталогов,
✔️ сортировать по размеру,
✔️ удалять файлы прямо из интерфейса,
✔️ искать, что «съедает» место.

Результаты сканирования можно сохранить в файл (ncdu -o out.json) и потом просмотреть (ncdu -f out.json).

⚙️ Примеры использования

1️⃣ Анализ текущего каталога. Просто запустите ncdu без параметров, чтобы проанализировать текущий каталог:

ncdu

2️⃣ Анализ конкретного каталога. Укажите путь к каталогу, который хотите проанализировать:

ncdu /var/log

3️⃣ Исключение определённых файлов или каталогов. Если вы хотите исключить определённые файлы или каталоги из анализа, используйте опцию --exclude:

ncdu --exclude '*.log' /var/log

4️⃣ Сканирование удалённого сервера через SSH. Вы можете использовать ncdu для сканирования дискового пространства на удалённом сервере через SSH:

ssh user@remote-server "ncdu /"

Читать полностью…

🚀 Перемещайся по файловой системе молниеносно: CDPATH

Многие знают про:

🔴 автодополнение по TAB,
🔴 ~ для домашнего каталога,
🔴 cd - — переключение между текущей и предыдущей папками:

$ cd -
/home/xoadmin/Documents
$ cd -
/home/xoadmin/Music

Но если вы часто работаете с одними и теми же каталогами, вводить длинные пути быстро надоедает.

💭 Проблема

Допустим, вы часто заходите в каталог
/home/smith/Family/Memories/Photos

Чтобы попасть туда, каждый раз приходится писать:

cd ~/Family/Memories/Photos

А хотелось бы просто:

cd Photos

Однако, если в текущей папке нет подкаталога Photos, Bash выдаст:

bash: cd: Photos: No such file or directory

📎 Решение: CDPATH

Переменная CDPATH говорит Bash, где ещё искать каталоги при выполнении cd.

CDPATH=$HOME/Family/Memories

Теперь, где бы вы ни находились:

$ pwd
/etc
$ cd Photos
/home/smith/Family/Memories/Photos

Работает!

🙂 Несколько путей

Можно указать сразу несколько мест (через двоеточие):

CDPATH=$HOME:$HOME/Projects:$HOME/Family/Memories:/usr/local

Bash будет проверять их по порядку. Первое совпадение — и переход произойдёт именно туда.

⚙️ Постоянная настройка

Чтобы не прописывать CDPATH вручную при каждом запуске терминала, добавьте строку в ~/.bashrc (для конкретного пользователя) или /etc/profile (для всех пользователей системы).

export CDPATH=$HOME:$HOME/Sources:/usr/local

🔍 Пример из практики

Пусть у вас есть каталог ~/Sources, где хранятся проекты:

echo $CDPATH
/home/xoadmin/Sources

Теперь:

$ pwd
/home/xoadmin/Music
$ cd picom
/home/xoadmin/Sources/picom

Без лишнего ввода — просто cd picom.

⚠️ Пара моментов

Если каталог найден через CDPATH, cd выведет полный путь:

$ cd Photos
/home/smith/Family/Memories/Photos

Это нормально — просто признак, что каталог был найден не в текущей директории.

Текущее место (.) можно тоже включить в CDPATH, чтобы cd вела себя стандартно:

export CDPATH=.:$HOME/Projects

🟢 В сухом остатке

CDPATH — это как "умный поиск" для cd. Если вы часто прыгаете между проектами, архивами или каталогами с данными, он экономит десятки нажатий и делает навигацию в консоли почти мгновенной.

Читать полностью…

👩‍💻 Передача файлов с помощью scp

Команда scp используется для безопасного копирования файлов между локальным компьютером и удаленным сервером, а также между двумя удаленными серверами, используя протокол SSH. Она позволяет передавать файлы и каталоги по зашифрованному каналу, что гарантирует конфиденциальность данных.

⚙️ Синтаксис:

scp [опции] <источник> <назначение>

⚙️ Примеры использования

⏺ Копирование файла на удалённый сервер:

scp file.txt user@remote_host:/path/to/destination  

⏺ Скачивание файла с сервера:

scp user@remote_host:/path/to/file.txt ./  

⏺ Передача директории:

scp -r папка user@remote_host:/path/to/destination  

-r — ключ для копирования директории

⏺ Указание порта SSH:

Если вдруг используется нестандартный порт, мы можем его передать установив флаг -P:

scp -P 2222 file.txt user@remote_host:/path/to/destination 

📥 Для оптимизации передачи больших файлов можно их сжать с помощью флага -C.

Читать полностью…

Для вывода определенных столбцов текстовых файлов удобно пользоваться командой awk:

awk '{print $2, $5}' data.txt

Эта команда покажет второй и пятый столбцы. Отлично подходит для логов и CSV без кавычек.

#вопросы

Читать полностью…

💡 Использование опций команды apt-get для очистки системы

Большинство из нас, работающих с системами на базе Debian, регулярно используют команду apt-get для установки и обновления пакетов. Но как часто мы задумываемся об очистке системы?

Давайте рассмотрим три полезные команды для очистки ненужных файлов: apt-get clean, apt-get autoclean и apt-get autoremove.

1️⃣ apt-get clean

Команда apt-get clean очищает локальный репозиторий от извлеченных файлов пакетов, находящихся в каталоге /var/cache/apt/archives/. Она удаляет все файлы пакетов, кроме файлов блокировки и пустых подкаталогов.

Эта команда полезна для освобождения дискового пространства, особенно если вы часто устанавливаете и удаляете пакеты.

Например, до выполнения команды apt-get clean в каталоге /var/cache/apt/archives/ могут находиться следующие файлы:

/var/cache/apt/archives/db6.1-util_6.1.27+dfsg1-0.7ubuntu2_amd64.deb
/var/cache/apt/archives/db-util_2%3a6.121~exp1ubuntu1_all.deb
/var/cache/apt/archives/lock
/var/cache/apt/archives/postfix_3.4.6-2ubuntu2_amd64.deb
/var/cache/apt/archives/sasl2-bin_2.2.25+dfsg-1build2_amd64.deb

После выполнения команды sudo apt-get clean этот каталог будет очищен, и оставлены будут только файлы блокировки и пустые подкаталоги.

2️⃣ apt-get autoclean

Команда apt-get autoclean похожа на clean, но она удаляет только те пакеты, которые больше не могут быть загружены из репозиториев и, следовательно, больше не нужны. Это предотвращает переполнение кэша устаревшими файлами.

Выполнение следующей команды очистит кэш от бесполезных пакетов, оставляя только актуальные и доступные для загрузки файлы:

sudo apt-get autoclean

3️⃣ apt-get autoremove

Команда apt-get autoremove удаляет пакеты, которые были установлены автоматически как зависимости для других пакетов, но теперь больше не требуются.

Использование этой команды после удаления пакетов помогает поддерживать чистоту системы и предотвращает накопление ненужных файлов.

Пример использования:

sudo apt-get autoremove

После выполнения команды вы увидите список пакетов, которые больше не нужны, например:

The following packages were automatically installed and are no longer required:
g++-8 gir1.2-mutter-4 libapache2-mod-php7.2 libcrystalhd3
libdouble-conversion1 libgnome-desktop-3-17 libigdgmm5 libllvm8
liblouisutdml8 libmutter-4-0 libmysqlclient20 libpoppler85 linsydc++-8-dev
libtagc0 libvpx5 libx265-165 php7.2 php7.2-cli php7.2-common php7.2-json
php7.2-opcache php7.2-readline
Use 'sudo apt-get autoremove' to remove them.

🔥 Эти простые команды помогут вам поддерживать вашу систему на базе Debian в чистоте и порядке, освобождая дисковое пространство и оптимизируя работу системы.

Читать полностью…

Комбинация find, du и sort позволит найти 10 самых "тяжёлых" файлов с путями и размерами.

find . -type f -exec du -h {} + | sort -rh | head -n 10

#вопросы

Читать полностью…

🔥 Разница между su и su -

Ни для кого не секрет, что Linux - система, с которой можно работать от разных пользователей. Сегодня я запускаю сессию от Паши, завтра от Пети.

Когда вы в сессии открываете терминал, стартует оболочка, которая подстраивает окружение под конкретного юзера: выполняет скрипты, определяет переменные.

Бывает, приходится, работая в сессии одного пользователя, переключиться на другого, например, чтобы использовать ресурсы, ограниченные правами доступа. Для этого мы используем команду su (substitute user), которая позволяет сменить пользователя в текущей оболочке:

$ su vasya

После выполнения команды создастся дочерняя оболочка, которая переймет все переменные окружения родителя, определит пользовательские (USER, HOME ...) и выполнит локальные "Васины" скрипты: /home/vasya/.bashrc и т.д.:

$ export USER1VAR="vasya"

$ su xoadmin
$ printenv | grep USER
USER=xoadmin
USER1VAR=vasya

Какая-то каша выходит. Половина Васиных переменных, половина юзера xoadmin. Такой способ полезен, когда нам нужно быстро поменять пользователя и не требуется его окружение в изначальном виде.

Если нужно полностью воссоздать среду, как при чистом входе в систему, следует использовать su -:

$ su - xoadmin

Окружение родителя мы не наследуем и запускаем оболочку типа "login shell", которая выполнит дополнительные скрипты инициализации "/etc/profile", "~/.bash_profile".

Также, когда мы используем su -, наш рабочий каталог переключается на домашний для целевого пользователя. Мелочь, но факт:

$ pwd
/home/vasya/Music
$ su - xoadmin
$ pwd
/home/xoadmin

Читать полностью…

👩‍💻 Команды apt и apt-get

Это две команды, предназначенные для установки, удаления и обновления программного обеспечения на системе.

✅ apt-get

apt-get - это одна из первых команд, использовавшихся для управления пакетами в системах Debian и Ubuntu.

🟩 Преимущества apt-get:

✔️ Широкая поддержка. apt-get является стандартной командой для управления пакетами в Debian и Ubuntu, что делает ее широко распространенной и надежной.
✔️ Подробные выводы. При выполнении команд apt-get выводит подробную информацию о процессе установки или удаления пакета, что позволяет пользователям следить за процессом.

🟧 Недостатки apt-get:

✔️ Медленное обновление индексов пакетов. apt-get иногда может работать медленно из-за обновления индексов пакетов перед выполнением команды.
✔️ Неудобство в использовании. Использование apt-get требует ввода длинных команд, что может быть неудобно для новичков.

✅ apt

apt - это более новая команда, предназначенная для упрощения управления пакетами в системах Debian и Ubuntu.

Она является частью более современного инструмента APT (Advanced Package Tool), который объединяет несколько функций в одном интерфейсе.

🟩 Преимущества apt:

✔️ Упрощенное использование. apt предоставляет более простой и интуитивно понятный интерфейс для управления пакетами, что делает его более удобным в использовании.
✔️ Более быстрое обновление индексов пакетов. apt автоматически обновляет индексы пакетов перед выполнением команды, что уменьшает время ожидания пользователя.

🟧 Недостатки apt:

✔️ Менее подробные выводы. При выполнении команд apt вывод может быть менее подробным по сравнению с apt-get, что затрудняет отслеживание процесса установки или удаления пакета.
✔️ Ограниченная поддержка сторонних репозиториев. apt может иметь ограниченную поддержку сторонних репозиториев по сравнению с apt-get, хотя это не так часто встречается.

Читать полностью…

❓ Как удалить список файлов, сгенерированный другой командой?

Ответ через час.

#вопросы

Читать полностью…

👩‍💻 Полезные опции команды curl

Команда curl — одна из самых мощных и часто используемых утилит в Linux. Она предназначена для отправки запросов по различным интернет-протоколам (HTTP, HTTPS, FTP и др.) прямо из терминала.

В большинстве дистрибутивов curl уже предустановлен.

⚙️ Примеры использования

⏺Указание времени выполнения команды
Некоторые операции выполняются бесконечно, что может привести к зависанию системы. Чтобы прервать выполнение команды cURL по истечении определенного времени, можно установить таймер (время указывается в секундах):

$ curl -m 60 example.com



Также есть возможность указать, в течении какого времени держать соединение активным. Это позволит избежать бесконечных попыток соединения с недоступным узлом.

Эта опция тоже в качестве аргумента принимает значение в секундах. А команда выглядит так:

$ curl --connect-timeout 60 example.com



⏺Указание логина и пароля
Утилита cURL позволяет указывать имя пользователя и пароль при подключении. Чаще всего это нужно при аутентификации на FTP-сервере. Для этого используется ключ -u.

$ curl -u username:password ftp://example.com



Данную опцию можно использовать с любым протоколом, но FTP является самым распространённым для простой передачи файлов.

Если нужно скачать файл, запускаем ту же команду, только указываем полный путь к нужному документу:

$ curl -u username:password ftp://example.com/readme.txt



⏺Использование прокси
cURL можно указать, чтобы подключение выполнялось через прокси-сервер. По умолчанию curl использует HTTP-прокси, но можно указать и другие. Чтобы направить трафик через прокси, используется ключ -x.

$ curl -x 192.168.1.1:8080 http://example.com



Данная команда обязует cURL подключиться к прокси по адресу 192.168.1.1 на порту 8080 перед обращением на example.com

Прокси можно использовать и с другими протоколами. Ниже показан пример использования прокси-сервера для получения файла с FTP-сервера.

$ curl -x 192.168.1.1:8080 ftp://example.com/readme.txt

Читать полностью…

❓ Как посмотреть, какие процессы занимают больше всего памяти?

Ответ через час.

#вопросы

Читать полностью…

👩‍💻 Команда read в Linux

Команда read в Linux используется для чтения ввода от пользователя или из стандартного потока и сохранения его в переменные. Она особенно полезна в скриптах, когда нужно запросить у пользователя данные.

⚙️ Синтаксис:

read [опции] переменные

⚙️ Опции:
-p "текст" — выводит приглашение перед вводом.
-t <сек> — ограничение по времени (таймаут ожидания ввода).
-n <число> — считать только указанное количество символов (без ожидания Enter).
-s — скрытый ввод (подходит для паролей).
-a массив — сохраняет слова ввода в массив.
-r — отключает спецсимволы обратной косой черты (\).

Если команде read не задан аргумент, вся строка присваивается переменной REPLY:

echo "Hello, world!" | (read; echo "$REPLY")

⚙️ Примеры использования:

1️⃣ Простая приостановка с ожиданием нажатия любой клавиши:

read -p "Press any key to continue " -n 1

2️⃣ Добавление временного ограничения с автоматическим продолжением:

read -p "Press any key to continue (autocontinue in 30 seconds) " -t 30 -n 1

3️⃣ Создание цикла для более сложной логики управления выполнением:

REPLY=""
until [ "$REPLY" = "y" ]; do
  # executing some command
  read "Press 'y' to continue or 'n' to break, any other key to repeat this step" -n 1
  if [ "$REPLY" = 'n' ]; then exit 1; fi
done

4️⃣ Скрытый ввод (например, пароль):

read -s -p "Введите пароль: " password
echo "Is your password really $password? "

5️⃣ Чтение в массив:

read -a words
echo "Первое слово: ${words[0]}"
echo "Второе слово: ${words[1]}"

Если ввести Linux Bash, массив words будет содержать ["Linux", "Bash"].

Читать полностью…

❓ Как быстро узнать, где находится исполняемый файл любой команды?

Ответ через час.

#вопросы

Читать полностью…

👩‍💻 Команда lsof

В Linux всё — это файл: обычные файлы, сокеты, устройства, каталоги, процессы. "lsof" расшифровывается как List Open Files — "список открытых файлов".

Соответвенно, команда lsof позволяет просматривать информацию об открытых файлах и связанных с ними процессах:

✔️ какие файлы, сокеты и порты открыты
✔️ каким процессом они используются
✔️ кто блокирует нужный файл
✔️ что "занимает" устройство, диск или порт

Эта утилита вам пригодится, если вы сталкиваетесь с ошибками доступа к файлам, например, при монтировании, удалении или использовании разделов.

⚙️ Синтаксис:

lsof [опции]

⚙️ Примеры использования

1️⃣ Проверить, кто занимает порт.

lsof -i :80

Покажет процесс (PID), который слушает порт 80.

2️⃣ Найти процесс, держащий файл "занятым".

lsof /path/to/file

Если файл нельзя удалить или смонтировать диск — это поможет выяснить, кто его использует.

3️⃣ Проверить активные сетевые соединения.

lsof -i

Выведет список всех TCP/UDP подключений (локальные и удалённые адреса, PID, программа).

4️⃣ Найти удалённые, но не освобождённые файлы.

lsof +L1

Полезно, если диск "заполнен", но место не освобождается — это покажет процессы, держащие "удалённые" файлы открытыми.

5️⃣ Вывести все файлы, открытые процессом.

lsof -p 1234

Покажет, какие файлы, сокеты и устройства открыты у процесса с PID 1234.

6️⃣ Посмотреть, кто использует каталог.

lsof +D /var/log/

Полезно при попытке размонтировать диск или директорию — можно увидеть, кто удерживает файлы внутри.

Читать полностью…

👩‍💻 Утилита форматирования column

column — это небольшая, но очень удобная консольная команда Linux, предназначенная для форматирования текста в столбцы.

column берет текстовый ввод (обычно строки, разделённые пробелами, табами или другим символом) и выравнивает его в табличный формат.

Это особенно удобно при работе с командами вроде cat, awk, grep, ls, mount, ps и др.

⚙️ Синтаксис:

column [опции] [файл]

⚙️ Основные флаги:

-t — создаёт таблицу, выравнивая столбцы по ширине (самый частый вариант)
-s <символ> — указывает разделитель полей (по умолчанию — пробел или таб)
-n — не объединяет несколько разделителей, идущих подряд (считает их отдельными)
-c <число> — устанавливает максимальную ширину вывода
-x — заполняет таблицу построчно, а не по столбцам
-o <строка> — задаёт строку-разделитель между столбцами

⚙️ Примеры использования:

1️⃣ Форматирование вывода в таблицу

cat /etc/passwd | column -t -s :

Разделитель в файле /etc/passwd — двоеточие, поэтому с -s : получаем аккуратную таблицу пользователей.

2️⃣ Использование с выводом других команд

ls -l | column -t

Выравнивает стандартный "грязный" вывод ls -l в читаемые столбцы.

3️⃣ Выравнивание CSV-файла

cat data.csv | column -t -s ,

Преобразует CSV-файл в выровненную таблицу прямо в терминале.

4️⃣ Форматирование вывода mount

mount | column -t

Вывод монтированных файловых систем становится удобнее для восприятия.

5️⃣ Таблица из произвольного списка
echo -e "Name Score\nAlice 90\nBob 85\nCarol 95" | column -t
Создаёт простую таблицу с двумя выровненными столбцами:

Name   Score
Alice  90
Bob    85
Carol  95

Читать полностью…

170+ вакансий, где упоминается «Linux” : https://talanto.work/jobs/25417942-422f-482e-a0a8-b926e4645104


Посмотреть все вакансии: https://talanto.work/?sort=newest&period=month&offset=0&search_in=title&q=Linux

Читать полностью…

🔥 Уменьшение размера лог-файлов

В обычном состоянии, если приложение запущено и пишет в лог файл, его не рекомендуется удалять, поскольку в *nix, открытый файловый дескриптор связан не с именем файла, а с iNode.

И если мы удалим лог-файл, приложение может не начать писать в новый файл с нуля, а продолжать писать в старый, который для нас уже будет недоступен по имени (мы же его удалили). Затем, когда приложение остановится и закроет дескриптор, данные удалятся с файловой системы.

(Большинство программ при записи в лог каждый раз открывают и закрывают файл, и тогда этой проблеме они не подвержены).

Поэтому очистку файла следует делать либо так (очистим файл, не удаляя его):

> application.log

Либо так (файл будет урезан до указанного размера):

truncate --size=1M application.log

Но эта команда именно урежет, т.е. в файле останутся старые данные, а свежие как раз и будут урезаны.

Поэтому можно делать вот так, сохраняя последние 1000 строк:

echo "$(tail -n 1000 application.log)" > application.log

Читать полностью…

Инженеры перебрали... Linux-кейсов 🤩

23 апреля K2 Cloud и K2Тех проведут онлайн - митап — pебята будут разбирать реальные инженерные кейсы из практики про поломанный SSH, обновление ядер, поломку сети в ВМ и балансировщики с одинаковыми конфигами, но разными результатами.

А ещё можно принести свой кейс на разбор и получить приз.

Подробности и регистрация по ссылке.

Читать полностью…

❓ Как вывести только определённые столбцы из текстового файла?

Ответ через час.

#вопросы

Читать полностью…

👩‍💻 Команда gzip в Linux

gzip — это стандартная утилита в Linux для сжатия и распаковки файлов. Она уменьшает размер файлов, экономит место и ускоряет передачу данных по сети. Поддерживает разные уровни сжатия (от -1 — быстро до -9 — максимально).

gzip применяется для уменьшения размеров логов и бэкапов, упаковки результатов сборки, сжатия данных перед передачей по сети, автоматических задач (cron, CI/CD).

В этом посте мы рассмотрим несколько сценариев использования gzip.

🐧 Сжатие с оптимизацией. Чтобы сжать файл с максимальной степенью сжатия, выполните:

gzip -9 имя_файла

Это удобно для критических случаев, где важнее уменьшить размер файла, чем скорость обработки.

🐧 Сжатие через стандартный ввод. Команда gzip может сжимать данные не только из файлов, но и через стандартный ввод. Например, можно сжать вывод другой команды:

mysqldump имя_базы_данных | gzip > backup.sql.gz

Эта команда создаст резервную копию базы данных, одновременно сжимая её, что особенно полезно для экономии места при больших базах.

🐧 Использование нескольких процессоров: pigz. Классический вариант gzip использует только одно ядро процессора для сжатия. Но можно воспользоваться параллельной версией утилиты — pigz. Эта версия распределяет задачу сжатия на несколько ядер, что значительно ускоряет процесс:

pigz имя_файла

pigz поддерживает все те же параметры, что и gzip, но работает быстрее на многоядерных системах.

🐧 Просмотр содержимого сжатого файла. Чтобы просмотреть статистику сжатого файла без его распаковки, используйте команду:

gzip -l имя_файла.gz

Вывод покажет размер до и после сжатия, степень сжатия и имя исходного файла. Для более детализированного отчета добавьте параметр -v:

gzip -lv имя_файла.gz

Это полезно для оценки эффективности сжатия файлов перед их распаковкой.

🐧 Рекурсивное сжатие/распаковка файлов. Для сжатия всех файлов в каталоге и его подкаталогах используйте рекурсивную опцию -r:

gzip -r имя_каталога

Эта команда пройдется по всей структуре каталога и сожмет каждый файл.

Чтобы распаковать все файлы в каталоге рекурсивно, используйте:

gzip -dr имя_каталога

🐧 Работа с архивами tar.gz. Часто gzip используется вместе с командой tar. Например:

tar -czf архив.tar.gz имя_каталога

Здесь -c создает архив, -z указывает на использование сжатия через gzip, а -f определяет имя файла архива.

Для распаковки архива:

tar -xzf архив.tar.gz

🐧 Пример эффективного сжатия данных

Сжать лог-файлы перед отправкой по сети:

cat /var/log/syslog | gzip -9 | nc -w 3 192.168.1.10 8888

Эта команда сжимает лог и отправляет его по сети с помощью netcat.

Читать полностью…

❓ Как быстро узнать, какой файл в каталоге самый большой?

Ответ через час.

#вопросы

Читать полностью…

🎥 Вебинар по Linux: С Windows на Linux: первый шаг системного администратора

На вебинаре вы узнаете:
- В чем принципиальные отличия Linux и Windows
- Какие базовые команды нужны для работы в консоли Linux
- Как устроена файловая система Linux и где искать нужные файлы


В результате вебинара вы:
- Научитесь выполнять базовые команды в терминале Linux
- Поймете структуру файловой системы и принципы работы с файлами
- Сможете устанавливать программы и управлять пакетами
- Разберетесь, как адаптироваться к Linux после Windows


👉 Для участия зарегистрируйтесь: https://vk.cc/cUMPNt

🎁 Все участники вебинара получат специальные условия на полное обучение курса "Administrator Linux. Basic"

Курс создан для тех, кто хочет перейти от случайного опыта к уверенной работе с сервером. Вы освоите основы операционной системы, научитесь работать в Bash, поймёте, как устроены сети, научитесь запускать веб-сервисы, работать с MySQL, Docker, Git, Prometheus и Grafana. Это фундамент, без которого невозможен дальнейший рост.


👉 Повысить свои навыки:  https://vk.cc/cUMPUk


Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Читать полностью…

Утилита xargs в Unix-подобных операционных системах считывает данные из стандартного ввода и использует их для построения и выполнения команд. С ее помощью можно, например, удалить список файлов, полученный от другой команды:

ls *.log | xargs rm

Так можно удалить все файлы, найденные предыдущей командой. Работает с find, grep и многими другими.

Конечно, если список можно выразить шаблоном, то проще всего передать шаблон команде rm:

rm *.log
rm file{1..100}.txt

Это не требует промежуточных команд и работает мгновенно.

Но xargs тоже может пригодиться. Например, можно удалить только те файлы, имена которых содержат определённое слово:

ls | grep "temp" | xargs rm

Можно использовать и более сложные фильтры, включая регулярные выражения.

Если установлен fzf, можно удалять файлы выборочно:

ls | fzf -m | xargs -r rm

Вы получаете список файлов, выбираете нужные пробелом, и xargs их удаляет. Очень удобно.

#вопросы

Читать полностью…

🔥 Расширенные права доступа (ACL) в Linux

Обычная модель прав в Linux проста: есть владелец, группа и все остальные. Для большинства случаев этого хватает, но не всегда.

А что если нужно, чтобы user1 и user2 имели разные права к одному и тому же файлу? Или чтобы у определённого пользователя был доступ только к подкаталогу?
Тут на сцену выходит ACL — Access Control List.

✔️ Что такое ACL

ACL позволяет задавать права не только для владельца и группы, а для любого пользователя или группы. Это похоже на “дополнительный слой” поверх обычных разрешений.

🔍 Проверка наличия ACL

Посмотрим на файл:

ls -l report.txt
-rw-r-----+ 1 marina staff 2048 Oct 22 11:20 report.txt

Плюсик + после прав (rw-r-----+) говорит, что у файла есть ACL.

Подробнее:

getfacl report.txt

Результат может выглядеть так:

# file: report.txt
# owner: marina
# group: staff
user::rw-
user:john:r--
group::r--
mask::r--
other::---

Мы видим, что кроме владельца и группы, есть отдельная запись для пользователя john.

✏️ Назначение ACL

Выдать пользователю john права на чтение файла:

setfacl -m u:john:r file.txt

Выдать группе designers права на запись:

setfacl -m g:designers:rw file.txt

❌ Удалить конкретную запись ACL:

setfacl -x u:john file.txt

Сбросить все расширенные права (оставив только базовые chmod-права):

setfacl -b file.txt

🗂 Установка ACL по умолчанию для каталога

ACL можно "прикрепить" к каталогу, чтобы новые файлы наследовали права автоматически.

Пример: всем пользователям группы team разрешить читать и писать в каталог /srv/docs:

setfacl -d -m g:team:rw /srv/docs

Теперь любой файл, созданный внутри /srv/docs, получит те же права.

🟢 Полезно знать

mask в выводе getfacl — это "ограничитель" максимальных разрешений ACL. Даже если пользователю выданы права rwx, но в качестве mask стоит rw-, то выполнение будет заблокировано.

Маску можно менять отдельно:

setfacl -m m:rw file.txt

⚙️ Пример из жизни

Пусть в /var/www/project лежит сайт, над которым работают два человека: admin и editor. Админ имеет полный доступ, а редактор — только чтение и запись контента:

chown -R admin:admin /var/www/project
setfacl -R -m u:editor:rw /var/www/project/content
setfacl -d -m u:editor:rw /var/www/project/content

Первая команда setfacl назначает права доступа для уже существующих файлов и каталогов в /var/www/project/content. Вторая устанавливает шаблон прав, который унаследуют будущие файлы и папки, созданные в /var/www/project/content.

Теперь editor сможет редактировать файлы в /content (в том числе и все созданные в дальнейшем), но не затронет код приложения.

Читать полностью…

Чтобы выявить процессы, занимающие больше всего памяти, используйте ps, sort и head:

ps -eo pid,comm,%mem --sort=-%mem | head

Этот конвейер выводит PID, команду и процент использования памяти. Можно заменить %mem на %cpu, чтобы отсортировать по загрузке процессора.

#вопросы

Читать полностью…

ℹ️ Системные логи Linux

Системные логи, которые часто можно найти в директории /var/log на системах Linux, являются важным инструментом для мониторинга и устранения проблем в системе. Вот краткие заметки о некоторых распространённых системных логах:

🟣 syslog: Лог общего назначения, который содержит сообщения от различных системных служб и приложений. Это основной файл журнала, в который поступают сообщения из многих других логов.

🟣 auth.log: Записывает сообщения, связанные с аутентификацией, включая успешные и неудачные попытки входа, изменения паролей и события аутентификации пользователей.

🟣 kern.log: Записывает сообщения, относящиеся к ядру системы, такие как ошибки оборудования, загрузка модулей ядра и другие активности ядра.

🟣 messages: Универсальный лог-файл, который записывает различные системные сообщения, включая старты и завершения работы системы, а также другие события, связанные с системой.

🟣 dmesg: Отображает сообщения из кольцевого буфера ядра, предоставляя реальный временной обзор событий, связанных с ядром, и обнаружением оборудования во время загрузки системы.

🟣 cron: Записывает сообщения, связанные с заданиями cron и запланированными задачами, включая время их выполнения и ошибки, возникшие при их выполнении.

🟣 secure: Записывает сообщения, связанные с безопасностью, включая попытки аутентификации, повышение привилегий и другие события безопасности.

🟣 apache/access.log и apache/error.log: Логи, специфичные для веб-сервера Apache. access.log записывает логи HTTP-доступа, а error.log фиксирует ошибки и предупреждения сервера Apache.

🟣 nginx/access.log и nginx/error.log: Подобные логам Apache, эти логи специфичны для веб-сервера Nginx и записывают события доступа и ошибки.

🟣 mysql/error.log: Записывает ошибки и предупреждения, возникшие у сервера базы данных MySQL, включая ошибки при старте, сбои запросов и сбои баз данных.

Эти логи предоставляют ценную информацию о производительности системы, событиях безопасности и помогают при устранении проблем.

Регулярный мониторинг и анализ этих логов помогают поддерживать здоровье системы и выявлять потенциальные проблемы до того, как они перерастут в серьёзные.

Читать полностью…

Чтобы посмотреть, где находится исполняемый файл любой команды, используйте which:

which python

Команда покажет полный путь к программе, которую запускает система при вводе этого имени.

#вопросы

Читать полностью…

🔥 Как сделать так, чтобы выполненные команды не записывались в историю

В Linux есть несколько способов не записывать команду в историю — в зависимости от того, нужно ли исключить одну конкретную команду, определённый тип команд или вообще ничего не сохранять в истории.

1️⃣ Пропустить конкретную команду

Самый простой и распространённый способ — поставить пробел в начале команды.

 ls -la # Перед ls стоит пробел

⚠️ Важно: это работает, если переменная HISTCONTROL содержит ignorespace.
Проверить можно так:

echo $HISTCONTROL

Если видите что-то вроде ignoredups:ignorespace или ignoreboth, значит всё ок. Если нет — можно добавить:

export HISTCONTROL=ignoredups:ignorespace

Теперь все команды, начинающиеся с пробела, не попадут в ~/.bash_history.

2️⃣ Не сохранять конкретную команду с помощью HISTIGNORE

Можно задать шаблоны, которые Bash не будет сохранять вовсе.

export HISTIGNORE="ls:pwd:exit"

Теперь указанные команды исчезнут из истории независимо от того, как их вызывать.

Шаблон может содержать *:

export HISTIGNORE="ls *:cd *"

Всё, что начинается с ls или cd, будет игнорироваться.

3️⃣ Удалить команду из истории

Если команда уже выполнена, можно стереть её "задним числом". Для этого можно сперва посмотреть ее номер в истории, а затем удалить, указав этот номер:

history
history -d <номер>

⚠️ При работе в Bash история выполненных команд хранится в двух местах:

🔴 В памяти — это текущая сессия (то, что вы видите, выполняя history)
🔴 В файле ~/.bash_history — это сохранённая история, которая перезаписывается при выходе из shell.

При удалении команды из истории с помощью history -d <номер> Bash удаляет запись с указанным номером только из памяти. Если на этом остановиться и просто выйти из терминала, старая история из файла может перезаписать изменения, и команда вернётся.

Чтобы принудительно обновить файл на диске после удаления команды из истории, используйте опцию -w (write):

history -w

Это гарантирует немедленное применение изменений, что особенно важно, если вы не планируете закрывать терминал в ближайшее время.

Чтобы избежать появления в истории самой команды history -d, можно объединить несколько команд в одну строку:

history -d $((HISTCMD-1)); history -w

Т.о., полностью удаление команды будет выглядеть так:

history  # Найти номер команды
history -d <номер>  # Удалить команду по номеру
history -d $((HISTCMD-1)); history -w  # Удалить из истории саму команду history -d и перезаписать файл истории

4️⃣ Отключить запись истории целиком

Если нужно поработать "в тени", можно временно отключить запись:

set +o history   # выключить запись в историю
set -o history   # включить обратно

Читать полностью…