Перейти к основному содержимому

Искусство командной строки

Продвинутому использованию командной строки зачастую не уделяют достаточного внимания. О терминале говорят как о чем-то мистическом. На самом же деле, это умение очевидно (и не очевидно) увеличивает Вашу продуктивность в работе. Данный документ является подборкой заметок и советов, которые я нашел для себя полезными, работая с командной строкой в Linux. Некоторые из них – простые и очевидные, но некоторые - довольно сложные. И предназначены для решения конкретных задач. Это небольшая публикация, но если Вы уже знаете обо всем, что тут написано, и можете вспомнить, как это все использовать – вы много знаете!

Этот гайд является результатом работы большого числа авторов и переводчиков Многое из того, что тут написано, изначально появилось на Quora, начав идею там, похоже, что стоит развить ее на Github, где обитают люди, которые талантливее меня и могут предлагать улучшения данной подборки. Если Вы заметили ошибки (во всех вариантах перевода), пожалуйста оставьте тикет или добавьте пулл-реквест (заранее изучив описание и посмотрев на уже созданнные тикеты и пулл-реквесты).

Описание​

Основное:

  • Данная публикация предназначена как для новичков, так и для опытных людей. Цели: объемность (собрать все важные аспекты использования командной строки), практичность (давать конкретные примеры для самых частых юзкейсов) и краткость (не стоит углубляться в неочевидные вещи, о которых можно почитать в другом месте).
  • Этот документ написан для пользователей Linux, за исключеним секций "OS X only" и "Windows only". Все остальное подходит и может быть установлено под все UNIX/OS X системы (и даже Cygwin).
  • Фокусируемся на интерактивном Баше, но многие вещи также могут быть использованы с другими шеллами; и в общем применимы к Баш-скриптингу.
  • Эта инструкция включает в себя стандартные Unix команды и те, для которых нужно устанавливать сторонние пакеты. Они настолько полезны, что стоят того, чтобы их установили.

Заметки:

  • Для того, чтобы руководство оставалось одностраничным, вся информация вставлена прямо сюда. Вы достаточно умные для того, чтобы самостоятельно изучить вопрос более детально в другом месте. Используйте apt-get, yum, dnf, pacman, pip или brew (в зависимости от вашей системы управления пакетами) для установки новых программ.
  • На Explainshell можно найти простое и подробное объяснение того, что такое команды, флаги, пайпы и т.д.

Основы​

  • Выучите основы Баша. Просто возьмите и напечатайте man bash в терминале и хотя бы просмотрите его; он довольно просто читается и он не очень большой. Другие шеллы тоже могут быть хороши, но Баш – мощная программа, и Баш всегда под рукой (использование исключительно zsh, fish и т.д., которые наверняка круто выглядят на Вашем ноутбуке, во многом Вас ограничивает, например, Вы не сможете использовать возможности этих шеллов на уже существующем сервере).

  • Выучите как использовать хотя бы один консольный редактор текста. Идеально Vim (vi), ведь у него нет конкурентов, когда вам нужно быстренько что-то подправить (даже если Вы постоянно сидите на Emacs/какой-нибудь тяжелой IDE или на каком-нибудь модном хипстерском редакторе).

  • Знайте как читать документацию через man (для любознательных – man man; man по углам документа в скобках добавляет номер, например: 1 – для обычных команд, 5 – для файлов, конвенций, 8 – для административных команд). Ищите мануалы через apropos, и помните, что некоторые команды – не бинарники, а встроенные команды Баша, и помощь по ним можно получить через help и help -d. С помощью type command можно определить, чем является команда - исполняемым файлом, алиасом или встроенной командой шелла.

  • Узнайте о том, как перенаправлять ввод и вывод через > и < и пайпы |. Помните, что > переписывает выходной файл, а >> дописывает в конец. Узнайте побольше про stdout и stderr.

  • Узнайте побольше про раскрытие file glob элементов * (а также ? и {...}), кавычки, а также разницу между двойными " и одинарными ' кавычками (больше о расширении переменных читайте ниже).

  • Освойте управление процессами в Bash: &, ctrl-z, ctrl-c, jobs, fg, bg, kill и т.д.

  • Знайте ssh и основы беспарольной аутентификации через ssh-agent, ssh-add и т.д.

  • Основы работы с файлами: ls и ls -l (в частности, узнайте, что значит каждый столбец в ls -l), less, head, tail и tail -f (или даже лучше – less +F), ln и ln -s (узнайте разницу между символьными ссылками и жёсткими ссылками, и почему жёсткие ссылки лучше), chown, chmod, du (для быстрой сводки по использованию диска: du -hk *). Для менеджмента файловой системы, df, mount, fdisk, mkfs, lsblk. Узнайте что такое inodes (ls -i или df -i).

  • Основы работы с сетью: ip или ifconfig, dig.

  • Освойте работу с системой контроля версий, например, git.

  • Хорошо знайте регулярные выражения и разные флаги к grep/egrep. Такие флаги, как -i, -o, -v, -A, -B и -C стоит знать.

  • Обучитесь использованию систем управления пакетами apt-get, yum, dnf или pacman (в зависимости от дистрибутива), чтобы искать и устанавливать пакеты и обязательно имейте установленым pip для установки командных утилит, написанных на Python (некоторые из тех, что вы найдёте ниже, легче всего установить через pip).

Ежедневное использование​

  • Используйте таб в Баше для автодополнения аргументов к командам и ctrl-r для поиска по истории командной строки (после нажатия введите запрос, нажмите ctrl-r снова, чтобы найти следующее совпадение, нажмите Enter для выполнения текущей найденной команды или стрелку вправо, чтобы отредактировать команду).

  • Используйте ctrl-w в Баше для того, чтобы удалить последнее слово в команде; ctrl-u для того, чтобы удалить команду полностью. Используйте alt-b и alt-f для того, чтобы бегать между словами команды, ctrl-a и ctrl-e для того, чтобы переместиться к началу и концу строки соответственно, ctrl-k для того, чтобы удалить часть команды от текущей позиции до конца строки, ctrl-l для того, чтобы очистить экран. Гляньте на man readline, чтобы узнать о всех клавиатурных сочетаниях Баша. Их много! Например, alt-. бежит по предыдущим аргументам команды, а alt-* раскрывает глоб (globbing).

  • Если Вам нравятся клавиатурные сочетания vim, сделайте set -o vi (и set -o emacs, чтобы вернуться обратно).

  • Для редактирования длинных команд после установки другого редактора (например export EDITOR=vim), нажатие ctrl-x ctrl-e откроет текущую команду в редакторе для многострочного редактирования. Или, как в vi, escape-v.

  • Для просмотра последних команд используйте history. Повторить команду: !n (где n - порядковый номер истории). Также есть много сокращений, например, !$ (последний аргумент) и !! (последняя команда) (сверьтесь со страницей man "HISTORY EXPANSION"). Впрочем, их часто проще заменить с помощью ctrl-r и alt-..

  • Перейти в домашнюю директорию можно с помощью cd. Для указания пути к файлам из домашней директории можно воспользоваться префиксом ~ (например, ~/.bashrc). В sh скриптах для обращения к домашней директории можно использовать переменную $HOME.

  • Для того, чтобы перейти к предыдущей рабочей директории, используйте cd -.

  • Если вы написали команду наполовину и вдруг передумали, нажмите alt-# для того, чтобы добавить # к началу, и отправьте команду как комментарий (или используйте ctrl-a, #, enter). Потом вы сможете вернуться к ней через историю.

  • Не забывайте использовать xargs (или parallel). Это очень мощная штука. Обратите внимание, что вы можете контролировать количество команд на каждую строку (-L), а также параллельность (-P). Если вы не уверены, что делаете что-то правильно, начните с xargs echo. Еще -I{} – полезная штука. Примеры:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

  • pstree -p – полезный тип вывода дерева процессов.

  • Используйте pgrep или pkill для того, чтобы находить/слать сигналы к процессам по имени (-f помогает).

  • Знайте разные сигналы, которые можно слать процессам. Например, чтобы приостановить процесс, используйте kill -STOP [pid]. Для полного списка посмотрите man 7 signal.

  • Используйте nohup или disown, чтобы процесс в фоне выполнялся бесконечно.

  • Узнайте, какие процессы слушают порты через netstat -lntp или ss -plat (для TCP; добавьте -u для UDP).

  • Используйте lsof для того, чтобы посмотреть открытые сокеты и файлы.

  • Используйте uptime или w для того, чтобы узнать продолжительность работы системы.

  • Используйте alias, чтобы поименовать часто используемые команды. Например, alias ll='ls -latr' создаст новое сокращение ll.

  • Сохраняйте псевдонимы (aliases), настройки оболочки и часто используемые сокращения в ~/.bashrc, и организуйте их подгрузку. Это сделает ваши настройки доступными во всех сессиях оболочки.

  • Пропишите настройки переменных окружения и команды, которые должны быть выполнены при входе в систему в файл ~/.bash_profile. Отдельная настройка будет необходима для оболочек, которые запускаются из GUI и cron.

  • Синхронизируйте ваши конфигурационные файлы (например, .bashrc и .bash_profile) между разными компьютерами с помощью Git.

  • Помните, что необходима осторожность при работе с переменными, которые содержат пробелы. Оберните свои переменные в кавычки, например "$FOO". Предпочтительно использовать -0 или -print0 флаги, чтобы использовать нулевой символ для разделения имен файлов, например: locate -0 pattern | xargs -0 ls -al или find / -print0 -type d | xargs -0 ls -al. Для циклов, которые используют имена файлов, содержащие пробелы, установите IFS чтобы символом новой строки был только \n:IFS=$'\n'.

  • В Баш-скриптах используйте set -x (или вариант set -v, который логгирует сырой ввод, включая нераскрытые переменные и комментарии) для того, чтобы отлаживать вывод (output). Используйте строгие режимы везде, где возможно. Используйте set -e для того, чтобы прекращать выполнение при ошибках (ненулевой код возврата). Используйте set -u, чтобы определять использование неинициализированных переменных. Используйте set -o pipefail для того, чтобы строго относиться к ошибкам (это немного глубокая тема). Для более сложных скриптов также используйте trap на EXIT или ERR. Полезная привычка - начинать скрипт примерно так (это поможет обнаружить ошибки и выведет предупреждение):

      set -euo pipefail
      trap "echo 'error: Script failed: see failed command above'" ERR
  • В Баш-скриптах подоболочки (subshells) – удобный способ группировать команды. Один из самых распространенных примеров – временно передвинуться в другую рабочую директорию, вот так:
      # do something in current dir
      (cd /some/other/dir && other-command)
      # continue in original dir

  • В Баше много типов пространства переменных. Проверить, существует ли переменная – ${name:?error message}. Например, если Баш-скрипту нужен всего один аргумент, просто напишите input_file=${1:?usage: $0 input_file}. Арифметическая область видимости: i=$(( (i + 1) % 5 )). Последовательности: {1..10}. Обрезка строк: ${var%suffix} и ${var#prefix}. Например, если var=foo.pdf тогда echo ${var%.pdf}.txt выведет foo.txt.

  • Использование скобок {...} может уменьшить необходиость повторно вводить схожий текст и автоматизирует комбинирование элементов. Это полезно, например, здесь: mv foo.{txt,pdf} some-dir (переместит оба файла), cp somefile{,.bak} (приведется к cp somefile somefile.bak) или mkdir -p test-{a,b,c}/subtest-{1,2,3} (раскроет все возможные комбинации и создаст дерево каталогов).

  • Вывод любой команды можно сохранить в файлоподобный контекст с помощью <(some command). Например, сравнение локального файла `/etc/hosts с удалённым:

      diff /etc/hosts <(ssh somehost cat /etc/hosts)

  • Знайте про heredoc-синтаксис в Баше, работает он так: cat <<EOF ....

  • В Баше перенаправляйте стандартный вывод, а также стандартные ошибки, вот так: some-command >logfile 2>&1 или some-command &>logfile. Зачастую, для того, чтобы убедиться, что команда не оставит открытым файл, привязав его к открытому терминалу, считается хорошей практикой добавлять </dev/null.

  • Используйте man ascii для просмотра хорошей ASCII таблицы с шестнадцатеричными и десятичными значениями. Для информации по основным кодировкам полезны man unicode, man utf-8 и man latin1.

  • Используйте screen или tmux для того, чтобы иметь несколько экранов в одном терминале. Это особенно полезно, когда вы работаете с удаленным сервером по ssh, тогда вы можете подключаться/отключаться от сессий. byobu может улучшить использование screen или tmux, предоставляя больше информации и удобное управление. Более минималистичный подход для этого – использование dtach.

  • В SSH полезно знать как сделать port tunnel с ключами -L и -D (и иногда -R). Например для того, чтобы зайти на сайт с удаленного сервера.

  • Еще может быть полезно оптимизировать вашу SSH конфигурацию, например этот файл ~/.ssh/config содержит настройки, которые помогают избегать потерянных подключений в некоторых сетевых окружениях. Используйте сжатие (которое полезно с scp через медленные подключения) и увеличьте количество каналов к одному серверу через этот конфиг, вот так:

      TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%r@%h:%p
      ControlPersist yes

  • Некоторые другие настройки SSH могут сильно повлиять на безопасность и должны меняться осторожно, например, для конкретной подсети или конкретной машины или в доверенных сетях: StrictHostKeyChecking=no, ForwardAgent=yes.

  • Рассмотрите mosh как альтернативу SSH, которая использует UDP и позволяет избежать разрывов соединений и добавляет удобства (требует настройки со стороны сервера).

  • Чтобы получить разрешения файла в восьмеричном виде, что полезно для конфигурации систем, но нельзя получить из ls, можно использовать что-то типа:

      stat -c '%A %a %n' /etc/timezone

  • Для интерактивного выделения результатов других команд используйте percol или fzf.

  • Для работы с файлами, список которых дала другая команда (например, git), используйте fpp (PathPicker).

  • Чтобы быстро поднять веб-сервер в текущей директории (и поддиректориях), который доступен для всех в вашей сети, используйте: python -m SimpleHTTPServer 7777 (если у вас Python 2 и вы хотите открыть сервер на порту 7777) или python -m http.server 7777 (для Python 3 и порта 7777).

  • Чтобы выполнить определённую команду с привилегиями, используйте sudo (для рута) и sudo -u (для другого пользователя). Используйте su или sudo bash, чтобы запустить шелл от имени этого пользователя. Используйте su -, чтобы эмулировать свежий логин от рута или другого пользователя.

  • Знайте про ограничение 128Кб в командной строке. Ошибка "Argument list too long" часто бывает, когда маска по имени включает большое количество файлов (в таких случаях помогают варианты с find или xargs).

  • В качестве простого калькулятора (и, конечно, вообще для работы с Python) используйте интерпретатор python. Например,

>>> 2+3
5

Обработка файлов и информации​

  • Для того, чтобы найти файл в текущей директории, сделайте find . -iname '*something*'. Для того, чтобы искать файл по всей системе, используйте locate something (но не забывайте, что updatedb мог еще не проиндексировать недавно созданные файлы).

  • Для основного поиска по содержимому файлов (более сложному, чем grep -r) используйте ag.

  • Для конвертации HTML в текст: lynx -dump -stdin.

  • Для конвертации разных типов разметки (HTML, Markdown и др.) попробуйте pandoc.

  • Если нужно работать с XML, есть старая, но хорошая утилита – xmlstarlet.

  • Для работы с JSON используйте jq.

  • Для работы с YAML используйте shyaml.

  • Для работы с Excel и CSV-файлами используйте csvkit (программа предоставляет команды in2csv, csvcut, csvjoin, csvgrep и т.д.)

  • Для работы с Amazon S3 удобно работать с s3cmd и s4cmd (последний работает быстрее). Для остальных сервисов Амазона используйте стандартный aws или улучшенный saws.

  • Знайте про sort и uniq, включая флаги -u и -d, смотрите примеры ниже. Также попробуйте comm.

  • Знайте про cut, paste и join для работы с текстовыми файлами. Многие люди используют cut, забыв про join.

  • Знайте о wc: для подсчёта переводов строк (-l), для символов – (-m), для слов – words (-w), для байтового подсчёта – (-c).

  • Знайте про tee для копирования из stdin и в stdout, и в файл, например ls -al | tee file.txt.

  • Для более сложных вычислений, включающих групповые операции с данными, преобразование матриц и статистические функции, имейте в виду datamash.

  • Не забывайте, что локализация вашей системы влияет на многие команды, включая порядки сортировки, сравнение и производительность. Многие дистрибутивы Linux автоматически выставляют LANG или любую другую переменную в подходящую для Вашего региона. Из-за этого результаты функций сортировки могут работать непредсказуемо. Рутины i18n могут значительно снизить производительность сортировок. В некоторых случаях можно полностью этого избегать (за исключением редких случаев), сортируя традиционно побайтово, для этого export LC_ALL=C.

  • Вы можете установить специфическое окружение для команды с помощью префикса перед ее вызовом, например TZ=Pacific/Fiji date.

  • Знайте основы awk и sed для простых манипуляций с данными. Например, чтобы получить сумму всех чисел, которые находятся в третьей колонке текстового файла, можно использовать awk '{ x += $3 } END { print x }'. Скорее всего, это получится раза в 3 быстрее и раза в 3 проще, чем делать это в Питоне.

  • Чтобы заменить все вхождения подстроки в одном или нескольких файлах:

      perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

Для того, чтобы переименовать сразу много файлов по шаблону, используйте rename. Для сложных переименований может помочь repren. В некоторых ситуациях rename тоже позволяет совершать множественное переименование, но будьте осторожны, т.к. его функциональность может меняться в зависимости от дистрибутива.

      # Full rename of filenames, directories, and contents foo -> bar:
      repren --full --preserve-case --from foo --to bar .
      # Recover backup files whatever.bak -> whatever:
      repren --renames --from '(.*)\.bak' --to '\1' *.bak
      # Same as above, using rename, if available:
      rename 's/\.bak$//' *.bak
  • Как говорит man, rsync на деле - быстрая, с множеством возможностей, утилита для копирования файлов. Но она хороша не только для синхронизации между машинами, но и локально. Если есть доступ, то rsync, в отличие от scp, позволяет возобновить процесс копирования, не начиная заново. Он также является самым быстрым способом удалить большое количество файлов:
mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir

  • Используйте shuf, чтобы перемешать строки или выбрать случайную строчку из файла.

  • Знайте флаги sortа. Для чисел используйте -n, для работы с человекочитаемыми числами используйте -h (например du -h). Знайте как работают ключи (-t и -k). В частности, не забывайте, что вам нужно писать -k1,1 для того, чтобы отсортировать только первое поле; -k1 - это сортировка, учитывая всю строчку. Также стабильная сортировка может быть полезной (sort -s). Например для того, чтобы отсортировать самое важное по второму полю, а второстепенное по первому, можно использовать sort -k1,1 | sort -s -k2,2.

  • Если вам когда-нибудь придётся написать код символа табуляции в терминале, например, для сортировки по табуляциям с флагом -t, используйте сокращение ctrl-v [Tab] или напишите $'\t'. Последнее лучше, потому что его можно скопировать.

  • Стандартные инструменты для патчинга исходников это diff и patch. Также посмотрите на diffstat для просмотра статистики изменений (диффа) и sdiff для сравнения бок-о-бок (side-by-side). diff -r работает рекурсивно по всей директории. Используйте diff -r tree1 tree2 | diffstat для полной сводки изменений. Используйте vimdiff для сравнения и редактирования файлов.

  • Для бинарных файлов используйте hd, hexdump или xxd для простых hex-дампов, и bvi для двоичного изменения бинарных файлов.

  • strings (в связке с grep или чем-то похожим) помогает найти строки в бинарных файлах.

  • Чтобы посмотреть разницу в бинарниках (дельта-кодирование) используйте xdelta3.

  • Для конвертирования кодировок используйте iconv. Для более сложных задач – uconv, он поддерживает некоторые сложные фичи Юникода. Например, эта команда переводит строки из файла в нижний регистр и убирает ударения (которые бывают, например, в испанском языке)

      uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

  • Для того, чтобы разбить файл на куски, используйте split (разбивает на куски по размеру), или csplit (по шаблону или регулярному выражению).

  • Для операций с датами и временем используйте dateadd, datediff, strptime и т.д. из dateutils.

  • Используйте zless, zmore, zcat и zgrep для работы со сжатыми файлами.

  • chattr устанавливает атрибуты файлов, которые также являются низкоуровневой альтернативой правам доступа. Например, от случайного удаления файла защитит атрибут неизменяемости: sudo chattr +i /critical/directory/or/file.

  • Используйте getfacl и setfacl для сохранения и восстановления файловых прав доступа. Например:

   getfacl -R /some/path > permissions.txt
   setfacl --restore=permissions.txt

Отладка системы​

  • Для веб-отладки используйте curl и curl -I, или их альтернативу - wget. Также есть более современные утилиты, например httpie.

  • Чтобы узнать текущее состояние процессора/диска, можно использовать классический top (или улучшенную альтернативу htop) и iostat, iotop. Используйте iostat -mxz 15 для получения базовой информации о процессоре и детализированной о каждом разделе жесткого диска.

  • Для получения информации о сетевых соедиениях используйте netstat и ss.

  • Для получения краткой информации о происходящем в системе используйте dstat, для более детальной информации – glances. Эта программа показывает сразу несколько разных статистик в одном окне терминала. Полезно, когда следите за сразу несколькими системами.

  • Для того, чтобы следить за памятью, научитесь понимать free и vmstat. В частности, не забывайте, что кешированые значения ("cached" value) – это память, которую держит ядро и эти значения являются частью free.

  • Отладка Java – совсем другая рыбка, но некоторые манипуляции над виртуальной машиной Оракла, или любой другой, позволят вам использовать kill -3 <pid> и трассировать сводки стека и хипа (включая детали работы сборщика мусора, которые бывают очень полезными), и их можно сдампить в stderr или логи. jps, jstat, jstack, jmap также полезны. SJK tools более продвинуты.

  • Используйте mtr для лучшей трассировки, чтобы находить проблемы сети.

  • Для того, чтобы узнать, почему диск полностью забит, используйте ncdu, это сохраняет время по сравнению с тем же du -sh *.

  • Для того, чтобы узнать, какой сокет или процесс использует интернет, используйте iftop или nethogs.

  • ab, которая поставляется вместе с apache, полезна для быстрой и поверхностной проверки производительности веб-сервера. Для более серьезного нагрузочного тестирования используйте siege.

  • Для более серьёзной отладки сетей используйте wireshark, tshark и ngrep.

  • Знайте про strace и ltrace. Эти команды могут быть полезны, если программа падает или висит, и вы не знаете почему. Или если вы хотите протестировать производительность программы. Не забывайте про возможность отладки (-c) и возможность прицепиться к процессу по pid (-p).

  • Не забывайте про ldd для проверки используемых библиотек.

  • Знайте как прицепиться к работающему процессу через gdb и получить трассировку стека.

  • Используйте /proc. Иногда он невероятно полезен для отладки запущенных программ. Примеры: /proc/cpuinfo, /proc/meminfo, /proc/cmdline, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/xxx/smaps (где xxx это pid).

  • Когда отлаживаете что-то, что сломалось в прошлом, используйте sar – бывает очень полезно. Показывает историю CPU, памяти, сети и т.д.

  • Для анализа более сложных систем и производительности посмотрите на stap (SystemTap), perf, и sysdig.

  • Узнайте, какая у вас ОС, через uname или uname -a (основная Unix-информация/информация о ядре), или lsb_release -a (информация о дистрибутиве).

  • Используйте dmesg, когда что-то ведет себя совсем странно (например, железо или драйвера).

  • Если вы удалили файл и это вопреки ожиданиям не освободило место на диске, как показывает du, проверьте, использует ли файл какой-нибудь процесс: lsof | grep deleted | grep "filename-of-my-big-file".

В одну строчку​

Давайте соберем все вместе и напишем несколько команд:

  • Это довольно круто, что можно найти множественные пересечения файлов, соединить отсортированные файлы и посмотреть разницу в нескольких файлах через sort/uniq. Это быстрый подход и работает на файлах любого размера, включая многогигабайтные файлы (сортировка не ограничена памятью, но, возможно, вам придется добавить -T, если /tmp находится на небольшом логическом диске). Еще посмотрите то, что было сказано выше о LC_ALL. Флаг сортировки -u не используется ниже, чтобы было понятнее:
      cat a b | sort | uniq > c        # c is a union b
      cat a b | sort | uniq -d > c     # c is a intersect b
      cat a b b | sort | uniq -u > c   # c is set difference a - b
  • Используйте grep . * для того, чтобы посмотреть содержимое всех файлов в директории. Особенно полезно, когда у вас много конфигов типа /sys, /proc, /etc.
  • Получить сумму всех чисел, которые находятся в третьей колонке текстового файла (скорее всего, это раза в 3 быстрее и раза в 3 проще, чем делать это в Питоне):
      awk '{ x += $3 } END { print x }' myfile
  • Чтобы посмотреть размеры и даты в дереве файлов, есть почти как рекурсивная ls -l, но легче читаемая, чем ls -lR:
      find . -type f -ls
  • Скажем, у нас есть какой-то текстовый файл, например лог какого-то сервера и на каких-то строках появляется значение, строки с которым нам интересны. Например, acct_id. Давайте подсчитаем, сколько таких запросов в нашем логе:
      cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn

  • Для непрерывного мониторинга измененний используйте watch, например, проверка измений файлов в директории: watch -d -n 2 'ls -rtlh | tail' или сетевых настроек во время устранения проблем с вашей wifi сетью: watch -d -n 2 ifconfig.

  • Запустите этот скрипт, чтобы получить случайный совет из этой инструкции:

      function taocl() {
        curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
          pandoc -f markdown -t html |
          xmlstarlet fo --html --dropdtd |
          xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
          xmlstarlet unesc | fmt -80
      }

Сложно, но полезно​

  • expr: для выполнения арифметических и булевых операций, а также регулярных выражений

  • m4: простенький макро-процессор

  • yes: вывод строки в бесконечном цикле

  • cal: классный календарь

  • env: для того, чтобы выполнить команду (полезно в Bash-скриптах)

  • printenv: показать переменные окружения (полезно в скриптах или отладке)

  • look: найти английские слова (или строки) в файле

  • cut , paste и join: манипуляции с данными

  • fmt: форматирование параграфов в тексте

  • pr: отформатировать текст в страницы/колонки

  • fold: (обернуть) ограничить длину строк в файле

  • column: форматировать текст в колонки или таблицы

  • expand и unexpand: конвертация между табами и пробелами

  • nl: добавить номера строк

  • seq: вывести последовательность чисел

  • bc: калькулятор

  • factor: возвести числа в степень

  • gpg: зашифровать и подписать файлы

  • toe: таблица терминалов terminfo с описанием

  • nc: отладка сети и передачи данных

  • socat: переключатель сокетов и перенаправление tcp-портов (похоже на netcat)

  • slurm: визуализация трафика сети

  • dd: перенос информации между блочными устройствами

  • file: узнать тип файла

  • tree: показать директории и поддиректории в виде дерева, как ls, но рекурсивно

  • stat: информация о файле

  • time: время выполнения команды

  • timeout: выполнять команду указанное количество времени и остановить процесс по его истечении

  • lockfile: создание семафорного файла, который может быть удален только с помощью rm -f

  • logrotate: ротация, сжатие и отправка логов по почте

  • watch: повторный запуск команды с выводом результата или подсветкой изменений

  • tac: вывести файл построчно в обратном порядке

  • shuf: случайная выборка строк из файла

  • comm: построчно сравнить отсортированные файлы

  • pv: мониторинг прогресса прохождения информации через пайп

  • hd, hexdump, xxd, biew и bvi: hex-дамп и редактирование бинарных файлов

  • strings: найти текст в бинарниках

  • tr: манипуляция с char (символьным типом)

  • iconv и uconv: конвертация кодировок

  • split и csplit: разбить файлы

  • sponge: прочитать весь входной поток перед тем, как его записать. Полезно, когда читаешь из того же файла, куда записываешь. Например, вот так: grep -v something some-file | sponge some-file

  • units: конвертер. Метры в километры, версты в пяди (смотрите /usr/share/units/definitions.units)

  • apg: генерация случайных паролей

  • 7z: архиватор с высокой степенью сжатия

  • ldd: показывает зависимости программы от системных библиотек

  • nm: получаем названия всех функций, которые определены в .o или .a (объектные файлы)

  • ab: бенчмаркинг веб-серверов

  • strace: отладка системных вызовов

  • mtr: лучшая трассировка для отладки сети

  • cssh: несколько терминалов в одном UI

  • rsync: синхронизация файлов и папок через SSH

  • wireshark и tshark: перехват пакетов и отладка сети

  • ngrep: grep для слоя сети (network layer). Перехват пакетов по заданной маске.

  • host и dig: узнать DNS

  • lsof: информация о дескрипторах и сокетах процесса

  • dstat: полезная статистика ОС

  • glances: высокоуровневая статистика по многим подсистемам

  • iostat: статистика процессора и использования жёсткого диска

  • mpstat: статистика использования процессора

  • vmstat: статистика использования памяти

  • htop: улучшенная версия top

  • last: история логинов в систему

  • w: под каким пользователем вы сидите

  • id: информация о пользователе/группе

  • sar: история системной статистики

  • iftop или nethogs: использование сети конкретным сокетом или процессом

  • ss: статистика сокетов

  • dmesg: ошибки загрузки и ошибки системы

  • sysctl: просмотр и конфигурирование параметров ядра Linux

  • hdparm: манипуляции с SATA/ATA

  • lsblk: cписок блочных устройств компьютера: дерево ваших дисков и логических дисков

  • lshw, lscpu, lspci, lsusb, dmidecode: информация о железе, включая CPU, BIOS, RAID, графику, девайсы, и т.д.

  • lsmod и modinfo: информация о модулях ядра

  • fortune, ddate, и sl: хм, не знаю, будут ли вам "полезны" веселые цитатки и поезда, пересекающие ваш терминал :)

OS X only​

Некоторые вещи, подходящие только для OS X.

  • Системы управлением пакетами – brew (Homebrew) и port (MacPorts). Они могут быть использованы для того, чтобы установить большинство программ, упомянутых в этом документе.

  • Копируйте выдачу консольных программ в десктопные через pbcopy и вставляйте входные данные через pbpaste.

  • Чтобы использовать в OS X кнопку Options как Alt (для использования команд alt-b, alt-f и т.д.) в настройках Терминала откройте Профили -> Клавиатура и выберите "Использовать клавишу Option в качестве метаклавиши" ("Use Option as Meta key").

  • Для того, чтобы открыть файл или десктопную программу типа Finder, используйте open. Вот так: open -a /Applications/Whatever.app.

  • Spotlight: Ищите файлы в консоли, через mdfind, и смотрите метаданные (например EXIF информацию фотографий) через mdls.

  • Не забывайте, что OS X основана на BSD Unix и многие команды (например ps, ls, tail, awk, sed) имеют небольшие различия с линуксовыми. Это обусловлено влянием UNIX System V и GNU Tools. Разницу можно заметить, увидев заголовок "BSD General Commands Manual." в манах программ. В некоторых случаях, на Мак можно поставить GNU-версии программ, например gawk и gsed. Когда пишите кроссплатформенные Bash-скрипты, старайтесь избегать использовать команды, которые могут различаться (например, лучше используйте Python или perl), или тщательно все тестируйте.

  • Чтобы получить информацию о версии OS X используйте sw_vers.

Windows only​

  • Используйте силу Unix shell в Microsoft Windows, установив Cygwin. Большая часть описанных в этом документе возможностей заработает сразу.

  • Установите еще Unix программ с помощью встроенного в Cygwin менеджера пакетов.

  • Используйте mintty в качестве терминала.

  • Работайте с буфером обмена Windows с помощью /dev/clipboard.

  • Запустите cygstart, чтобы открыть файл в приложении по умолчанию.

  • Работайте с реестром Windows с помощью regtool.

  • Имейте в виду, что виндовый диск C:\ доступен в Cygwin по пути /cygdrive/c, и cygwin''ский / является папкой C:\cygwin в Windows. Конвертируйте файловые пути в виндовые и обратно с помощью cygpath. Это самый полезный скрипт, который запускает программы Windows.

  • Вы можете запускать и автоматизировать большинство задач по администрированию Windows из командной строки, освоив wmic.

Больше информации по теме​

  • awesome-shell: Дополняемый список инструментов и ресурсов для командной строки.
  • awesome-osx-command-line: Более детальные гайды по терминалу в OS X.
  • Strict mode: Для того, чтобы писать шелл-скрипты лучше.
  • shellcheck: Статический анализатор скриптов.
  • Filenames and Pathnames in Shell: Сборник мелочей о правильной обработке имен файлов в скриптах.
  • Data Science at the Command Line: Обзор команд и утилит, используемых для обработки данных, из одноименной книги.

Дисклеймер​

За небольшим исключением, весь код написан так, чтобы другие смогли его прочитать. Чем больше сила, тем больше и ответственность. Тот факт, что вы способны что-то сделать в Баше, вовсе не означает, что это нужно делать! ;)

Лицензия​

Оригинальная работа и перевод на русский язык распространяется под лицензией Creative Commons Attribution-ShareAlike 4.0 International License.

Источник