- Bash. Основы программирования
- Переменные
- Подстановка параметров и результата работы команд
- Раскрытие фигурных скобок
- Условные операторы
- Условия сравнения
- Установка дефолтного значения переменной
- Массивы и списки
- Создание и наполнение массивов
- Вывод элементов массива
- Обход массивов, списков, строк
- Функции
- Код возврата (завершения)
- Потоки
- Перенаправление потоков
- Подстановка процессов
- Примеры
- Каналы
- Конвееры
- Titiaiev / bash-guide-1.md
Bash. Основы программирования
Цикл статей-памяток по разработке полезных утилит на bash По долгу профессии, мне, как программисту, необходимо автоматизировать свой рабочий процесс. Быстрые скриншоты с загрузкой на сервер, получение и обработка выделенного участка текста, парсинг данных, конвертация файлов и многое другое.. Источник в PDF .
Из этой статьи вы узнаете (или вспомните) азы, необходимые для разработки простых bash сценариев.
Переменные
Переменные в bash могут содержаться в 3х областях видимости:
- Локальные переменные; Простая переменная внутри конкретного сценария. Например, определение переменной, доступ к значению и удаление:
Также, вы можете объявить локальную переменную внутри функции. Такая переменная будет доступна только внутри этой ф-ции:
Подстановка параметров и результата работы команд
Механизм подстановки команды (заключенная в апострофы или круглые скобки $(command) команды вернет значение в переменную, завершающие символы новой строки удаляются):
Получить результат значение переменной в другую переменную:
Примечание
При подстановке параметра — фигурные скобки не обязательны, они служат для отделения имени переменной от соседних символов и строк.
Раскрытие фигурных скобок
Раскрытие фигурных скобок — это механизм, с помощью которого можно генерировать строки произвольного вида. Генерация строки по шаблону (фигурные скобки могут быть вложенными):
Условные операторы
Двойные квадратные скобки [[ . ]] bash интерпретирует как один элемент с кодом возврата. Внутри разрешается использование операторов && и || .
Пример проверки что переменная не пустая:
Комбинированные условия с отрицанием:
Условия сравнения
Смотрите доп. условия проверки файлов — https://www.tldp.org/LDP/abs/html/fto.html
Установка дефолтного значения переменной
Не работает для массивов!
Установка значения по умолчанию для аргумента:
Установка дефолтного значения для существующей переменной:
Массивы и списки
IFS — разделитель элементов массива
При работе с массивами в качестве разделителя используется переменная IFS . При работе с массивами вы можете задать собственный разделитель — просто установив значение переменной IFS . Чтобы установить в качестве разделителя перенос каретки (окончание строки) задайте значение этой переменной: IFS=$’\n’ .
Создание и наполнение массивов
Разбить строку по словам и создать массив (join array with delimiter):
Создать массив из строки с указанием разделителя:
Добавить элементы в массив:
Вывод элементов массива
Распечатать элементы массива ():
Количество элементов массива:
Индекс случайного элемента массива:
Вывести элементы массива через разделитель \n :
Срезать/получить первый символ первого элемента массива:
Срезать первый элемент массива:
Копировать массив (присвоить массив другой переменной):
Проверить наличие элемента в массиве:
Обход массивов, списков, строк
Примечание
Цикл работает в отдельном потоке , поэтому будьте внимательны при доступе к внешним переменным.
Обойти элементы массива:
Обход списка файлов в каталоге:
Обход строк в многострочном тексте:
Цикл while (сценарий проверки интернет соединения):
Оператор select (выбор пользователем значения из списка):
Функции
Функции в bash несколько урезанные, однако могут принимать аргументы, возвращать вычисленное значение и, все-таки позволяют исключить дублирование кода в скриптах. Ниже костяк ф-ции:
Примечание
Если указать read несколько переменных, то в первую попадёт первое слово; во вторую — второе слово; в последнюю — всё остальное. Читать поток можно только внутри .
Функция вызывается как обычная команда:
Код возврата (завершения)
Каждая программа по завершению возвращает числовой код (статус) завершения в переменную окружения $? (от 0 до 255). При успешном выполнении команда возвращает код 0, в случае ошибки — код будет целым числом. С помощью этой переменной вы можете проверять статус выполнения каждой необходимой программы или скрипта.
Примечание
Когда работа сценария завершается командой exit без параметров, то код возврата сценария определяется кодом возврата последней исполненной командой.
Потоки
Файл, из которого осуществляется чтение, называется стандартным потоком ввода, а в который осуществляется запись — стандартным потоком вывода.
При перенаправлении потоков, вы можете указывать ссылки на определенные потоки. Например, перенаправим вывод и ошибки команды в файл:
Перенаправление потоков
Для перенаправления потоков используются основные команды: , > , >> , , | . Рассмотрим как можно перенаправлять стандартные потоки.
Перенаправление потока вывода:
Перенаправление потока ввода (прием данных):
Перенаправление вывода ошибок:
Примечание
Если вам нужно захватить вывод команды в переменную и при этом отобразить вывод на экране, используйте tee :
Подстановка процессов
Передать процессу команда1 файл (созданный налету канал или файл /dev/fd/. ), в котором находятся данные, которые выводит команда2:
Примеры
Логировать результат поиска и ошибки:
Эта конструкция позволяет читать из строки как из файла. Демонстрационный пример:
Создаем временный файл и записываем в него поток переданный скрипту:
А теперь откроем файл в текстовом редакторе с «отвязкой» (отключением) от терминала, подавляем вывод сообщений в терминал:
Каналы
Стандартные потоки можно перенаправлять не только в файлы, но и на вход других программ. Если поток вывода одной программы соединить с потоком ввода другой программы, получится конструкция, называемая каналом, конвейером или пайпом (от англ. pipe, труба).
Объединяем потоки команд в канал:
Здесь стандартный поток вывода cmd1 подключен к входному потоку cmd2 , поток вывода cmd2 будет передан на вход cmd3 .
Конвееры
В составных командах и цепочке конвееров используются операторы управления ; , && , || . Тут все довольно просто, главное запомнить алгоритм и порядок, по которому работают эти операторы:
1. Команда cmd2 будет выполнена по завершении команды cmd1 не зависимо от результата работы cmd1 :
2. Команда cmd2 будет выполнена после успешного выполнения cmd1 (код завершения = 0):
3. Команда cmd2 будет выполнена, если код завершения cmd1 отличен от 0 (произошла ошибка):
Источник
Titiaiev / bash-guide-1.md
Бесплатная книга-сайт на русском, полный гайд
Advanced Bash-Scripting Guide
BASH — Bourne-Again SHell (что может переводится как «перерожденный шел», или «Снова шел Борна(создатель sh)»), самый популярный командный интерпретатор в юниксоподобных системах, в особенности в GNU/Linux. Ниже приведу ряд встроенных команд, которые мы будем использовать для создания своих скриптов.
break выход из цикла for, while или until
continue выполнение следующей итерации цикла for, while или until
echo вывод аргументов, разделенных пробелами, на стандартное устройство вывода
exit выход из оболочки
export отмечает аргументы как переменные для передачи в дочерние процессы в среде
hash запоминает полные имена путей команд, указанных в качестве аргументов, чтобы не искать их при следующем обращении
kill посылает сигнал завершения процессу
pwd выводит текущий рабочий каталог
read читает строку из ввода оболочки и использует ее для присвоения значений указанным переменным.\
return заставляет функцию оболочки выйти с указанным значением
shift перемещает позиционные параметры налево
test вычисляет условное выражение
times выводит имя пользователя и системное время, использованное оболочкой и ее потомками
trap указывает команды, которые должны выполняться при получении оболочкой сигнала
unset вызывает уничтожение переменных оболочки
wait ждет выхода из дочернего процесса и сообщает выходное состояние.
И конечно же кроме встроенных команд мы будем использовать целую кучу внешних, отдельных команд-программ, с которыми мы познакомимся уже в процессе
Что необходимо знать с самого начала
- Любой bash-скрипт должен начинаться со строки:
в этой строке после #! указывается путь к bash-интерпретатору, поэтому если он у вас установлен в другом месте(где, вы можете узнать набрав whereis bash ) поменяйте её на ваш путь.
- Коментарии начинаются с символа # (кроме первой строки).
- В bash переменные не имеют типа(о них речь пойдет ниже)
Переменные и параметры скрипта
Приведу как пример небольшой пример, который мы разберем:
#!/bin/bash #указываем где у нас хранится bash-интерпретатор
#присваиваем переменной parametr1 значение первого параметра скрипта
parametr1=$1
#присваиваем переменной script_name значение имени скрипта
script_name=$0
# команда echo выводит определенную строку, обращение к переменным осуществляется через $имя_переменной.
echo «Вы запустили скрипт с именем $script_name и параметром $parametr1»
# здесь мы видим другие кавычки, разница в том, что в одинарных кавычках не происходит подстановки переменных.
echo ‘Вы запустили скрипт с именем $script_name и параметром $parametr1’
#Выход с кодом 0 (удачное завершение работы скрипта)
exit 0
Результат выполнения скрипта:
$ ./test.sh qwerty
Вы запустили скрипт с именем ./test.sh и параметром qwerty
Вы запустили скрипт с именем $script_name и параметром $parametr1
После того как мы познакомились как использовать переменные и передавать скрипту параметры, время познакомиться с зарезервированными переменными:
$DIRSTACK — содержимое вершины стека каталогов
$EDITOR — текстовый редактор по умолчанию
$EUID — Эффективный UID. Если вы использовали программу su для выполнения команд от другого пользователя, то эта переменная содержит UID этого пользователя, в то время как.
$UID — . содержит реальный идентификатор, который устанавливается только при логине.
$FUNCNAME — имя текущей функции в скрипте.
$GROUPS — массив групп к которым принадлежит текущий пользователь
$HOME — домашний каталог пользователя
$HOSTNAME — ваш hostname
$HOSTTYPE — архитектура машины.
$LC_CTYPE — внутренняя переменная, котороя определяет кодировку символов
$OLDPWD — прежний рабочий каталог
$OSTYPE — тип ОС
$PATH — путь поиска программ
$PPID — идентификатор родительского процесса
$SECONDS — время работы скрипта(в сек.)
$# — общее количество параметров переданных скрипту
$* — все аргументы переданыне скрипту(выводятся в строку)
$@ — тоже самое, что и предыдущий, но параметры выводятся в столбик
$! — PID последнего запущенного в фоне процесса
$$ — PID самого скрипта
Условные операторы, думаю, знакомы практически каждому, кто хоть раз пытался на чем-то писать программы. В bash условия пишутся след. образом (как обычно на примере):
#!/bin/bash
#в переменную source засовываем первый параметр скрипта
source=$1
#в переменную dest засовываем второй параметр скрипта
dest=$2
# в ковычках указываем имена переменных для сравнения. -eq — логическое сравнение обозначающие «равны»
if [[ «$source» -eq «$dest» ]]
# если они действительно равны, то
then
#выводим сообщение об ошибке, т.к. $source и $dest у нас равны
echo «Применик $dest и источник $source один и тот же файл!»
# выходим с ошибкой (1 — код ошибки)
exit 1
# если же они не равны
else
# то выполняем команду cp: копируем источник в приемник
cp $source $dest
echo «Удачное копирование!»
fi #обозначаем окончание условия.
Результат выполнения скрипта:
$ ./primer2.sh 1 1
Применик 1 и источник 1 один и тот же файл!
$ ./primer2.sh 1 2
Удачное копирование!
Структура if-then-else используется следующим образом:
В качестве команд возвращающих код возврата могут выступать структуры [[ , [ , test, (( )) или любая другая(или несколько) linux-команда.
test — используется для логического сравнения. после выражения, неоьбходима закрывающая скобка «]»
[ — синоним команды test
[[ — расширенная версия «[» (начиная с версии 2.02)(как в примере), внутри которой могут быть использованы || (или), & (и). Долна иметь закрывающуб скобку «]]»
(( )) — математическое сравнение.
для построения многоярусных условий вида:
для краткости и читаемости кода, можно использовать структуру:
Условия. Множественный выбор
Если необходимо сравнивать какоую-то одну переменную с большим количеством параметров, то целесообразней использовать оператор case.
#!/bin/bash
echo «Выберите редатор для запуска:»
echo «1 Запуск программы nano»
echo «2 Запуск программы vi»
echo «3 Запуск программы emacs»
echo «4 Выход»
#здесь мы читаем в переменную $doing со стандартного ввода
read doing
case $doing in
1)
/usr/bin/nano # если $doing содержит 1, то запустить nano
;;
2)
/usr/bin/vi # если $doing содержит 2, то запустить vi
;;
3)
/usr/bin/emacs # если $doing содержит 3, то запустить emacs
;;
4)
exit 0
;;
*) #если введено с клавиатуры то, что в case не описывается, выполнять следующее:
echo «Введено неправильное действие»
esac #окончание оператора case.
$ ./menu2.sh
Выберите редатор для запуска:
1 Запуск программы nano
2 Запуск программы vi
3 Запуск программы emacs
4 Выход
После выбор цифры и нажатия Enter запуститься тот редактор, который вы выбрали(если конечно все пути указаны правильно, и у вас установлены эти редакторы 🙂 )
Прведу список логических операторв, которые используются для конструкции if-then-else-fi:
-z # строка пуста
-n # строка не пуста
=, (==) # строки равны
!= # строки неравны
-eq # равно
-ne # неравно
-lt,( # меньше
-le,( # меньше или равно
-gt,(>) #больше
-ge,(>=) #больше или равно
! #отрицание логического выражения
-a,(&&) #логическое «И»
-o,(||) # логическое «ИЛИ»
С основами языка и условиями мы разобрались, чтобы не перегружать статью, разобью её на несколько частей(допустим на 3). Во второй части разберем операторы цикла и выполнение математических операций.
Циклы. Цикл for-in.
Оператор for-in предназначен для поочередного обращения к значениям перечисленным в списке. Каждое значение поочередно в списке присваивается переменной.
Синтаксис следующий:
Рассмотрим небольшой пример:
После выполнения примера в первых 5 виртуальных консолях(терминалах) появится строка с её номером. В переменную $i поочередно подставляются значения из списка и в цикле идет работа со значением этой переменной
Циклы. Цикл while.
Цикл while сложнее цикла for-in и используется для повторения команд, пока какое-то выражение истинно( код возврата = 0).
Синтаксис оператора следующий:
Пример работы цикла рассмотрим на следующем примере:
А теперь результат работы скрипта:
Как видим цикл выполняется до тех пор, пока мы не введем что-то отличное от «yes». Между do и done можно описывать любые структуры, операторы и т.п., все они будут выполнятся в цикле.Но следует быть осторожным с этим циклом, если вы запустите на выполнение в нём какую-либо команду, без изменения переменной выражения, вы можете попасть в бесконечный цикл.
Теперь об условии истинности. После while , как и в условном операторе if-then-else можно вставлять любое выражение или команду, которая возвращает код возврата, и цикл будет исполнятся до тех пор, пока код возврата = 0! Оператор [ аналог команды test , которая проверяет истинность условия, которое ей передали.
Рассмотрим еще один пример, я взял его из книги Advanced Bash Scripting. Уж очень он мне понравился :), но я его немного упростил. В этом примере мы познакомимся с еще одним типом циклов UNTIL-DO. Эта практически полный аналог цикла WHILE-DO, только выполняется пока какое-то выражение ложно.
Вот пример:
Результат выполнения скрипта:
Команда let .
Команда let производит арифметические операции над числами и переменными.
Рассмотрим небольшой пример, в котором мы производим некоторые вычисления над введенными числами:
Ну вот, как видите ничего сложного, список математических операций стандартный:
+ — сложение
— — вычитание
* — умножение
/ — деление
** — возведение в степень
% — модуль(деление по модулю), остаток от деления
let позволяет использовать сокращения арифметических команд, тем самым сокращая кол-во используемых переменных. Например: a = a+b эквивалентно a +=b и т.д
Работа с внешними программами при написании shell-скриптов
Для начала немного полезной теории.
В bash (как и многих других оболочках) есть встроенные файловые дескрипторы: 0 (stdin) , 1 (stdout) , 2 (stderr) .
stdout — Стандартный вывод. Сюда попадает все что выводят программы
stdin — Стандартный ввод. Это все что набирает юзер в консоли
stderr — Стандартный вывод ошибок.
Для операций с этими дескрипторами, существуют специальные символы: > (перенаправление вывода), (перенаправление ввода). Оперировать ими не сложно. Например:
Если есть необходимость дописывать в файл(при использовании » > » он заменятеся), необходимо вместо » > » использовать » >> «
после просьбы sudo ввести пароль, он возьмется из файла my_password, как будто вы его ввели с клавиатуры.
Если необходимо записать в файл только ошибки, которые могли возникнуть при работе программы, то можно использовать:
цифра 2 перед » > » означает что нужно перенаправлять все что попадет в дескриптор 2(stderr).
Если необходимо заставить stderr писать в stdout , то это можно след. образом:
символ » & » означает указатель на дескриптор 1(stdout)
(Поумолчанию stderr пишет на ту консоль, в котрой работает пользователь(вренее пишет на дисплей)).
Конвеер — очень мощный инструмент для работы с консолью Bash. Синтаксис простой:
команда1 | команда 2 — означает, что вывод команды 1 передастся на ввод команде 2
Конвееры можно группировать в цепочки и выводить с помощью перенаправления в файл, например:
вывод команды ls -la передается команде grep , которая отбирает все строки, в которых встретится слово hash, и передает команде сортировке sort , которая пишет результат в файл sorting_list. Все довольно понятно и просто.
Чаще всего скрипты на Bash используются в качестве автоматизации каких-то рутинных операций в консоли, отсюда иногда возникает необходимость в обработке stdout одной команды и передача на stdin другой команде, при этом результат выполнения одной команды должен быть неким образом обработан. В этом разделе я постораюсь объяснить основные принципы работы с внешними командами внутри скрипта. Думаю что примеров я привел достаточно и можно теперь писать только основные моменты.
1. Передача вывода в переменную.
Для того чтобы записать в переменную вывод какой-либо команды, достаточно заключить команду в « ковычки, например
Результат работы: qwerty
Однако если вы захотите записать в переменную список директорий, то необходимо, должным образом обработать результат для помещения данных в переменную. Рассмотрим небольшой, пример:
Здесь мы используем цикл for-do-done для архивирование всех директорий в папке /svn/ с помощью команды svnadmin hotcopy (что в нашем случае не имеет никого значения, просто как пример). Наибольшй интерес вызывает строка: LIST= find /svn/ -type d 2>/dev/null| awk ‘
Источник