generate files
for i in $(seq 1 1000000); do echo testing >> $i.txt; done
rm
time rm -f * -bash: /bin/rm: Argument list too long real 0m11.126s user 0m9.673s sys 0m1.278s
find with -exec rm
time find ./ -type f -exec rm {} \;
real 14m51.735s
user 2m24.330s
sys 9m48.743s
find with -delete
time find ./ -type f -delete real 5m11.937s user 0m1.259s sys 0m28.441s
perl
time perl -e 'for(<*>){((stat)[9]<(unlink))}'
real 1m0.488s
user 0m7.023s
sys 0m27.403s
rsync - empty test dir
rsync -a --delete /home/blanktest/ /home/test/ real 2m52.502s user 0m2.772s sys 0m32.649s
clamscan -ri --detect-pua=yes --scan-mail=yes --phishing-sigs=yes --phishing-scan-urls=yes --heuristic-scan-precedence=yes --algorithmic-detection=yes --scan-pe=yes --scan-elf=yes --scan-ole2=yes --scan-pdf=yes --scan-html=yes --scan-archive=yes --detect-broken=yes --block-encrypted=yes /path/to/dir
Задача состояла в разделении точки входа и точки выхода для openvpn.
| Entry node | Exit node | |
|---|---|---|
| OS | Linux CentOS 6.x | FreeBSD 9.x |
| Service | openvpn server | none |
| External IP | 88.32.99.91 | 162.210.201.13 |
| Internal IP | 10.254.10.1 | 10.254.20.1 |
| OpenVPN network | 10.254.0.0/16 | |
#!/usr/bin/env bash # # - create GRE tunnel between two servers # - pass all traffic from specified network to GRE tunel # ####### LINUX ####### PATH="/bin:/usr/sbin:/usr/bin:/sbin:/usr/local/bin:/usr/local/sbin" TUNNEL_IF=gre10 VPN_NETWORK=10.254.0.0/16 # entry node LOCAL_ADDR_EXT=162.210.201.13 LOCAL_ADDR_INT=10.254.10.1 # exit node REMOTE_ADDR_EXT=88.32.99.91 REMOTE_ADDR_INT=10.254.20.1 ##################### # create gre interface ip tunnel add "$TUNNEL_IF" mode gre local "$LOCAL_ADDR_EXT" remote "$REMOTE_ADDR_EXT" ttl 255 # start interface ip link set "$TUNNEL_IF" up # setup internal address on interface ip addr add "$LOCAL_ADDR_INT" dev "$TUNNEL_IF" # add route to exit node route add -net "${REMOTE_ADDR_INT%.*}.0" netmask 255.255.255.0 gw "$LOCAL_ADDR_INT" # create rule for vpn network ip rule add from $VPN_NETWORK table 10 # add default rule for vpn table ip route add default via "$LOCAL_ADDR_INT" table 10
#!/usr/bin/env bash # # - create GRE tunnel between two servers # ####### FREEBSD ####### PATH="/bin:/usr/sbin:/usr/bin:/sbin:/usr/local/bin:/usr/local/sbin" TUNNEL_IF=gre10 # exit node LOCAL_ADDR_EXT=88.32.99.91 LOCAL_ADDR_INT=10.254.20.1 # entry node REMOTE_ADDR_EXT=162.210.201.13 REMOTE_ADDR_INT=10.254.10.1 ####################### # create interface ifconfig "$TUNNEL_IF" create # setup internal address on interface ifconfig "$TUNNEL_IF" "$LOCAL_ADDR_INT" "$REMOTE_ADDR_INT" link1 # up tunnel ifconfig "$TUNNEL_IF" tunnel "$LOCAL_ADDR_EXT" "$REMOTE_ADDR_EXT" # add route to entry node route add -net "${REMOTE_ADDR_INT%.*}" -netmask 255.255.255.0 "$LOCAL_ADDR_INT"
nat from 10.254.0.0/16 to any -> 162.210.201.13
local 88.32.99.91 port 1194 proto tcp dev tun dh /etc/openvpn/ssl/dh1024.pem ca /etc/openvpn/ssl/ca.crt cert /etc/openvpn/ssl/server.crt key /etc/openvpn/ssl/server.key server 10.254.0.0 255.255.255.0 push "dhcp-option DNS 8.8.8.8" push "redirect-gateway def1" keepalive 10 120 verb 0 duplicate-cn comp-lzo persist-key persist-tun
local 88.32.99.91 port 1194 proto udp dev tun dh /etc/openvpn/ssl/dh1024.pem ca /etc/openvpn/ssl/ca.crt cert /etc/openvpn/ssl/server.crt key /etc/openvpn/ssl/server.key server 10.254.1.0 255.255.255.0 push "dhcp-option DNS 8.8.8.8" push "redirect-gateway def1" keepalive 10 120 verb 0 tun-mtu 1500 fragment 0 mssfix 0 duplicate-cn comp-lzo persist-key persist-tun
client remote 88.32.99.91 rport 1194 proto tcp dev tun dh dh1024.pem ca ca.crt cert client.crt key client.key verb 5 comp-lzo redirect-gateway comp-noadapt persist-key persist-tun
[mysqld] tmpdir=/tmp/mysql [mysqldump] tmpdir=/tmp [client] tmpdir=/tmp
MYSQL_TMPDIR=/tmp/mysql if ! /bin/df $MYSQL_TMPDIR | grep -q "^/dev/md[0-9]"; then mkdir -p $MYSQL_TMPDIR mount_mfs -s 1024m -p 0700 -w mysql:mysql -o noexec md5 $MYSQL_TMPDIR fi
MYSQL_TMPDIR=/tmp/mysql mkdir -p $MYSQL_TMPDIR chown mysql:mysql $MYSQL_TMPDIR mount -t tmpfs -osize=1024m,uid=mysql,gid=mysql,mode=0700,relatime tmpfs $MYSQL_TMPDIR
start_smartd=yes smartd_opts="--interval=1800"
Системные сообщения от различных сервисов удобно слать на алиас.
mailcollector: [email protected]
/dev/sda и /dev/sdb - типовые WD RE4 4TB накопители.
/dev/sdc - Intel 320 160GB SSD, у которого необходимо отслеживать атрибуты 232 (Available Reserved Space) и 233 (Media Wearout Indicator).
Набор устройств постоянно модифицируется и дополняется.
# update-smart-drivedb
/dev/sda -a -s (S/../../(1|3|5)/01|L/../../6/23) -m mailcollector -M diminishing /dev/sdb -a -s (S/../../(1|3|5)/01|L/../../6/23) -m mailcollector -M diminishing /dev/sdc -a -r 233! -R 233! -r 232! -R 232! -s (S/../../(1|3|5)/01|L/../../6/23) -m mailcollector -M diminishing
Пояснение конфигурационного файла:
-a
эквивалент
-Hft -l error -l selftest -l selfteststs -C 197 -U 19
где
-H check the SMART health status
-f report failures of Usage (rather than Prefail) Attributes
-t track changes in both Prefailure and Usage Attributes
-l error report increases in the number of ATA errors
-l selftest report increases in the number of Self-Test Log errors
-l selfteststs report changes of Self-Test execution status
-C 197 report nonzero values of the current pending sector count
-U 198 report nonzero values of the offline pending sector count
-s
задает тип и расписание выполнения диагностических тестов в виде регулярного выражения.
Например,
-s (S/../../(1|3|5)/01|L/../../6/23)
будет выполнять
Short self-test каждые понедельник, среду, пятницу с 01 до 02 ночи
Long self-test каждую субботу после 23 вечера
-m user
указывает системный аккаунт, на который будут высылаться алерты.
В данном примере mailcollector является алиасом.
-M behaviour
модифицирует поведение и интенсивность отправки алертов.
Флаг diminishing активирует регулярную отправку напоминаний,
однако интервал (в днях) между напоминаниями будет постоянно увеличиваться: 1,2,4,8,16..N.
-r AttributeID[!]
К normalized value, которое отслеживается по умолчанию, в отчеты добавляется и raw value атрибута.
Если атрибут отмечен восклицательным знаком, то изменения в normalized value будут расценены как критические события.
-R AttributeID[!]
Вместо normalized value начинает отслеживаться raw value атрибута.
Ключ -R автоматически применяет ключ -r, а в отчеты добавляется normalized value.
Если атрибут отмечен восклицательным знаком, то изменения в raw value будут расценены как критические события.
#!/usr/bin/env bash
#
# Daily backup mysql databases
# CLI args: none
#exit on error
set -e
LANG=C
PATH="/bin:/usr/sbin:/usr/bin:/sbin:/usr/local/bin:/usr/local/sbin"
DATE=$(date +%F)
BACKUP_DIR=/home/mysql_backups
DUMP_DIR=$BACKUP_DIR/dumps
LOG=$BACKUP_DIR/backup.log
DAYS=7
DB="all"
OPTS="--order-by-primary --add-drop-database"
#########################
print_error() { echo "$@"; write_log "[ERROR] $@"; exit 1; }
print_info() { echo "$@"; write_log "[INFO] $@"; }
write_log() { echo "`date -R -u` $@" >> $LOG; }
##########################
# check dir
[[ -d $DUMP_DIR ]] || mkdir -p $DUMP_DIR
# check permissions on backup dir
if PERMS=$(stat --format="%a" $BACKUP_DIR)
then
# restore chmod
[[ $PERMS -eq 700 ]] || chmod 700 $BACKUP_DIR
fi
# check binaries
[[ -f `which mysqldump 2>/dev/null` ]] && MYSQLDUMP=mysqldump || print_error "No mysqldump binary found in $PATH"
[[ -f `which mysql 2>/dev/null` ]] && MYSQL=mysql || print_error "No mysql binary found in $PATH"
# validate $DB and skip default dbs
[[ $DB == all ]] && DB=$(mysql -e 'show databases' | tail -n +2 | grep -v -E "^(information_schema|performance_schema)$")
# create dumps
for db in $DB
do
# is db exist?
if ! EXISTS=$($MYSQL -s -N -e "show databases" | tail -n +2 | grep -x $db)
then
print_info "No such database: $db"
break
fi
DUMP_FILE=$DUMP_DIR/$DATE/$db.sql.gz
# is dump exist?
[[ -s $DUMP_FILE ]] || (
# log
print_info "Creating new: $DUMP_FILE"
# mkdir
mkdir -p $DUMP_DIR/$DATE
# add --events to mysql db
[[ $db == mysql ]] && OPTS+=" --events"
# dump
$MYSQLDUMP $OPTS $db | gzip -1 > $DUMP_FILE
)
done
# remove dirs
if OUTDATED_DIRS=$(find $DUMP_DIR -maxdepth 1 -type d -mtime +$DAYS)
then
for dir in $OUTDATED_DIRS
do
# log
print_info "Deleting outdated: $dir"
# rm
[[ -d $dir ]] && rm -r "$dir" || print_error "Can't remove $dir"
done
fi
#!/usr/bin/env bash export LANG=C # must have # 1-column to tabs-separated multicolumn cat 1-col.txt | sort | column # 1-column to spaces-separated multicolumn cat 1-col.txt | sort | column | expand # 1-column to string w/delimiter cat 1-col.txt | sort | paste -sd: # multicolumn to 1-column cat multi-col-spaces.txt | xargs -n 1 | sort # string w/delimiter to 1-column cat 1-string-delim.txt | tr ':' '\n' | sort
