This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Last revision Both sides next revision | ||
sftp_lftp [2014/04/07 15:25] kyxap [Копирование больших объемов данных с помощью rsync] |
sftp_lftp [2018/05/10 16:07] kyxap ↷ Page name changed from lftp_sftp to sftp_lftp |
||
---|---|---|---|
Line 1: | Line 1: | ||
+ | {{tag>lftp rsync}} | ||
+ | ====== Копирование больших объемов данных в несколько потоков с помощью lftp ====== | ||
+ | Примеры копирования при использовании авторизации по ssh-ключам. \\ | ||
+ | Закрывающий слеш в пути к исходной директории обязателен. \\ | ||
+ | Задание представляет из себя текстовый файл. \\ | ||
+ | |||
+ | * Выполнение задания <code>lftp -f tasks.lftp</code> | ||
+ | ===== Примеры ===== | ||
+ | * Данные закачиваются с локального сервера на удаленный.<code> | ||
+ | open sftp://root:@192.168.111.83 | ||
+ | mirror -c -P10 -R --allow-chown /LOCAL_DIR/ /REMOTE_DIR | ||
+ | exit</code> | ||
+ | * Данные скачиваются с удаленного сервера на локальный. <code> | ||
+ | open sftp://root:@192.168.111.83 | ||
+ | mirror -c -P10 --allow-chown /REMOTE_DIR/ /LOCAL_DIR | ||
+ | exit</code> | ||
+ | |||
+ | ====== Копирование больших объемов данных с помощью rsync ====== | ||
+ | |||
+ | rsync в один поток - ресурсоемкий и медленный процесс.\\ | ||
+ | xargs позволит запустить несколько процессов копирования отдельных директорий, но это скажется на скорости работы дисков. \\ | ||
+ | В целом, использовать для копирования lftp предпочтительнее. | ||
+ | |||
+ | * Флаги, позволяющие ускорить процесс копирования:<code> | ||
+ | -W отключает просчет checksum | ||
+ | --delay-updates выполнять синхронизацию ПОСЛЕ анализа, а не во время | ||
+ | -e 'ssh -o "Compression no" -c arcfour' не использовать сжатие данных и минимизировать нагрузку на CPU | ||
+ | --only-write-batch=file вместо синхронизации с удаленным сервером готовит бинарный апдейт для развертывания на удаленном сервере. Полезно при большом количестве мелких файлов.</code> | ||
+ | ===== Примеры ===== | ||
+ | * Полное копирование системы:<code> | ||
+ | rsync -aHAXv --progress --numeric-ids -e 'ssh -o "Compression no" -c arcfour' --exclude={/dev/*,/proc/*,/sys/*,/tmp/*,/run/*,/media/*,/lost+found} /* [email protected]:/</code> |