User Tools

Site Tools


sftp_lftp

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Last revision Both sides next revision
sftp_lftp [2015/03/18 14:03]
kyxap [Копирование больших объемов данных в несколько потоков с помощью lftp]
sftp_lftp [2018/05/10 16:07]
kyxap ↷ Page name changed from lftp_sftp to sftp_lftp
Line 1: Line 1:
 +{{tag>​lftp rsync}}
 +====== Копирование больших объемов данных в несколько потоков с помощью lftp ======
  
 +Примеры копирования при использовании авторизации по ssh-ключам. \\
 +Закрывающий слеш в пути к исходной директории обязателен. \\
 +Задание представляет из себя текстовый файл. \\
 +
 +  * Выполнение задания <​code>​lftp -f tasks.lftp</​code>​
 +===== Примеры =====
 +  * Данные закачиваются с локального сервера на удаленный.<​code>​
 +open sftp://​root:​@192.168.111.83
 +mirror -c -P10 -R --allow-chown /LOCAL_DIR/ /REMOTE_DIR
 +exit</​code>​
 +  * Данные скачиваются с удаленного сервера на локальный. <​code>​
 +open sftp://​root:​@192.168.111.83
 +mirror -c -P10 --allow-chown /​REMOTE_DIR/​ /LOCAL_DIR
 +exit</​code>​
 +
 +====== Копирование больших объемов данных с помощью rsync ======
 +
 +rsync в один поток - ресурсоемкий и медленный процесс.\\
 +xargs позволит запустить несколько процессов копирования отдельных директорий,​ но это скажется на скорости работы дисков. \\
 +В целом, использовать для копирования lftp предпочтительнее.
 +
 +  * Флаги, позволяющие ускорить процесс копирования:<​code>​
 +-W отключает просчет checksum
 +--delay-updates выполнять синхронизацию ПОСЛЕ анализа,​ а не во время
 +-e 'ssh -o "​Compression no" -c arcfour'​ не использовать сжатие данных и минимизировать нагрузку на CPU
 +--only-write-batch=file вместо синхронизации с удаленным сервером готовит бинарный апдейт для развертывания на удаленном сервере. Полезно при большом количестве мелких файлов.</​code>​
 +===== Примеры =====
 +  * Полное копирование системы:<​code>​
 +rsync -aHAXv --progress --numeric-ids -e 'ssh -o "​Compression no" -c arcfour'​ --exclude={/​dev/​*,/​proc/​*,/​sys/​*,/​tmp/​*,/​run/​*,/​media/​*,/​lost+found} /* [email protected]:/</​code>​
sftp_lftp.txt · Last modified: 2018/05/10 16:13 by kyxap