Differences

This shows you the differences between two versions of the page.

--- sftp_lftp [2015/03/18 14:03]
kyxap [Копирование больших объемов данных в несколько потоков с помощью lftp]
+++ sftp_lftp [2018/05/10 16:13]
kyxap
@@ Line 1: / Line 1: @@
+{{tag>sftp lftp rsync}}
+====== Копирование больших объемов данных в несколько потоков с помощью lftp ======
+Примеры копирования при использовании авторизации по ssh-ключам. \\
+Закрывающий слеш в пути к исходной директории обязателен. \\
+Задание представляет из себя текстовый файл. \\
+  * Выполнение задания <code>lftp -f tasks.lftp</code>
+===== Примеры =====
+  * Данные закачиваются с локального сервера на удаленный.<code>
+open sftp://root:@192.168.111.83
+mirror -c -P10 -R --allow-chown /LOCAL_DIR/ /REMOTE_DIR
+exit</code>
+  * Данные скачиваются с удаленного сервера на локальный. <code>
+open sftp://root:@192.168.111.83
+mirror -c -P10 --allow-chown /REMOTE_DIR/ /LOCAL_DIR
+exit</code>
+====== Копирование больших объемов данных с помощью rsync ======
+rsync в один поток - ресурсоемкий и медленный процесс.\\
+xargs позволит запустить несколько процессов копирования отдельных директорий, но это скажется на скорости работы дисков. \\
+В целом, использовать для копирования lftp предпочтительнее.
+  * Флаги, позволяющие ускорить процесс копирования:<code>
+-W отключает просчет checksum
+--delay-updates выполнять синхронизацию ПОСЛЕ анализа, а не во время
+-e 'ssh -o "Compression no" -c arcfour' не использовать сжатие данных и минимизировать нагрузку на CPU
+--only-write-batch=file вместо синхронизации с удаленным сервером готовит бинарный апдейт для развертывания на удаленном сервере. Полезно при большом количестве мелких файлов.</code>
+===== Примеры =====
+  * Полное копирование системы:<code>
+rsync -aHAXv --progress --numeric-ids -e 'ssh -o "Compression no" -c arcfour' --exclude={/dev/*,/proc/*,/sys/*,/tmp/*,/run/*,/media/*,/lost+found} /* [email protected]:/</code>

SmartNote

User Tools

Site Tools

Differences

Page Tools