铁雪资源网 Design By www.gsvan.com
拷贝数据
远程拷贝数据的时候，我们一般使用rsync命令，但是如果拷贝大量的小文件，会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输，可以解决这问题，使用这个方法，等同于使用scp、rsync传输大文件。
实测，使用rsync传输1200G，单个文件大小为几十KB~2GB,千兆网卡，需要同时跑6个rsync才能把带宽跑满，每个速度20MB左右，速度波动大。每分钟可以拷贝4.5GB左右。
但是，使用tar pv lz4，跑一个就可以了，而且速度波动小。每分钟可以拷贝6.8GB左右。
rsync使用例子
rsync安装：yum install -y rsync
# 推送
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz root@192.168.176.11:/data/
sending incremental file list
mssh.tar.gz
1,977 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=0/1)
sent 2,069 bytes received 35 bytes 4,208.00 bytes/sec
total size is 1,977 speedup is 0.94
# 拉取
[root@vm5 ~]# rm -f mssh.tar.gz
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" root@192.168.176.11:/data/mssh.tar.gz .
receiving incremental file list
mssh.tar.gz
1,977 100% 1.89MB/s 0:00:00 (xfr#1, to-chk=0/1)
sent 43 bytes received 2,069 bytes 4,224.00 bytes/sec
total size is 1,977 speedup is 0.94
参数auvzP解释：参数a是归档传输，保留文件属性，u是更新传输，源文件修改时间较新，则传输。v是显示详细过程，z是压缩传输，P是断点传输。
注意：rsync 传输文件夹时候，folder/ 带/则是传输目录下的文件，不带/是把文件夹也传输过去。
使用压缩传输
安装pv、lz4工具
注意：服务器两端都要安装。
pv在yum源里面没有，可以到pv官网找
# 去pv官网，搞到个rpm包链接，直接rpm命令安装 [root@vm5 ~]# rpm -ivh http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm 获取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm 警告：/var/tmp/rpm-tmp.mFbA6u: 头V3 DSA/SHA1 Signature, 密钥 ID 3fc56f51: NOKEY 准备中... ################################# [100%] 正在升级/安装... 1:pv-1.6.6-1 ################################# [100%] # lz4 可以直接yum安装 [root@vm5 ~]# yum install -y lz4
使用
[root@vm5 ~]# time tar -c go |pv |lz4 -B4 |ssh -p22 -c aes128-ctr 192.168.176.11 "lz4 -d |tar -xC /data/" using blocks of size 64 KB 18.1MiB 0:00:00 [49.5MiB/s] [ <=> ] real 0m0.376s user 0m0.080s sys 0m0.108s # 对比rsync [root@vm5 ~]# time rsync -auvzP -e "ssh -p22" go 192.168.176.11:/data/ ...... sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sec total size is 18,502,481 speedup is 1.57 real 0m1.130s user 0m0.797s sys 0m0.160s [root@vm5 ~]#
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
标签：
linux,快速拷贝,大文件
铁雪资源网 Design By www.gsvan.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
铁雪资源网 Design By www.gsvan.com
暂无linux下如何实现快速拷贝大文件的评论...
苹果官宣WWDC 2024！预计会有大批AI功能 - 2024/11/16
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。