你知道Linux中大文件快速处理小的技巧有哪些吗?

发布时间：2022-07-14 16:54:53 所属栏目：Linux 来源：互联网

导读：1.背景工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)： 2. 采用的方法 a.

　　1.背景

　　工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)：

　　2. 采用的方法

　　a. 方法1

　　原本打算使用如下脚本，进行简单验证：

　　!/bin/bash

　　count=0

　　cat oriTest.txt | while read data

　　echo "$data" >> exist.txt

　　else

　　echo "$data" >> noexist.txt

　　fi

　　done
　　原始数据格式如下：

　　name mark id dir
　　运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

　　b. 方法2

　　主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

　　!/bin/bash

　　source ~/.bashrc
　　判断路径是否存在

　　readdata(){

　　cat $1 | while read data

　　do

　　dir=echo "$data" | awk -F "t" '{print $5}'

　　if [ -e $dir ];then

　　fi

　　done

　　}
　　大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)

　　split -l 10000 oriTest.txt

　　declare -a files # 声明数组

　　files=($(ls x*)) # 分割后的小文件名保存数组
　　遍历，并后台执行

　　for i in ${files[@]};do

　　readdata $i &

　　done

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

Linux内核模块管理查看	教你如何提升Linux服务
Linux 开发工具推荐	Linux系统下MTDCFI驱动