本文摘自PHP中文网，作者巴扎黑，侵删。
有一道校招生的面试题，是要给一个很大的文件（不能全部放内存，比如1T）按行来排序和去重。一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。
在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到shell脚本文件里。文件名叫sort_uniq.sh.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | #!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
lines_per_file=`expr $lines / 20`
split -d -l $lines_per_file $1 __part_$1
for file in __part_*
do
{
sort $file > sort_$file
} &
done
wait
sort -smu sort_* > $2
rm -f __part_*
rm -f sort_*
|
使用方法：./sort_uniq.sh file_to_be_sort file_sorted
阅读剩余部分
相关阅读 >>
linux系统如何实现登录与退出
linux实现免密登录功能
把编译安装的httpd，利用service和chkconfig进行管理
linux实现显示器不休眠
linux实现显示器不休眠
linux实现使用cp命令时不提示信息
linux中如何实现网络连接
linux中如何实现文件的修改与保存
什么是nfs？分享在centos7上实现nfs共享
linux系统如何实现登录与退出
更多相关阅读请进入《实现》频道 >>
转载请注明出处：木庄网络博客 » 简单实现大文件的排序和去重
