如何合併多個文本文件並有效去除重複文件？

我嘗試了很多東西，但其中大多數只是卡住了或沒有正確刪除重複項。輸出文件是否排序無關緊要

如果 file1.txt 包含

a
b
c
d
e
c
d

如果 file2.txt 包含

c
d
e
a
f
g
g
h

output.txt 應該包含

a
b
c
d
e
f
g
h

只需使用sort -u file[12].txt >output.txt. 在刪除重複項的同時對輸入進行排序。

確保您的文件採用 Unix 類型的換行格式 (LF \n) 而不是 Dos/Windows 換行格式 (CRLF \r\n)；如果不通過or命令轉換它們。tr -d $'\r' <filename``dos2unix filename

引用自：https://unix.stackexchange.com/questions/578187