文本處理：提取文件的一部分並將它們寫入一行

April 1, 2017

我有幾個格式如下的文件：

...
&lt;title&gt; Field1 : DATA_FIELD_1&lt;/title&gt;
...
&lt;i class="blablabla"&gt;&lt;/i&gt; &lt;b&gt;Field2 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_2&lt;/span&gt;
...
&lt;i class="blablabla"&gt;&lt;/i&gt; &lt;b&gt;Field3 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_3&lt;/span&gt;
...
&lt;i class="blablabla"&gt;&lt;/i&gt; &lt;b&gt;Field4 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_4&lt;/span &gt;
...
&lt;i class="blablabla"&gt;&lt;/i&gt; &lt;b&gt;Field5 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_5 &lt;/span&gt;
...

我想讀取每個文件，獲取每個欄位的數據，然後以管道分隔格式將其寫入新文件。

例如：

FileID | Field1 | Field2 | Field3 | Field4 | Field5
1 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5
2 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5
3 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5
4 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5

我設法使用以下命令使用 grep 不正確地提取數據：

grep -o 'Field1 : .*\|Field2 : .*\|Field3 : .*\|Field4 : .*\|Field5 : .*' File-* &gt;&gt; NewFile

但這是我得到的結果

File-1:Field1 : DATA_FIELD_1&lt;/title&gt;
File-1:Field2 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_2&lt;/span&gt;
File-1:Field3 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_3&lt;/span&gt;
File-1:Field4 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_4&lt;/span &gt;
File-1:Field5 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_5 &lt;/span&gt;
File-2:Field1 : DATA_FIELD_1&lt;/title&gt;
File-2:Field2 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_2&lt;/span&gt;
File-2:Field3 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_3&lt;/span&gt;
File-2:Field4 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_4&lt;/span &gt;
File-2:Field5 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_5 &lt;/span&gt;
File-3:Field1 : DATA_FIELD_1&lt;/title&gt;
File-3:Field2 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_2&lt;/span&gt;
File-3:Field3 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_3&lt;/span&gt;
File-3:Field4 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_4&lt;/span &gt;
File-3:Field5 : &lt;/b&gt; &lt;span&gt;DATA_FIELD_5 &lt;/span&gt;

通常，使用正則表達式處理 HTML/XML 是一個壞主意，因為它們的表達能力不足以處理所有極端情況。但是，您的 grep 輸出表明我們可以在您的確切情況下。
這是一種使用 sed 處理從 grep 命令獲得的輸出的方法：
sed -e 'N;N;N;N;s/^File-\(.*\):Field1 : \(.*\)&lt;\/title&gt;.*Field2 : .*&lt;span&gt;\(.*\)&lt;\/span *&gt;.*Field3 : .*&lt;span&gt;\(.*\)&lt;\/span *&gt;.*Field4 : .*&lt;span&gt;\(.*\)&lt;\/span *&gt;.*Field5 : .*&lt;span&gt;\(.*\)\s*&lt;\/span *&gt;/\1 | \2 | \3 | \4 | \5 | \6/'
說明：
N;N;N;N;：這用於連接五到五行（以便將文件中的所有欄位放在同一行中）
s/：這會啟動一個替換命令，第一部分是匹配，第二部分是替換
^File-\(.*\):: 這匹配文件號
Field1 : \(.*\)<\/title>: 這匹配第一個欄位
.*Field2 : .*<span>\(.*\)<\/span *>: 這與第二個匹配
…
/\1 | \2 | \3 / \4 | \5 | \6/：這是替換部分：第一\(.*\)部分中\1由\2
結果：
1 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5 
2 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5 
3 | DATA_FIELD_1 | DATA_FIELD_2 | DATA_FIELD_3 | DATA_FIELD_4 | DATA_FIELD_5

另一種可能的方法是使用 XML 處理器。在這種情況下，XMLstarlet。
xmlstarlet sel -t -v 'substring-after(//title,":")' \
                 -m //span -o "|" -v .  \
              -t -n  *.xml
在哪裡：
sel -t– 根據以下模板選擇 XML 部分
-v 'substring-after(//title,":")'– 是 “:” 後面的 title 的值
-m //span -o "|" -v . – 匹配span並列印“|” 及其價值
-t -n– 添加一個換行符

引用自：https://unix.stackexchange.com/questions/354669

文本處理：提取文件的一部分並將它們寫入一行

相關問答

如何grep除匹配項和上一行之外的所有內容

提取欄位和每行出現的次數

找出文本文件中的哪一行與單詞匹配

如何從文件中刪除所有評論？

在 AIX 中 -A/-B 替換之後/之前的 Grep 行

grep -v 在 shell 腳本中不起作用