Ubuntu
Apache Flume 在兩個 Ubuntu 虛擬機之間傳輸文本文件內容
我正在製作 Apache Flume 的原型。我的任務是在我使用 VirtualBox 設置的兩個 Ubuntu 虛擬機之間傳輸文本文件內容。儘管我一直在閱讀他們的文件,但我對 Flume 幾乎一無所知。
使用 VirtualBox,我能夠創建一個內部網路,並且兩個 VM 能夠成功地相互 ping 通。
我還能夠下載和配置水槽,如下所示:https ://cwiki.apache.org/confluence/display/FLUME/Getting+Started
我的觀點是 Flume 已經安裝並且可以在兩個虛擬機上執行(或者我認為)。
這篇文章給了我一個小想法:https ://stackoverflow.com/questions/19112465/flume-data-transferring-to-server
那麼,我是否在每個 VM 上都實現了該 flume.conf 文件?我需要編寫Java來做到這一點嗎?
另外,我發現了這個影片,在 18 分鐘左右,這個人幾乎完全按照我的意願行事。但是,我希望輸入是一個文本文件。
我通過使用接收器類型作為 file_roll 解決了這個問題。我還必須確定第二個 VM 的 IP,以便兩者可以連接。
我在此連結中找到了有關如何執行此操作的分步說明:http: //thisandthat.io/blog/flume-part3/
此外,您不需要編寫任何 Java 來執行此操作。但是,按照 Flume 的標準,請確保您的 JAVA_HOME 在 flume-env.sh 文件中正確聲明。所有其他部分由創建的 .conf 文件處理(如上面的連結中所述)。