引言：近期的人工智能項目中，涉及到抽取小范圍時間內(nèi)的相似文本的需求，故小編應(yīng)V粉們請求，運用java語言編寫以下小程序，在此分享。

把文本轉(zhuǎn)化成數(shù)學模型，通過數(shù)學方法處理文本的先決條件，此過程稱為文本特征抽取。其中，向量作為一種基本的數(shù)學模型，是文本特征抽取的一種常見方法。

文本的向量空間模型（VSM)

向量空間模型中將文本表達為一個向量，看作向量空間中的一個點。

詞權(quán)重

句子中的每個詞在決定句子的含義時貢獻度并不相同，表明每個詞的權(quán)重不同，例如：

· * 重要的詞：世界杯、國足

· * 不重要的詞：球迷、亞洲杯

詞權(quán)重：反映每個詞的重要性的度量。那么如何計算權(quán)重呢?下面由小編向大家介紹注明的TF/IDF計算方法。

TF-IDF與余弦相似性

首先，讓我們從一個實例開始：假如現(xiàn)在有一篇文章《假如國足獲得世界杯冠軍》，我們準備用計算機提取它的關(guān)鍵詞，這個問題涉及到文本處理、數(shù)據(jù)挖掘、信息檢索等多個領(lǐng)域，但是這是一個非常簡單的經(jīng)典算法。找到出現(xiàn)次數(shù)最多的詞，是一個最容易考慮到的想法，如果某個詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。

其次，我們進行"詞頻"（縮寫為TF）統(tǒng)計。出現(xiàn)次數(shù)最多的詞是"的"、"是"、"在"這一類最常用的詞。它們叫做"停用詞"，表示對找到結(jié)果毫無幫助、必須過濾掉的詞。假設(shè)我們把它們都過濾掉了，只考慮剩下的有實際意義的詞。問題又隨即出現(xiàn)，"國足"、"世界杯"、"冠軍"這三個詞的出現(xiàn)次數(shù)一樣多。是否意味著，作為關(guān)鍵詞，它們的重要性是一樣的？顯然不是。因為"國足"是很常見的詞，相對而言，"冠軍"和"世界杯"不那么常見。如果這三個詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認為，"冠軍"和"世界杯"的重要程度要大于"國足"，也就是說，在關(guān)鍵詞排序上面，"冠軍"和"足球"應(yīng)該排在"中國"的前面。

最后，我們需要一個重要性調(diào)整系數(shù)來衡量一個詞是不是常見詞。如果某個詞比較少見，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性，表明它正是我們所需要的關(guān)鍵詞。

用統(tǒng)計學語言表達，即在詞頻的基礎(chǔ)上，要對每個詞分配一個"重要性"權(quán)重。最常見的詞（"的"、"是"、"在"）給予最小的權(quán)重，較常見的詞（"中國"）給予較小的權(quán)重，較少見的詞（"冠軍"、"世界杯"）給予較大的權(quán)重。這個權(quán)重叫做"逆文檔頻率"（IDF），它的大小與一個詞的常見程度成反比。知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個值相乘，就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個詞，就是這篇文章的關(guān)鍵詞。

偽碼如下：

計算余弦夾角：

計算結(jié)果：

通過以上實驗，我們由此判斷，文章越相似，閥值越高。

精選10款機械設(shè)備模型，其中包含SMT全自動涂覆機、彈性薄板自動焊接機、全自貼標簽設(shè)備等模型免費下載！

SMT全自動涂覆機

彈性薄板自動焊接機

全自貼標簽設(shè)備

設(shè)備密封性試驗機

液壓注塑機