- 相關推薦
網頁模糊歸類算法的應用與實現
摘要：本文運用以模糊綜合評判為核心的理論實現對網頁的模糊自動歸類，詳細闡述了網頁模糊歸類算法(FWCA)，并且通過一個實例闡明了實現過程。作者利用此算法親自設計實現了一個“網頁模糊歸類測試系統”，通過分析大量實驗數據證明了利用此算法得歸類效果非常穩定和準確。
關鍵詞：FWCA 模糊綜合評判 網頁歸類 分類瀏覽 搜索引擎
自有文字和書籍以來，人類就開始注意文章的分門別類和編撰目錄。那些目錄事實上就將文章按照內容的類別進行了分類。九十年代以來，Internet 以驚人的速度發展起來，Web的容量增長迅速，平均每天增加100萬個頁面。計算技術發展到今天，靠人來閱讀互聯網上信息和對網上信息做分門別類和總結已經不可能。
搜索引擎的分類瀏覽模式由此應運而生。它的目錄分類的質量較高，檢索效果好；但是需要人工維護，因此存在成本高、信息更新慢、維護的工作量大的缺點。而基于模糊技術的網頁自動歸類能依據網頁中所包含的文本的語義將大量的網頁自動分門別類，從而更好地幫助人們把握網絡信息。
網頁模糊歸類步驟與算法
簡單地說，網頁自動歸類所要完成的任務就是在給定的分類體系下，根據網頁的內容自動地確定網頁關聯的類別。如果從純數學角度來看，網頁分類的過程實際上就是一個多對多的映射過程。依據“貝葉斯假設”的內容，可以假定組成網頁的元素在確定網頁類別的作用上相互獨立。這樣，可以使用網頁中出現的字或詞的集合來代替網頁，即用一個向量來表示文本：D（W1,W2,W3……Wn），其中 Wi 為第 i 個元素（以下均稱為“特征項”）的數值。當然，這將丟失大量關于網頁內容的信息，但是這種假設可以使網頁的表示和處理形式化，從而讓計算機可以處理網頁。
構成網頁中的文本的詞匯，數量是相當大的，因此，表示網頁的向量空間的維數也相當大，可以達到幾萬維，所有幾萬個詞匯對網頁分類的意義是不同的。首先，需要考慮詞語的性質。一些通用的、各個類別都普遍存在的詞匯對分類的貢獻是很小的，因此特征提取過程需要去掉對表達網頁類別不太重要的詞匯。例如“的”、“地”、“得”、“著”、“了”等等。其次，在某特定類中出現比重大而在其他類中出現比重小的詞匯對文本分類的貢獻大，為了提高分類精度，可以利用詞語的互信息量篩選出針對該類的特征項集合。具體操作方法是算出每個詞語的互信息量并排序，然后抽取前ｎ個詞語作為該類別的特征項，抽取的原則是反復試驗使得網頁歸類效果最優。互信息量(I)計算公式由下式給出：
為了讓計算機為我們進行網頁的自動歸類，必須先對計算機進行訓練。只要訓練網頁足夠多，那么由計算機進行的歸類活動也將是準確的。所有的訓練樣本都需表示為向量 。并使用每個詞的相對詞頻（TF-IDF 公式）對網頁樣本的特征項進行量化。然后，將每個類別中的所有訓練樣本數據合成為一個平均參照樣本，計算方法就是將每個特征項的值求算術平均。相對詞頻計算公式由下式給出：
在歸類過程中，采用三級模糊綜合評判。一級指標因素集（網頁中出現位置）包括：網頁題名、文章標題、第一段首句、第一段尾句、第二段首句、第二段尾句、第三段首句、第三段尾句、首段、尾段、HTML標記。二級指標因素集（詞性）包括：名詞, 動詞, 形容詞, 副詞, 介詞, 連詞, 助詞, 數字, 符號。三級指標因素集：待分類網頁中所包含的全部詞語的頻數。評價集確定為V={V1(不屬于0), V2(不太可能屬于0.25), V3(可能屬于0.5), V4(很可能屬于0.75), V5(屬于1)}。
專家隨機抽取了300篇網頁，對這些網頁進行人工自由標引、人工打分、詞頻統計，并進行統計數據的分析、研究，將一級指標因素權重集確定為A={0.128, 0.128, 0.128, 0.104, 0.104, 0.104, 0.06, 0.06, 0.06, 0.06, 0.05, 0.05}；根據語言學專家對各類別中不同詞性的詞語對標志一個類別（以中圖分類法為標準）重要性程度統計和評分，將二級指標因素權重集確定為An={0.28, 0.18, 0.24, 0.06, 0.05, 0.04, 0.04, 0.06, 0.05}；根據詞語的互信息量確定出三級指標因素權重為Anm={Anm1, Anm2 … Anmx} 其中，Anmx即為對應詞語的互信息量
隸屬函數采用卡夫曼教授提出的隸屬函數確定方法（正態分布模型）確定如下：
① 詞頻針對“不屬于”的隸屬函數
② 詞頻針對“不太可能屬于”的隸屬函數
③ 詞頻針對“不可能屬于”的隸屬函數
④ 詞頻針對“很可能屬于”的隸屬函數
⑤ 頻針對“屬于”的隸屬函數
其中，axyz是訓練樣本中詞語的相對詞頻；x為樣本網頁中對應詞的統計詞頻；系數是通過人工評判得到一些特殊點，由待定系數法求出的。
下面就要根據多級模糊綜合評判的計算方法與步驟將待歸類網頁與所有類別的平均參照樣本進行一遍計算，得出一組表示該網頁與各個類別貼近度的數值。然后按照“最大隸屬原則”，將網頁劃到Vn值最大的對應的類別中；或者用“域值法”，事先確定一個不大于1的域值λ，若Vn
【網頁模糊歸類算法的應用與實現】相關文章：
圖像處理中的模糊算法及實現03-13
圖像拼接算法及實現03-03
FFT算法的研究與DSP實現03-07
鐵路行包配裝算法研究與實現03-02
3-DES算法的FPGA高速實現03-20
指紋預處理算法與實現的研究03-07
基于SOPC的LMS自適應濾波算法實現03-07