基于內容的推薦引擎有兩種實現途徑，一種是根據條目的元數據(可以將元數據理解為屬性)，另一種是根據條目的文本描述信息。本系列中將先描述基于條目描述信息的全文檢索實現方式，然后描述基于元數據的內容推薦引擎實現方式。

對于基于條目文本描述信息的內容推薦引擎，目前有很多資料可以參考，基本步聚是先對文本內容進行分詞，包括提取出單詞、去掉常用詞如的地得、加入同意詞、對英語還有去掉復數形式和過去分詞形式等;第二步是計算各個詞在每篇文章中的出現頻率，以及在所有文章中的出現頻率，即TF/IDF;第三步計算文章向量;***是利用自動聚類算法，對條目進行聚類，這樣就可以實現向用戶推薦同類產品的需求了。

但是在這里有一個非常重要的問題沒有解決，就是中文分詞的問題，這些文章中絕大部分都是以英文為背景的，而英文分詞方面，分出單詞很簡單，只需要空格作為分隔符就可以了，而中文中詞與詞之間沒有空格，其次是英文中單復數、過去分詞等比較多，需要還原成單數現在式，但是中文中這個問題基本不存在，再有就是英文需要在分詞后識別長的詞組，而中文這一步也不需進行。

針對以上這些難題，在我的項目中，采用了MMSeg4j中文分詞模塊，這個項目集成了據說是搜狗輸入法的10萬多詞庫(大家知道中文分詞的關鍵是中文詞庫)。

另外，我還希望中文分詞可以在全文檢索引擎和全文內容推薦引擎共用，由于全文檢索引擎采用了Apache Lucene 3.x版本，需要中文分詞模塊符合Lucene的體系架構，幸運的是MMSeg4j提供了Lucene所需的Tokenizer實現類，同時還需要重點解決如下問題：

• 由于打開索引文件比較慢，所以整個程序共享一個indexer和searcher
• 考慮到準實時性需求，采用了Lucene新版本中reopen機制，每次查詢前讀入索引增量
• 采用Lucene默鎖機制

在項目中我定義了全文檢索引擎類：

public class FteEngine { 
 
　　public static void initFteEngine(String _indexPathname) { 
　　　　indexPathname = _indexPathname; 
　　} 
 
　　public static FteEngine getInstance() { // Singleton模式 
　　　　if (null == engine) { 
　　　　　　engine = new FteEngine(); 
　　　　} 
　　　　return engine; 
　　} 
 
　　public IndexWriter getIndexWriter() { 
　　　　return writer; 
　　} 
 
　　public IndexSearcher getIndexSearcher() { 
　　　　try { 
　　　　　　IndexReader newReader = reader.reopen(); // 讀入新增加的增量索引內容，滿足實時索引需求 
　　　　　　if (!reader.equals(newReader)) { 
　　　　　　　　reader.close(); 
　　　　　　　　reader = newReader; 
　　　　　　} 
　　　　　　searcher = new IndexSearcher(reader); 
　　　　} catch (CorruptIndexException e) { .... 
 
　　　　} catch (IOException e) {.... 
　　　　} 
　　　　return searcher; 
　　} 
 
　　public Analyzer getAnalyzer() { 
　　　　return analyzer; 
　　} 
 
　　public void stop() { 
　　　　try { 
　　　　　　if (searcher != null) { 
　　　　　　　　searcher.close(); 
　　　　　　} 
　　　　　　reader.close(); 
　　　　writer.close(); 
　　　　indexDir.close(); 
　　　　} catch (IOException e) {.... 
　　　　} 
　　} 
 
　　private FteEngine() { 
　　　　analyzer = new MMSegAnalyzer(); // 初始化中文分詞模塊，會讀入中文字典 
　　　　IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_31, analyzer); 
　　　　iwc.setOpenMode(OpenMode.CREATE_OR_APPEND); 
　　　　try { 
　　　　　　indexDir = FSDirectory.open(new File(indexPathname)); 
　　　　　　writer = new IndexWriter(indexDir, iwc); // writer和reader整個程序共用 
　　　　　　reader = IndexReader.open(writer, true); 
　　　　} catch (CorruptIndexException e) {...... 
　　　　} catch (LockObtainFailedException e) {...... 
　　　　} catch (IOException e) {..... 
 
　　　　} 
　　} 
　　private static FteEngine engine = null; 
　　private static String indexPathname = null; 
　　private Directory indexDir = null; 
　　private IndexWriter writer = null; 
　　private IndexSearcher searcher = null; 
　　private Analyzer analyzer = null; 
　　private IndexReader reader = null; 
} 
 
具體中文分詞可以使用如下代碼： 
 
FteEngine fteEngine = FteEngine.getInstance(); 
Analyzer analyzer = fteEngine.getAnalyzer(); 
String text = "測試2011年如java有意見 分岐其中華人民共合國，oracle咬死獵人的狗！"; 
TokenStream tokenStrm = analyzer.tokenStream("contents", new StringReader(text)); 
OffsetAttribute offsetAttr = tokenStrm.getAttribute(OffsetAttribute.class); 
CharTermAttribute charTermAttr = tokenStrm.getAttribute(CharTermAttribute.class); 
String term = null; 
int i = 0; 
int len = 0; 
char[] charBuf = null; 
try { 
　　while (tokenStrm.incrementToken()) { 
　　charBuf = charTermAttr.buffer(); 
　　for (i = (charBuf.length - 1); i >= 0; i--) { 
　　　　if (charBuf[i] > 0) { 
　　　　　　len = i + 1; 
　　　　　　break; 
　　　　} 
　　} 
　　//term = new String(charBuf, offsetAttr.startOffset(), offsetAttr.endOffset()); 
　　term = new String(charBuf, 0, offsetAttr.endOffset() - offsetAttr.startOffset()); 
　　System.out.println(term); 
} 
} catch (IOException e) { 
　　// TODO Auto-generated catch block 
　　e.printStackTrace(); 
} 

打印的內容如下：

測試 2011 年 如 java 有 意見 分 岐 其中 華 人民 共 合 國 oracle 咬 死 獵人 的 狗

當我們在缺省詞庫中加入單詞：分岐 中華人民共合國后，那么分詞結果可以變為：

測試 2011 年 如 java 有 意見 分岐 其 中華人民共合國 oracle 咬 死 獵人 的 狗

由此可見，可以通過完善中文詞庫，得到越來越好的中文分詞效果。

原文鏈接：http://www.cnblogs.com/yantao7589/archive/2011/08/16/2140399.html

【編輯推薦】

1. 代號：Denali，SQL Server再出擊
2. 說說SQL Server編年史
3. 簡單說說SQL Server上的加密術
4. 擦亮自己的眼睛去看SQL Server