【51CTO技術譯文】為什么Java程序員要考慮使用Google的Java App Engine呢，主要有以下幾點原因：只要你的頁面訪問量每月不超過500萬，Google就免費向你提供空間。如果訪問量超過了這一限額，你也可以隨時通過升級為付費用戶取消這一限制。

◆Google的App Engine 平臺（包括Java和Python版本）讓你不用做什么額外工作就有很強的伸縮性

◆App Engine 提供了一個功能很強的管理界面，你可以通過它查看錯誤日志，瀏覽你所保存的數據，分析程序的性能（例如請求響應時間等），還可以實時監控你所部署的應用。即便是和Amazon的EC2這樣優秀的Web控制臺比起來，Google的Web應用程序管理功能也毫不遜色。

◆只要你愿意，你也可以通過App Engine SDK 把App Engine 上的應用遷移到你自己的服務器上，當然，這樣就會損失一些伸縮性(scalability)了。

◆因為在App Engine上開發程序時使用的都是標準的 API，所以當你要把應用移植部署到其它平臺上時，就只需要對程序作非常小的改動了。不過反過來做就不是這么簡單了。比如說如果你的程序調用大量的J2EE API函數，或者說依賴于關系型數據庫等等，那么把這些程序移植到App Engine上就非常麻煩。

◆那些用J2EE寫Web程序的開發者們可能一開始會覺得App Engine 的種種限制讓人覺得很不適應，但是這樣做的好處也是很明顯的，服務器的花費將大大減少。如果你想要更大的自由度和伸縮性，那么你還可以考慮Amazon的EC2服務（我是既用App Engine，也用EC2）。

本文接下來將介紹Java開發者如何使用Google應用程序引擎。它演示了如何在App Engine上編寫實現文檔的存儲和搜索功能。本文還探討了Java App Engine文檔里的一些有用技術和應用程序示例。

你需要作的準備 

◆Eclipse或IntelliJ IDEA開發環境 

◆一個App Engine 帳號，如果還沒有的話，在這里申請（沒有App Engine 帳號的開發者可以通過在你自己電腦上安裝App Engine SDK體驗它） 

◆下載App Engine SDK 供本地開發時使用 

◆安裝Eclipse的或IntelliJ 的Java App Engine 插件。  
 
示例工程里的文件

圖1 示例工程里的文件

許多Java開發人員使用 Lucene （或基于Lucene的框架）來實現搜索功能。但是，在App Engine環境下使用Lucene的內存索引模式沒有什么好處。我們的這個示例工程另辟蹊徑在App Engine平臺上實現了搜索功能。

App Engine的持久性數據存儲效率是非常高的，但它不使用關系模型，也沒有Hibernate這樣的對象關系映射（Object Relational Mapping ，ORM）框架。不過，App Engine還是提供了對一些標準的持久性API，如JDO，JPA,以及JCache。我們的示例程序使用JDO實現數據持久（data persistence）。

這個程序部署在這里。每個使用這個演示程序的人都可以把數據清空從頭再來，所以你這次添加的信息下次可以就會看不到了。

作者注：這個程序演示了JDO的使用以及如何用JDO實現搜索，為了突出重點，程序沒有增加對多用戶這些功能的支持。

圖1顯示了這個Java App Engine項目所包含的文件。后續的章節將詳細介紹packagecom.kbsportal.model 里的模型類和 com.kbsportal.persistence 里的持久類PMF。由于packagecom.kbsportal.util這個包里的各種類和App Engine里的差別較大，我們就不在這里作過多討論了。如果要詳細了解這些，你可以看看我們的源代碼以及JSP文件（在 war/WEB-INF目錄里）。我們也會對JSP文件里某些Java代碼片段加以解釋。

使用JDO實現數據持久化

JDO是一個用于持久化Java對象的古老API。起初，為了實現持久化存儲，JDO要求開發者必須編寫和維護XML文件，以提供Java類的數據映射屬性。Google使用 DataNucleus 工具自動完成這一過程。你只需要在你的Java模型類里面加以注解，DataNucleus工具就會自動為你維護正確的數據映射關系。如果使用了Eclipse的或IntelliJ IDEA的App Engine插件，當你編寫持久類時，DataNucleus工具就會自動在后臺作用。

警告：JDO和App Engine放到一起有時候會產生兼容性問題。如果你是在本地用Eclipse開發，只要刪除目錄 WEBAPP /war/WEB-INF/ appengine-generated/ local_db.bin里的文件。 如果你的Web應用已經部署上去了而且要修改模型類，那么你只需在App Engine控制臺中把已有的索引文件刪除即可

以下各節將介紹兩個持久類的實現并探討這些基于JDO實現的代碼。

#p#

文檔模型類

Eclipse或IntelliJ IDEA的App Engine插件與JDO以及DataNucleus工具的組合非常好用。使用這個組合設計和實現你自己的模型文件，并添加必須的注解，這些對你來說應該不成問題。不過你還是要注意DataNucleus工具在后臺運行時所提示的錯誤信息。

在開始設計實現自己的持久類前，不妨先看看下面這個模型類，它是用來反映一個文件模型的。這個類在定義時會引入所需的JDO 類（實際上你的編輯器會自動幫你填寫這些包含語句）。第一行注釋聲明了這個類是持久的。這個類被標識為APPLICATION，這樣你就可以為那些創建后就將持久存在的對象分配ID。如果你要為數據存儲對象分配ID，那么你可以把類型指定為DATASTORE。

package com.kbsportal.model;  
 
import javax.jdo.annotations.IdentityType;  
import javax.jdo.annotations.PersistenceCapable;  
import javax.jdo.annotations.Persistent;  
import javax.jdo.annotations.PrimaryKey;  
 
@PersistenceCapable(identityType=IdentityType.APPLICATION)  
public class Document {  
 

這段代碼聲明了把成員變量uri作為在數據存儲里查找Document對象時的主鍵。JDO的索引主鍵也被設為URI。本文的示例文本存儲在IndexToken這個類里面使用了這個主鍵（IndexToken類將在下一節進一步討論）。這段代碼還特別說明了title, content以及numWords這幾個成員變量要持久保存。

@PrimaryKey private String uri;  
@Persistent private String title;  
@Persistent private String content;  
@Persistent private int numWords; 

類聲明里的其它部分則不包含JDO具體說明。

public Document(String uri, String title, String content) {  
    super();  
    setContent(content);  
    this.title = title;  
    this.key = uri;  
  }  
  public String getUri() { return key; }  
  public String getTitle() { return title; }  
  public void setTitle(String title) { this.title = title; }  
  public String getContent() { return content; }  
  public void setContent(String content) {  
    this.content = content;  
    this.numWords = content.split("[\\ \\.\\,\\:\\;!]").length;  
    System.out.println("** numWords = " + numWords + " content: "+content);  
  }  
  public int getNumWords() { return numWords; }  
}  

注意在內容字符串上所作的長度限制；GoogleApp Engine的數據存儲限制字符串不得超過500個字符。（使用com.google.appengine.api.datastore.Textfors可以獲得沒有長度限制的字串。 ）

#p#

IndexToken模型類

該IndexToken類基于JDO實現了搜索功能。這個類有兩種工作模式：整詞索引、整詞及詞前綴索引。在源文件的頭部你可以通過一個常量指定它的工作模式：

package com.kbsportal.model;  
 
import java.util.ArrayList;  
import java.util.Collections;  
import java.util.Comparator;  
import java.util.HashMap;  
import java.util.List;  
 
import javax.jdo.PersistenceManager;  
import javax.jdo.annotations.IdGeneratorStrategy;  
import javax.jdo.annotations.IdentityType;  
import javax.jdo.annotations.Index;  
import javax.jdo.annotations.PersistenceCapable;  
import javax.jdo.annotations.Persistent;  
import javax.jdo.annotations.PrimaryKey;  
 
import com.kbsportal.persistence.PMF;  
import com.kbsportal.util.NoiseWords;  
import com.kbsportal.util.Pair;  
import com.kbsportal.util.SearchResult;  
 
@PersistenceCapable(identityType=IdentityType.APPLICATION)  
public class IndexToken {  
  static boolean MATCH_PARTIAL_WORDS = true;  // package visibility  

把這個標志設置為true，就會開啟單詞的前綴匹配功能，類似于搜索關鍵字自動校正功能。

現在我們該看看如何建立索引片段（可能還包括單詞前綴的索引片段）以及如何確定每個索引片段的匹配度。以下是具體的代碼（來自IndexToken.java包里的源文件，它是作為一個單獨的局部類實現的，以方便在其他項目重復使用） ：

class StringPrefix {  
  public List getPrefixes(String str) {  
    List ret = new ArrayList();  
    String[] toks = str.toLowerCase().split("[\\ \\.\\,\\:\\;\\(\\)\\-\\[\\]!]");  
    for (String s : toks) {  
      if (!(NoiseWords.checkFor(s))) {  
        if (!IndexToken.MATCH_PARTIAL_WORDS) { // exact words only  
          ret.add(new Pair(s, 1f));  
        } else { // or, also match word prefixes  
          int len = s.length();  
          if (len > 2) {  
            ret.add(new Pair(s, 1f));  
            if (len > 3) {  
              int start_index = 1 + (len / 2);  
              for (int i = start_index; i < len; i++) {  
                ret.add(new Pair(s.substring(0, i), (0.25f * (float) i) / (float) len));  
              }  
            }  
          }  
        }  
      }  
    }  
    return ret;  
  }  
}  

應用中的一些理念

通過使用 Peter Norvig的拼寫檢查算法可以實現更完整的拼寫檢查功能。使用相對較低的相關系數可以生成錯誤的拼寫序列和IndexToken實例。在我所寫的書"Practical Artificial Intelligence Programming in Java"的第9章里有一個Java版本的 Norvig算法實現。

#p#

其它實現方法

我在另一個大項目里使用了這些代碼，那個項目需要一個彈出式的文字補全提示；我們存儲的這些前綴起到了“雙重作用”。本文主要講解基于JDO的文件存儲和搜索，但你可以簡單地使用一個JavaScript庫，例如 Prototype或GWT實現彈出的提示菜單。另外，你也可以只把詞干作為 IndexToken實例保存。點擊此處查看相關Java詞根提取程序。
 
Pair這個類是在com.kbsportal.util包里實現的，這個包里面還有另外兩個類： NoiseWords和SearchResults 。我們在此不再追究這些類的細節。今后我們將深入這些源文件。

要完成IndexToken，以及示例程序的其余部分，我們要用到JDO的API，首先是在類屬性說明里加入這些注解：

@PrimaryKey 
@Persistent(valueStrategy = IdGeneratorStrategy.IDENTITY)  
private Long id;  
@Persistent @Index private String textToken;  
@Persistent private String documentUri;  
@Persistent private Float ranking;  

@Persistent 標示這個成員在整個對象被保存時要被插入到數據存儲里去。valueStrategy的值是可選的，按上面這樣設置是表明你希望數據存儲為你這個類的ID屬性自動賦值。@PrimaryKey 注釋讓DataNucleus工具知道，在查找數據存儲區里的這種對象時要以該參數為主鍵。

作者注：通常情況下都是通過主鍵獲取對象。然而，在我們這個程序里，我們將要通過IndexToken類的參數值 textToken 來查找對象。但是我們不能使用參數textToken 作為主鍵，因為這樣有可能導致在數據存儲區里有主鍵一樣的不同實例出現。

下面這個成員方法能獲取文件ID（文件的URI）以及文件中的一段文字，實例化一個IndexToken類：

public static void indexString(String document_id, String text) {  
    PersistenceManager pm = PMF.get().getPersistenceManager();  
    List lp = new StringPrefix().getPrefixes(text);  
    for (Pair p : lp) {  
        if (p.str.length() > 0 && !Character.isDigit(p.str.charAt(0))) {  
          pm.makePersistent(new IndexToken(document_id, p.str, p.f));  
        }  
    }     
  }  

這段代碼用到了StringPrefix 類。另外還使用了工具類PMF（等下我們就會更詳細地去了解它）來獲得一個App Engine持久管理器（persistence manager)的實例。這類似于一個JDBC 連接對象。

在IndexToken里還有一個值得一提的地方就是search這個靜態方法.

public static List search(String query) {  
    List< SearchResult> ret = new ArrayList< SearchResult>();  
    PersistenceManager pm = PMF.get().getPersistenceManager();  
    String [] tokens = query.toLowerCase().split(" ");  
    HashMap matches = new HashMap();  

此方法返回SearchResult類的實例。查詢字符串被轉換為小寫并被分割。對于每一個片段，你都將再次用StringPrefix計算前綴（以及原始單詞） ，計算結果將用于查找包含這些關鍵詞的文件：

for (String token : tokens) {  
      List lp = new StringPrefix().getPrefixes(token);  
      for (Pair p : lp) {  
        String q2 = "select from " + IndexToken.class.getName() + "  where textToken == '" + p.str + "'";  
        @SuppressWarnings("unchecked")  
        List itoks = (List) pm.newQuery(q2).execute();  

這個查詢字符串可能看起來會覺得有點像標準的SQL語句 ，但不是。其實它們是JDO的查詢語言（ JDOQL ） 。它從一個在數據存儲區持久化了的類里面取數據，而不是像SQL語句那樣通過一個數據庫的表名來提取數據。TextToken就是IndexToken 的一個持久化參數。這個JDOQL能返回數據存儲區中所有textToken成員參數與查詢關鍵字匹配的IndexToken實例。（51CTO編者注：JDOQL是JDO的查詢語言；它有點象SQL，但卻是依照Java的語法的。）

搜索功能的其它部分實現起來就沒有什么難點了。只需要保存所有的文件匹配以及根據匹配度計算出的排名權重。

for (IndexToken it : itoks) {  
          Float f = matches.get(it.getDocumentUri());  
          if (f == null) f = 0f;  
          f += it.getRanking();  
          matches.put(it.getDocumentUri(), f);  
        }  
      }     
    }  

這樣我們就建立好了查詢關鍵字與文件之間的映射關系，還知道了這些文件的URI以及排名權重。我們只需要把匹配結果從數據存儲區里取出來就可以了（只有這樣我們才有結果可顯示）， 然后把這些與關鍵字相匹配的文檔按匹配度從高到低排列，就形成了搜索結果。

for (String s : matches.keySet()) {  
      String q2 = "select from " + Document.class.getName() + "  where uri == '" + s + "'";  
      @SuppressWarnings("unchecked")  
      List itoks = (List) pm.newQuery(q2).execute();  
      if (!itoks.isEmpty()) {  
        int num_words = itoks.get(0).getNumWords();  
        ret.add(new SearchResult(s, matches.get(s) / (float)(num_words), itoks.get(0).getTitle()));  
      }  
    }  
    Collections.sort(ret, new ValueComparator());  
    return ret;  
  }  

ValueComparato這個類是在源文件IndexToken.java里定義的，作用就是對搜索結果進行排序。

static class ValueComparator implements Comparator {  
    public int compare(SearchResult o1, SearchResult o2) {  
      return (int)((o2.score - o1.score) * 100);  
    }  
  }  

處理持久性數據存儲：PMF類

我們這里所展示的PMF類代碼是從Google的文檔里復制過來的。這個類創建了一個私有的PersistenceManagerFactory實例并重用它。

package com.kbsportal.persistence;  
import javax.jdo.JDOHelper;  
import javax.jdo.PersistenceManagerFactory;  
 
public final class PMF {  
    private static final PersistenceManagerFactory pmfInstance =  
        JDOHelper.getPersistenceManagerFactory("transactions-optional");  
    private PMF() {}  
    public static PersistenceManagerFactory get() {  
        return pmfInstance;  
    }  
}  

#p#

示例程序的JSP頁面

在寫JSP頁面時，我通常最開始是把Java代碼嵌入到JSP頁面里，到最后，我再把一些公用代碼提取出來放到自定義的JSP標簽庫里，再給模型類添加上額外的行為。在這個程序里，我就不演示最后這幾步清理工作了。

作為首頁顯示的index.jsp頁面是用來顯示系統里所有的文件的。它也包含了一些可選的調試代碼（我通常會把這些調試代碼注釋掉），可以列出所有IndexToken類的實例（見 圖2 ） 。index.jsp 這個文件最開頭的部分引入了一些必要的類，定義了HTML頭信息，然后還引入了menu.jsp，這個文件是用來作分頁條的。

< %@ page import="javax.jdo.*, java.util.*,   
    com.kbsportal.model.*,com.kbsportal.persistence.PMF" %> 
< %@ page language="java" contentType="text/html; charset=ISO-8859-1" 
    pageEncoding="ISO-8859-1"%> 
< !DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"   
   "http://www.w3.org/TR/html4/loose.dtd"> 
< html> 
< head> 
< meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1"> 
< title>KBSportal Java App Engine Search Demo< /title> 
< /head> 
< body> 
< %@ include file="menu.jsp" %> 

圖2 列出所有文件：調試代碼列出了所有IndexToken 實例，并顯示了一些索引片段。

在IndexToken實例里我們已經見過JDOQL查詢語句。在這里，查詢語句返回所有文件對象：

< h2>All documents:< /h2> 
< %  
  PersistenceManager pm = PMF.get().getPersistenceManager();   
  Query query = pm.newQuery(Document.class);  
  try {  
       List< Document> results = (List< Document>)   
          query.execute();  
       if (results.iterator().hasNext()) {  
           for (Document d : results) {  
             System.out.println("key: "+d.getUri() +   
                ", title: "+d.getTitle());  
%> 
               < h3>< %=d.getTitle()%>< /h3> 
               < p>< %=d.getContent()%>< /p> 
< %  
           }  
       }  
  } finally {  
      query.closeAll();  
  }     
%> 

這里我們沒有用JDOQL查詢語句，而是用了一個查詢對象來獲取數據，這樣我們所獲得的查詢結果就在其它JSP文件里也可以使用了，如果你只想獲取某個特定標題的文件，那么通過下面的代碼可以篩選結果：

String title_to_find = "Dogs and Cats" 
query.setFilter("title == " + title_to_find);  

index.jsp這個文件的后半部分也包含一些調試代碼，在調試Web程序時我們可能會需要啟用它。這段代碼與之前那段調試代碼幾乎完全一樣，只不過這段代碼顯示的是所有的IndexToken實例。

query = pm.newQuery(IndexToken.class);  
   try {  
       List results = (List) query.execute();  
       if (results.iterator().hasNext()) {  
           for (IndexToken indexToken : results) { 

圖3  用于向數據存儲區添加文件的表單：這個JSP頁面提供了一個可以向系統增加“文件” 的HTML輸入框

new_document.jsp這個文件提供了一個可以向系統增加“文件” 的HTML輸入框。（見 圖3 ） 。下面的代碼是從new_document.jsp截取出來的，它的作用是頁面請求中是否包含表單數據。如果有的話，就向數據存儲區里插入一個Document實例。

< %  
  String url = request.getParameter("url");  
  String title = request.getParameter("title");  
  String text = request.getParameter("text");  
  if (url!=null && title!=null && text!=null) {  
   PersistenceManager pm =   
      PMF.get().getPersistenceManager();  
   try {  
     Document doc = new Document(url, title, text);  
     pm.makePersistent(doc);  
     IndexToken.indexString(doc.getUri(), doc.getTitle() +   
        " " + doc.getContent());  
   } finally {  
     pm.close();  
   }  
  }  
%> 

makePersistent這個方法會被直接調用并把文件保存到數據存儲區。靜態方法IndexToken.indexString則把根據文件標題和內容生成的片段插入到數據存儲區里。

圖4 從數據存儲區里：刪除所有文件和索引片段 示例應用程序需要一個簡單的方法來清空數據存儲區里所有測試“文件”數據

由于此示例程序是公開托管在Google那里，它需要一個簡單的方法來清除文件存儲區里所有的測試“文件”。delete_all.jsp這個jsp文件能從數據存儲里刪除所有的文件和索引片段（參見 圖4 ） 。

PersistenceManager pm = PMF.get().getPersistenceManager();   
  Query query = pm.newQuery(Document.class);  
  try {  
    List results = (List)   
       query.execute();  
    if (results.iterator().hasNext()) {  
        for (Document d : results) {  
            pm.deletePersistent(d);  
        }  
    }  
  } finally {  
    query.closeAll();  
  }   
 
  query = pm.newQuery(IndexToken.class);  
  try {  
    List results = (List) query.execute();  
    if (results.iterator().hasNext()) {  
      for (IndexToken indexToken : results) {  
          pm.deletePersistent(indexToken);  
      }  
    }  
  } finally {  
    query.closeAll();  
  } 

search.jsp的JSP的文件包含了一個HTML搜索框（參見 圖5 ） 。以下是處理搜索操作的代碼：

String query = "";  
   String results = "< b>Results:< /b>< br/>";  
   Object obj = request.getParameter("search");  
   if (obj != null) {  
     query = "" + obj;  
     List hits = IndexToken.search(query);  
     for (SearchResult hit : hits) {  
       results += "< p>" + hit + "< /p>";  
     }  
   } 

圖5 搜索結果： filesearch.jsp包含有一個HTML搜索框。

SearchResults類里新增的ToString 方法用于格式化搜索結果：

public String toString() { return url +  
   " - " + score + ": " + title; }  

成本低廉的解決方案

Google App Engine為我們提供了一套無成本（或低成本）的解決方案。盡管對于某些Web應用服務來說，它可能并不是最佳的部署平臺，但它絕對值得一試，而且絕對有資格成為我們開發工具箱里的備選項。

【App Engine相關文章推薦】

1. 手把手教你在Google App Engine上運行PHP
2. Google App Engine免費配額降低公告
3. 開始您的第一個Google App Engine應用
4. Google App Engine：Java SDK 1.2.1發布
5. Google App Engine對Java支持情況一覽
6. Google App Engine：堅定的站在Java的中心