ASP.NET應(yīng)用程序處理文件上傳
在Web程序中文件上傳是很常見的需求。利用HTTP協(xié)議文件上傳的方式非常有限，最常見的莫過于使用<input type="file" />元素進(jìn)行上傳。這種上傳方式會將內(nèi)容使用multipart/form-data方案進(jìn)行編碼，并將內(nèi)容POST到服務(wù)器端。使用 multipart/form-data編碼方式與默認(rèn)的application/x-url-encoded編碼方式相比，在大數(shù)據(jù)量情況下效率要高很多。
使用<input type="file" />文件上傳最大的優(yōu)勢在于編程方便，幾乎各種服務(wù)器端技術(shù)都對這種上傳方式做了良好的封裝，使得程序員能夠直觀地對客戶端上傳的文件進(jìn)行處理。不過總體來說，這個協(xié)議并不適合做文件傳輸，解析數(shù)據(jù)流內(nèi)容的代價相對較高，并且沒有一些例如斷點續(xù)傳的機(jī)制來輔助，導(dǎo)致在上傳大文件時經(jīng)常會力不從心。
有朋友認(rèn)為使用<input type="file" />文件上傳最大的問題在于內(nèi)存占用太高，由于需要將整個文件載入內(nèi)存進(jìn)行處理，導(dǎo)致如果用戶文件上傳太大，或者同時上傳的用戶太多，會造成服務(wù)器端內(nèi)存耗盡。這個觀點其實是錯誤的。對于某些服務(wù)器端的技術(shù)，例如Spring Framework，或者早期ASP.NET 1.1時，為了供程序處理，都會將用戶上傳的內(nèi)容完全載入內(nèi)存，這的確會帶來問題。但是其實協(xié)議本身并沒有規(guī)定服務(wù)器端應(yīng)該使用何種方式來處理上傳的文件。例如在現(xiàn)在的ASP.NET 2.0中就已經(jīng)會在用戶上傳數(shù)據(jù)超過一定數(shù)量之后將其存在硬盤中的臨時文件中，而這點對于開發(fā)人員完全透明，也就是說，開發(fā)人員可以像以前一樣進(jìn)行數(shù)據(jù)流的處理。
ASP.NET 2.0啟用硬盤臨時文件的閾值（threshold）是可配置的：
- <system.web>
- <httpRuntime
- maxRequestLength="Int32"
- requestLengthDiskThreshold="Int32"/>
- </system.web>
maxRequestLength自不必說，剛接觸ASP.NET的朋友總會發(fā)現(xiàn)文件上傳不能超過4M，這就是因為maxRequestLength的大小默認(rèn)為4096，這就限制著每個請求的大小不得超過4096KB。這么做的目的是為了保護(hù)應(yīng)用程序不受惡意請求的危害。當(dāng)請求超過maxRequestLength之后，ASP.NET處理程序?qū)⒉粫幚碓撜埱蟆＿@里和ASP.NET拋出一個異常是不同的，這就是為什么如果用戶文件上傳太大，看到的并非是ASP.NET應(yīng)用程序中指定的錯誤頁面（或者默認(rèn)的），因為ASP.NET還沒有對這個請求進(jìn)行處理。requestLengthDiskThreshold就是剛才所提到的閾值，其默認(rèn)值為256，即一個請求內(nèi)容超過256KB 時就會啟用硬盤作為緩存。這個閾值理論上和客戶端是否是在上傳內(nèi)容無關(guān)，只要客戶端發(fā)來的請求大于這個值即可。因此，在ASP.NET 2.0中服務(wù)器的內(nèi)存不會因為客戶端的異常請求而耗盡。
如果我們需要在ASP.NET應(yīng)用程序處理文件上傳，我們一般就會直接使用<asp:FileUpload />控件進(jìn)行文件上傳。如果一個頁面中存在<asp:FileUpload />控件，那么頁面中form元素的enctype就會被自動改為multipart/form-data，而且我們可以在頁面PostBack之后通過<asp:FileUpload />控件的引用來獲得客戶端通過該控件所上傳得文件。不過，如果文件上傳的功能需要較為特別的需求——例如需要進(jìn)度條提示，<asp:FileUpload />控件就無能為力了。
確切地說，應(yīng)該是<input type="file" />所能提供的支持非常有限，因此一些特殊需求我們不能實現(xiàn)——嚴(yán)格說來，應(yīng)該是無法輕易地、直接地實現(xiàn)。這樣，在實現(xiàn)這些功能時，我們就會繞一個大大的彎。為了避免每次實現(xiàn)相同功能時都要費神費時地走一遍彎路，因此出現(xiàn)了各種上傳組件。上傳組件提供了封裝好的功能，使得我們在實現(xiàn)文件上傳功能時變得輕松了很多。例如幾乎所有的上傳組件都直接或間接地提供了進(jìn)度提示的功能，有的提供了當(dāng)前的百分比數(shù)值，有的則直接提供了一套UI；有的組件只提供了簡單的UI，有的卻提供了一整套上傳、刪除的管理界面。此外，有的組件還提供了防止客戶端惡意上傳的能力。
關(guān)于ASP.NET下的上傳組件，最廣為流傳的方式莫過于在ASP.NET Pipeline的BeginRequest事件中截獲當(dāng)前的HttpWorkerRequest對象，然后直接調(diào)用其ReadEntityBody等方法獲取客戶端傳遞過來的數(shù)據(jù)流，并加以分析和處理。在ASP.NET 1.1時期，這么做的目的是為了直接將數(shù)據(jù)寫入硬盤，以避免上傳內(nèi)容消耗太多服務(wù)器內(nèi)存，但是現(xiàn)在自然已經(jīng)不會因為這個原因而這么做了。從客戶端發(fā)起請求到一定規(guī)模的數(shù)據(jù)傳輸完畢需要一段時間，那么從HttpWorkerRequest對象中讀取數(shù)據(jù)流自然需要一段時間，而在這段時間內(nèi)，客戶端可以使用新的請求進(jìn)行輪詢來獲得當(dāng)前上傳的狀況。這就是獲得上傳進(jìn)度的最傳統(tǒng)的做法。這個做法的原理很容易理解，但是寫出一個完整的組件其實很不容易，尤其是各種細(xì)節(jié)方面的問題會讓人感到防不勝防。此類組件中最成功且最著名的莫過于NeatUpload了。
NeatUpload是一個開源組件，使用LGPL（Lesser General Public License）許可協(xié)議，也就是說它是“business-friendly”的。NeatUpload可以在ASP.NET和 mono中使用，能夠?qū)⑸蟼鞯奈募嬖谟脖P中或者Sql Server數(shù)據(jù)庫中。NeatUpload提供了兩個服務(wù)器控件：<NeatUpload:InputFile> 和<NeatUpload:ProgressBar>。前者用于代替<asp:FileUpload />，可以通過它訪問到用戶通過特定上傳框上傳的內(nèi)容；后者則是一個進(jìn)度條顯示控件，負(fù)責(zé)使用彈出窗口或內(nèi)聯(lián)的形式顯示上傳的進(jìn)度。彈出窗口自不必說，而所謂的“內(nèi)聯(lián)”方式其實只是在頁面中嵌入一個Iframe元素，然后通過不斷刷新iframe中的頁面來進(jìn)行進(jìn)度展示而已——可見它和彈出窗口顯示方式的區(qū)別僅僅在頁面所處的位置。當(dāng)然，如果我們希望將其移植為AJAX形式也不難，只需開發(fā)一個頁面，繼承NeatUpload提供的 ProgressPage類，并通過ProgressPage所提供的一些屬性（總字節(jié)數(shù)，已上傳字節(jié)數(shù)，已花時間，etc.）來獲得當(dāng)前上傳的進(jìn)度，最后直接使用Response.Write輸出JSON形式的數(shù)據(jù)即可。事實上原本在iframe（或新窗口）中的頁面，也是繼承了 ProgressPage類，并且使用HTML的方式進(jìn)行呈現(xiàn)而已，本質(zhì)上并沒有太大區(qū)別。
不過個人認(rèn)為，其實NeatUpload的實用價值不高（這點稍后再述），它最大的意義還在于提供了一個完整的優(yōu)秀的示例。NeatUpload設(shè)計精巧，注釋完整，是個不可多得學(xué)習(xí)案例。如果能夠?qū)eatUpload的代碼研究一遍，那么相信在編程能力和ASP.NET的理解上都會上一個新的臺階。此外，在NeatUpload站點上還能夠發(fā)現(xiàn)NeatHtml。NeatHtml是一個開源的Web組件，用于顯示不安全的內(nèi)容（主要是用戶輸入內(nèi)容，例如博客評論，論壇帖子等等），主要用于避免跨站腳本（XSS，Cross-Site Scripting）等安全問題。作為組件的作者，Dean還將NeatHtml所用到的技術(shù)總結(jié)為一篇Whitepaper，感興趣的朋友可以看一下，這是一份不可多得的技術(shù)資料。
與NeatUpload類似的開源組件還有Memba Velodoc XP Edition，它是Velodoc文件管理系統(tǒng)的核心。不過嚴(yán)格說來，這不僅僅是一個上傳組件，而是一套文件管理的解決方案，它包含：
1. 一個兼容IIS 7集成管道模式的ASP.NET Http Module，支持大文件上傳使用（有趣的是，NeatUpload申明，IIS 7的一個Bug使它無法在IIS 7集成管道模式中使用）。
2. 一個支持?jǐn)帱c續(xù)傳的ASP.NET Http Handler。
3. 一系列ASP.NET服務(wù)器端控件，提供了文件上傳功能所需的UI，包括一個多文件上傳控件，一個ListView控件和一個進(jìn)度條控件。
4. 一個Web應(yīng)用程序，可以替換FTP的交換文件方式，支持Email發(fā)送鏈接。它也是上面所提到的組件的使用示例。
5. 一個Windows Service，用于定期清理舊文件。
6. 一個測試項目、一個部署項目、以及一個安裝項目。
7. 文檔。
回到NeatUpload組件。說實話，我始終不喜歡這種進(jìn)度獲取方式，因為我覺得通過一個額外的請求對服務(wù)器進(jìn)行輪詢無疑是一個累贅。事實上，如果需要上傳大文件并且獲得上傳進(jìn)度，目前最好的方式應(yīng)該是使用RIA方式。最典型的RIA上傳方式就是利用Flash了。ActionScript 2.0中已經(jīng)存在FileReference和FileReferenceList組件以支持單文件和多文件的上傳，有了這兩個組件，上傳的各種信息已經(jīng)能夠完全在客戶端獲得，而上傳進(jìn)度也自然能夠計算出來。FileReference和FileReferenceList組件非常容易使用，就連像我這樣對Flash一竅不通的人，也能在短時間內(nèi)作出一個簡單的上傳功能。但是自從有了swfupload，世界就變得更美好了。
swfupload也是個開源組件，顧名思義是使用Flash進(jìn)行上傳。不過對于swfupload來說，F(xiàn)lash的作用主要是“控制”，而不是 “展示”，這無疑給了開發(fā)人員更大的靈活性。swfupload的實現(xiàn)方式自然是利用了FileReference和FileReferenceList 組件所提供的功能，通過Flash與JavaScript的交互能力，使得開發(fā)文件上傳功能變得非常優(yōu)雅和容易。有了swfupload，開發(fā)人員可以使用JavaScript來實現(xiàn)各種顯示方式，開發(fā)像Flicker一樣酷酷的上傳界面也不再是非常困難的事情了。
swfupload是個客戶端組件，它對于服務(wù)器端來說完全透明，也就是說，服務(wù)器端只需要使用對待普通form的方式來處理即可。例如在ASP.NET中我們可以使用Generic Handler來處理客戶端的文件上傳。如下，fileCollection變量即為客戶端Post至服務(wù)器端所有文件的集合，我們可以使用name或下標(biāo)的方式來獲得其中的HttpPostedFile對象：
- publicclassUploadHandler:IHttpHandler
- {
- publicvoidProcessRequest(HttpContextcontext)
- {
- HttpFileCollectionfileColllection=context.Request.Files;
- ...
- }
- publicboolIsReusable{...}
- }
既然Flash提供了文件上傳功能，Silverlight作為微軟主推的RIA技術(shù)也不會缺了這項功能。這篇文章源自Silverlight 2.0的Quick Starts，展示了如何使用Silverlight 2.0開發(fā)文件上傳的功能，感興趣的朋友可以一讀。
圍繞著ASP.NET中文件上傳這個話題也討論了不少了，還有什么沒有涉及到的嗎？個人認(rèn)為其實至少還有一個非常重要問題是沒有討論過，那就是在ASP.NET應(yīng)用程序處理文件上傳時占用ASP.NET處理線程的問題。眾所周知，ASP.NET處理請求時會用到線程池中的線程，當(dāng)線程池中的線程被用完之后沒有被處理的請求只能排隊了。因此增大ASP.NET應(yīng)用程序吞吐量的一個重要手段，就是為一些耗時的操作使用異步處理方式（事實上這一命題可以在大部分應(yīng)用中成立）。例如一個數(shù)據(jù)庫查詢操作需要3秒鐘，如果不使用異步操作，處理線程就會被阻塞，直至查詢完成。如果使用異步方式來執(zhí)行數(shù)據(jù)庫查詢，在這3秒鐘內(nèi)線程就可以用戶處理其他請求，當(dāng)異步操作結(jié)束之后，ASP.NET就會使用另一個線程來繼續(xù)處理這個請求。
上傳大文件也是一個長時間占用處理線程的工作，而且遺憾的是，這無法使用異步操作來完成（通過異步操作來釋放處理線程需要操作系統(tǒng)的支持，因此只有少量功能可以使用異步操作）。如果一個文件上傳需要3分鐘時間，那么在這3分鐘內(nèi)就會獨占一個處理線程，如果文件上傳的連接一多，就會大大影響應(yīng)用程序的性能——就像遭受了某種方式的DOS攻擊一樣。因此，即使使用了像NeatUpload和swfupload這樣的組件，也無法解決上傳連接過多造成可用線程減少的問題。要解決這個問題并不容易，以下是兩種思路（歡迎大家就此問題進(jìn)行討論）：
◆擴(kuò)展IIS，使文件上傳或處理文件的過程不經(jīng)ASP.NET處理，以減少ASP.NET應(yīng)用程序線程的消耗。現(xiàn)在有了IIS 7，如果使用集成管道模式，應(yīng)該也可以使用托管代碼進(jìn)行擴(kuò)展。
◆使用額外的ASP.NET應(yīng)用程序處理文件上傳，以節(jié)省文件上傳的線程對原ASP.NET應(yīng)用程序線程的消耗。
【編輯推薦】
