在浏覽器中打開頁面並加以判斷,無疑是測試一個Web應用程序最直接的方式。借助一款合適的自動測試工具或框架,測試人員就可以在一定程度上從繁重的手動測試工作中解放出來。Ruby平台下的Watir無疑是這方面的姣姣者,因此被大量用於Web應用程序的回歸測試或驗收測試。不過對於使用.NET Framework的技術團隊來說,Watir不一定是最好的選擇。目前社區中已經出現了幾款.NET平台下的Web測試框架,測試人員現在就可以使用自己最熟悉的語言來實現同樣的功能,並與自己的開發環境無縫集成。
WatiN
WatiN是Watir的“應對之作”,使用C#語言開發,不過能夠使用任意.NET語言編寫測試代碼。WatiN 1.0只支持IE浏覽器,不過從2.0版本開始也能自動操作FireFox(需安裝插件)浏覽器了。其最新版本是2月19日發布的2.0 CTP3,對面向FireFox的相關功能進行了增強並修改了一些bug。其附屬項目WatiN Test Recorder支持對浏覽器操作的捕獲,並自動生成測試代碼。WatiN Test Recorder目前剛發布了alpha版本,您可以從它的主頁上跟進其最新消息。WatiN是一個開源項目,使用Apache License 2.0協議發布。
Selenium
嚴格說來,Selenium是一套完整的Web應用程序測試系統,它包含了測試的錄制(Selenium IDE)、編寫及運行(Selenium Remote Control)和測試的並行處理(Selenium Grid)。Selenium的核心Selenium Core基於JsUnit,完全由JavaScript編寫,因此可運行於任何支持JavaScript的浏覽器上。
Selenium Core由一種指定格式的HTML文件驅動,在一定程度上增強了測試套件(Test Suite)的可讀性。Selenium Remote Control允許測試人員使用常見的語言(自然包括C#等.NET語言)編寫測試代碼,並支持不同操作系統下的各種主流浏覽器。Selenium Grid的作用是將測試分發至多台機器,這樣便可大大加快測試速度。與WatiN相同,Selenium也是一款同樣使用Apache License 2.0協議發布的開源框架。
LTAF
Lightweight Test Automation Framework for ASP.NET(輕量級ASP.NET自動測試框架,下文簡稱為LTAF)是一款由ASP.NET QA團隊開發的框架,並用於產品的回歸測試。測試人員能夠使用任意.NET代碼編寫測試,並使用內置的API操作DOM元素。LTAF最近發布了April Update並包含了框架代碼,它的Release Note記錄了框架的使用方式。趙劼最近在博客中談到了利用LTAF對ASP.NET MVC應用程序中的視圖作獨立的單元測試,他在文章中對LTAF有這樣的評價:
雖然在某些方面(例如DOM元素的選取)不如其“競爭對手”,但是LTAF自有其獨到之處:
由於直接在浏覽器中運行,它天生便支持現有的——以及未來可能出現的任意浏覽器。
由於直接部署在被測試的網站中,因此測試代碼和網站頁面是在同一個進程中。
第一點優勢自不必說,而第二點更是關鍵。試想WaitN和Selenium,都是通過編寫代碼在浏覽器中打開頁面。這意味著我們的在測試代碼和被測試的網頁分別在不同的進程中。在這個前提下,如果我們要將測試代碼中定義的數據傳遞給被測試的網頁(也就是視圖對象),我們就必須進行跨進程的通信。而無論怎麼實現,都逃不過“序列化”一途,這無疑增加了復雜度。而使用LTAF之後,這個問題瞬間煙消雲散了,因為我們可以直接在內存中“傳遞”測試數據,一切都只是個引用而已。
不過任何事物都具有兩面性,LTAF也有一些難以天生的,而且是永遠無法彌補的缺點。例如:
由於LTAF將待測試的頁面放置在Frame中,因此該頁面上的window.top等基於浏覽器frame結構的屬性會被改變。
由於LTAF的本質是使用JavaScript來操作DOM,這意味著任何會阻塞程序進行的操作(例如alert)都不能使用,否則將阻塞整個測試過程。
幸運的是,這兩點都不會成為嚴重的問題。對於第一種情況,我們只需要編寫一個自定的getTop方法來替換直接訪問windows.top的做法即可。而第二種情況——老趙從來不喜歡alert或confirm這種“純浏覽器功能”,因為它們會帶來很差的用戶體驗,更何況現在的JavaScript類庫/框架都能很輕松的做出這種效果,您覺得呢?
比較
雖然老趙推薦使用LTAF,不過究竟哪款測試框架最適合您的項目,還需要讀者根據需要自己的需要做出判斷。以下表格列出了他們的橫向比較。
框架 WatiN Selenium LTAF 浏覽器支持 IE / FireFox IE / FireFox / Opera / Safari 任意 自動生成代碼 有,但目前不支持FireFox浏覽器 58.9 無 開源協議 Apache Licence 2.0 Apache Licence 2.0 不開源,但發布代碼 其他 / 可將測試分布於多台機器執行,加快速度 測試代碼與網站在同一進程中