自動化測試專家 Elfriede Dustin 在 2008 年 10 月的《 Software Testing and Performance 》雜志上發(fā)表文章，深入探討了為什么如此多的自動化測試項目會最終失敗。

?

1 、 IDT 的自動化測試調(diào)查

???????? IDT （ Innovative Defense Technologies ）在 2007 年進(jìn)行了一次軟件自動化測試的研究調(diào)查。調(diào)查研究表明：雖然很多公司都認(rèn)為自動化測試是非常有用的，但是很少有公司真正成功地實施了自動化測試。在問及沒有很好地開展自動化測試的原因時，大部分人回答是由于缺乏資源，例如：時間、預(yù)算、技術(shù)等，其中：

??? ? 37% 認(rèn)為缺乏時間。

??? ? 17% 認(rèn)為缺乏足夠的預(yù)算。

??? ? 11% 認(rèn)為缺乏合適的工具。

??? ? 20% 認(rèn)為缺乏專家的技術(shù)指導(dǎo)。

????????研發(fā)領(lǐng)域的技術(shù)在過去 20 、 30 年間得到了高速的發(fā)展。然而我們對這些技術(shù)的測試能力并沒有跟上發(fā)展的速度?，F(xiàn)實告訴我們，測試變得越來越重要。 IDT 研究測試技術(shù)多年，發(fā)現(xiàn)一些有趣的東西：

（ 1 ）軟件測試開始和軟件開發(fā)一起驅(qū)動著業(yè)務(wù)。

????????以前，業(yè)務(wù)驅(qū)動著軟件和測試的技術(shù)發(fā)展?，F(xiàn)在，軟件和測試技術(shù)逐漸對業(yè)務(wù)起著驅(qū)動作用。業(yè)務(wù)部門可以有很好的業(yè)務(wù) idea ，但是如果軟件開發(fā)和測試部門不能很好地交付產(chǎn)品，或者測試能力有所欠缺的話，業(yè)務(wù)的競爭力會很快地消失。搶占市場的先機(jī)很重要，但是應(yīng)該給予產(chǎn)品開發(fā)和質(zhì)量保證更多的關(guān)注。

（ 2 ）應(yīng)該給予“感知質(zhì)量”更多的測試

????????質(zhì)量過程和標(biāo)準(zhǔn)往往過于關(guān)注數(shù)據(jù)，例如出現(xiàn)了多少個 Bug 、缺陷的密度等數(shù)據(jù)，而忽略了顧客的“感知質(zhì)量”。例如，對于一個產(chǎn)品，頻繁出現(xiàn)的 10 個缺陷，并且會影響到關(guān)鍵的功能運行，這往往會被顧客認(rèn)為是一個低質(zhì)量的產(chǎn)品，即使相對于整個項目而言，缺陷密度是非常低的。

????????相反地，如果發(fā)布的產(chǎn)品中有 100 個缺陷，但是不經(jīng)常出現(xiàn)，而且?guī)缀醪挥绊懻５墓δ懿僮?，顧客則會認(rèn)為這是個高質(zhì)量的產(chǎn)品，即便從數(shù)據(jù)看來，其缺陷率非常高。

????????到目前為止，并沒有太多“基于使用的測試”的研究。“基于使用的測試”探索感知質(zhì)量的內(nèi)涵，追求高的感知質(zhì)量，從而獲得更高的顧客滿意度。在? Elfriede Dustin 看來， amazon.com 相比起其他在線書店網(wǎng)站，擁有更高的顧客感知質(zhì)量，因為 amazon.com 的用戶體驗非常友好。

????????我們的目標(biāo)是提高產(chǎn)品的感知質(zhì)量。提高的途徑是：讓測試專注在那些最常使用的功能上（確保正常工作，沒有任何缺陷），專注于測試那些最常用功能的可用性、可靠性。

（ 3 ）測試人員總是會受到責(zé)備

???????? Deadline 臨近，而在多種環(huán)境下的測試周期看起來是無止境的。測試人員通常會因為 Deadline 而受到責(zé)備，還會因為項目超出預(yù)算、沒有覆蓋產(chǎn)品的所有 Bug 、缺乏創(chuàng)新等，受到責(zé)備。

????????但是，通常造成這種結(jié)果的真正原因是因為缺乏系統(tǒng)工程的過程。例如，對于一個上百萬行代碼、包含大量功能模塊的產(chǎn)品，僅僅依靠測試組的黑盒測試，費盡九牛二虎之力才找到一些 Bug 。

????????從另外一個角度來看，測試對項目進(jìn)度拖延的真正原因是：不良的開發(fā)習(xí)慣導(dǎo)致充滿 Bug 的代碼，需要很長的、重復(fù)的修改周期。

????????還有一個原因是：缺乏單元測試。調(diào)查分析表明：單元測試越充分、越有效，則系統(tǒng)測試會開展得越順利，系統(tǒng)測試的周期也會越短。

????????不能忽略的一個問題是產(chǎn)品構(gòu)建。構(gòu)建（ Build ）和發(fā)布（ Release ）的過程應(yīng)該自動化。如果沒有實現(xiàn)構(gòu)建的自動化，那么軟件構(gòu)建的過程將會是非常浪費時間、并且容易出錯的一件事情。

????????另外，如果 Deadline 本身設(shè)置得就不合理，那么導(dǎo)致失敗的可能性就非常大。有些 Deadline 的設(shè)置沒有考慮清楚究竟需要多長的時間來開發(fā)和測試軟件。

（ 4 ）開發(fā)人員不做測試

????????雖然已經(jīng)有不少的開發(fā)人員采用單元測試、測試驅(qū)動的開發(fā)方式，他們確實做得不錯。但是開發(fā)人員仍然缺少集成和系統(tǒng)方面的測試。開發(fā)人員往往傾向于關(guān)注自己編寫的功能模塊的問題，缺乏對整個系統(tǒng)的全局觀。

????????為什么開發(fā)人員不做一下系統(tǒng)測試呢？他們沒有時間，他們不是專業(yè)的測試人員，他們?nèi)鄙贉y試的技巧，他們忙著開發(fā)新的代碼和功能，并且測試系統(tǒng)整合部分的代碼不是他們的職責(zé)。

????????開發(fā)人員疲于應(yīng)付新功能的開發(fā)，以便滿足那些不合理的 Deadline 。畢竟，大部分人認(rèn)為搶占市場是很關(guān)鍵的。然而，事實證明，我們不僅僅要關(guān)注? R&D ，還要關(guān)注 R&D&T 。

?

2 、自動化測試的最佳實踐

????????很自然地，大家希望借助于自動化測試來縮短系統(tǒng)測試的周期，緩解測試的壓力。但是，如果在設(shè)計和代碼開發(fā)的過程中缺乏對自動化測試的考慮，例如提高應(yīng)用程序的可測試性，我們可能會掉入自動化測試的陷阱中去。

????????為了避免掉入自動化測試的陷阱， Elfriede Dustin 總結(jié)了幾個最佳實踐，其中包括：

（ 1 ）提高應(yīng)用程序的可測試性。

????????軟件開發(fā)人員可以通過在程序中構(gòu)建更多的可測試特性，來幫助測試人員開展自動化測試?？梢杂卸喾N方式來提高可測試性，其中一種比較常見的方式是提供日志或 跟蹤機(jī)制，從而提供關(guān)于程序正在做什么的信息，包括正在操作的數(shù)據(jù)，以及關(guān)于應(yīng)用程序狀態(tài)、運行中的錯誤等方面的信息。測試工程師可以利用這些信息來判斷 錯誤是否發(fā)生，跟蹤測試執(zhí)行過程中的各種處理流程。

????????在應(yīng)用程序執(zhí)行過程中，所有模塊都會寫入關(guān)于方法、函數(shù)、當(dāng)前處理對象等詳細(xì)的日志信息。通常日志會寫到文件或數(shù)據(jù)庫中，并且按一定的格式寫入，以便后期地分析和調(diào)試。

????????在某些復(fù)雜的 C/S 結(jié)構(gòu)系統(tǒng)或 Web 系統(tǒng)中，日志文件可能會寫到多個機(jī)器上，因此日志中應(yīng)該包含足夠的信息用于判斷在機(jī)器之間執(zhí)行的順序和路徑。但是也不能包含太多的信息，否則將影響后期的分析過程。這些日志信息對于開發(fā)人員定位問題的本質(zhì)有重要的作用，可以減少問題分析和定位、調(diào)試的時間。

（ 2 ） GUI 和接口測試的建議

????????錄制回放型的測試工具通過腳本語言記錄測試工程師在程序界面上的操作，然后通過回放來做一些基本的驗證。由于需要與 GUI 打交道，任何 GUI 的細(xì)微變化都可能引起腳本回放的失敗。因此，如果是基于位圖的錄制，則要注意下面幾個方面：

??? ?控件的字體不要隨便改動。

??? ?界面的顏色不要隨便改動。

??? ?顯示的設(shè)置需要保持不變。

??? ?如果可能，應(yīng)該保持操作系統(tǒng)的標(biāo)準(zhǔn)設(shè)置。

????????開發(fā)人員在做界面層的修改之前，需要考慮到界面的修改對自動化測試腳本的影響，尤其是在界面基線已經(jīng)建立起來之后，需要慎重考慮 GUI 的修改。

???????? GUI 測試工具通常是基于對象的屬性來識別對象的，因此開發(fā)人員最好能知道 GUI 測試工具的工作原理，這樣可以在修改 GUI 時盡量避免對自動化測試腳本造成的影響。

?

3 、小結(jié)

????????為了避免掉入那些主要的自動化測試陷阱， R&D 應(yīng)該在開發(fā)過程中把測試這個“ T” 也考慮進(jìn)去，而不僅僅考慮那些最新最酷的開發(fā)技術(shù)。如果發(fā)明并使用了最新最好的技術(shù)，但是不能被充分測試或者很難被測試到，那么我們?nèi)绾沃浪鼈兊馁|(zhì)量水平呢？！

? ? ? ?測試自動化是個很關(guān)鍵的技術(shù)，在開發(fā)軟件的過程中，程序員需要把測試效果和可測試性等因素考慮進(jìn)去。并且，還應(yīng)該明白修改 GUI 的內(nèi)容對于自動化測試腳本的影響。

自動化測試：為什么受傷的總是我？