TTQS訓練機構版之訓練成果評估探討

評核委員 尚幼民

    TTQS推廣距今已多年，台灣各大、中小企業及工、協會、訓練中心等辦訓單位，已視TTQS為最具代表性的辦訓檢測工具。而之中整體辦訓的成效展現，莫過於指標17訓練成果評估，以下將針對TTQS訓練機構版在指標17的訓練成果評估多元性及完整性做探討。

    指標17訓練成果評估多元性及完整性的意涵為：提供有效性的驗證資訊，藉由透過4個層面的評估，來確定訓練的價值。而指標17則是參考Donald Kirkpatrick 四階層訓練評估所制訂。Kirkpatrick 四階層訓練評估包含：(一)L1反應評估（reaction level）、(二)L2學習評估（learning level）、(三)L3行為評估（behavior level）及(四)L4成果評估（result level）。這四階段評估目的在於了解學員訓後的學習成果，以及是否能將專業知識、技術移轉及應用在實務工作之上，重點在於四階段的評估各有標準與佐證資料之要求，將訓練成果以資料、紙本、照片或量化等方式呈現，讓整體成果清楚且具體。而四階段的評估是循序漸進，通常一般工、協會的成果評估僅做到第一階段L1反應評估(課後問卷調查)及L2學習評估(考試、測驗)，L3行為評估大部分單位僅是依委訓單位規定，執行訓後3個月之追蹤調查，並無任何後續評估模式或後續分析與檢討，這是非常可惜。TTQS重視成果之展現，目的在於讓辦訓單位能清楚知道辦訓成效與價值，並使之檢討與改善內容，逐一向目標邁進，更確切的說，在Kirkpatrick 四階層訓練評估，L1反應評估及L2學習評估為訓後課程的績效展現(包含學員滿意度、課程心得、考試成績、證照等)，為課程的設計與安排是否能幫助學員學習並達到課程要求水平；而L3行為評估及L4成果評估則是整體專業知識、技術、態度在實務工作上的移轉與應用。

    在各階層的評估中，TTQS要求的資料展現、原因及針對目前業界問題與檢討改進要點如下：

(一)L1反應評估（reaction level）

    反應評估在TTQS定義中為課程實施後，受訓學員的觀點與感受。即是學員在上課時的感覺、印象，經常代表性資料則為滿意度調查、學員意見回饋表等文件，最直接反應學員對於訓練的認同與想法。但若僅針對學員調查是資料不足的，僅有單一面向無法全面性代表課程的滿意成果，在訓練機構版中，建議亦可針對講師對課程的滿意度調查及回饋建議。而調查之中不僅需時間、場地、講師調查，亦需針對訓練內容、教材、方法與工作相關性及應用性、行政滿意度等多面向辦訓相關內容去做詢問，才能了解整個課程的設計與安排需改善的地方。

(二)L2學習評估（learning level）

    學習評估是針對課後是否符合預期的要求。即是學員在訓後的成績、作品、心得等成果，展現學員在訓後的收穫與成長，針對學員在知識、技術、態度上的增進與改變。除了以上提及的成果展現，亦可使用訓前訓後知識/技術調查，了解學員自我評估上本身的課程了解與知識技術長進之認同，若為有專業技術之證照的產業，可以鼓勵學員運用課程所學考取相關專業證照，以認證技術知識上的肯定。

(三)L3行為評估（behavior level）

    行為評估則是將訓練所學運用到實務工作執行並展現個人工作績效。L3及L4的後續評估並非短期內就可得知，而是需要經過一段時間的觀察與追蹤，通常在訓練機構版最常展現的資料為：學員訓後動態調查、學習成果行動追蹤表等資料。而這部分難以呈現的原因，有可能訓後學員並無任何實質運用與態度轉變，這時就需回歸探討訓練本質是否無任何效用或是內容設計不加，以至於難以將所學移轉至工作實務上；或是除了專業的訓練課程之外，學員是否有想改進成長的上進心、工作場所是否能適度發揮所學內容、以及學員是否能適當理解與判斷問題狀況，而發揮所學之知識技術都是考量要點。

(四)L4成果評估（result level）

    成果評估為經營與績效的展現，是最終訓練目的與成果，所有訓練成果評估都是為了與訓練目的做切合。在訓練機構版中，像是失業者就業、工作職務晉升與加薪等，訓練的緣由延伸目標在計劃出課程，而成果評估則是評斷整體課程是否達到課程最終目的。在所有層面中，L4評估難度最高，因有多種因素導致成果無法展現，或是後續追蹤無法執行。訓後追蹤需學員及主管與公司的多方面配合，若學員離職或公司不願進行調查，甚至失去學員聯繫，就無法有具體的成果佐證，是訓練機構單位在成果評估追蹤上的一大困難。

    訓練成果展現意味著課程的有效度與價值，更是訓練課程績效的展現。在我們重視課程的計劃、設計與執行、監控時，成果更是要用心的部分，以免造成虎頭蛇尾的情況發生，藉此與各位辦訓夥伴共勉之。