人才測評軟件開(kāi)發(fā)及其應用研究
發(fā)布時(shí)間：2011-09-13 17:40:32
點(diǎn)擊數：46915 次
一、問(wèn)題的提出
人才測評是現代人力資源管理中的新技術(shù)和新方法，而計算機化測評則是現代人才測評中最前沿的課題。所謂計算機化測評即以計算機為媒體來(lái)實(shí)現對人才的測評。實(shí)現計算機化的關(guān)鍵是測評軟件系統的開(kāi)發(fā)。
測評軟件的開(kāi)發(fā)有四種方式：一是測試方式的計算機化，即將現有的測評工具和方法等傳統手工紙筆操作方式在計算機上實(shí)現，如，標準化測驗、紙筆考試的試卷等。二是測評信息管理的計算機化，如測評對象的基本信息、測評結果信息等的管理等，提供便利的查詢(xún)、遠距離傳輸方式方法，以及信息的共享等。第三是對測評管理過(guò)程進(jìn)行全方位的無(wú)紙筆化管理，例如通過(guò)網(wǎng)絡(luò )發(fā)布測評公告或信息、接受報名，其它如考場(chǎng)的編排、監考人員的分配、評分、測評結果的分析處理、測評報告的輸出等。四是用現代計算機技術(shù)的功能和特點(diǎn)在計算機上直接開(kāi)發(fā)測評的工具軟件。如，自適應性測驗CAT、自動(dòng)組卷題庫、虛擬情景測評等。
我國人才測評軟件的開(kāi)發(fā)研究起步于八十年代后期，由于當時(shí)計算機軟硬件技術(shù)發(fā)展水平的限制，如計算機速度慢、內存小，存儲器容量有限，DOS平臺、文字處理及圖像處理平臺軟件的功能較弱等因素致使當時(shí)研發(fā)的測評軟件水平軟低，操作復雜，通用性差，只在非常有限的范圍內使用。
九十年代以后，隨著(zhù)人才測評理論與實(shí)踐的發(fā)展，人們對測評軟件工具的需求日益迫切，特別是計算機軟硬件技術(shù)的飛躍，為人才測評軟件的發(fā)展提供了強有力的技術(shù)支持。視窗操作系統(WINDOWS)推出，使測評軟件有了一個(gè)很好的支撐平臺；多媒體技術(shù)的發(fā)展使測評軟件突破了簡(jiǎn)單文字圖形的內容限制，測評內容更加豐富化；網(wǎng)絡(luò )的快速發(fā)展，使測評突破了空間的束縛，極大地提高了測評的效率。目前測評軟件已經(jīng)在技術(shù)上躍進(jìn)了一個(gè)大臺階，特別是多媒體技術(shù)的應用，提高了測評軟件的趣味性和吸引力，在操作上更加簡(jiǎn)便和人性化。測評的功能上更加多樣化和綜合化，在這方面做得比較成功的是美國。如美國教育測驗服務(wù)中心(Educational Testing Service，ETS)已經(jīng)在GRE和TOEFL考試上實(shí)現了無(wú)紙筆化。多數測評公司的測驗都以軟件的方式提供給用戶(hù)，美國全美軟件系統有限公司(ATA)研制出并在美國成功進(jìn)行商業(yè)化運行的E-testing全程自動(dòng)化測評系統，實(shí)現了從報名、抽題、閱卷評分、證書(shū)打印，到求職、招聘、人才交流、人才管理各相關(guān)領(lǐng)域內的網(wǎng)絡(luò )化運行，將測評、考核、評定、評審與人才推薦、人才交流于一體。
與發(fā)達國家相比，我國在人才測評軟件開(kāi)發(fā)方面是相當落后的。國內一些科研機構和電腦公司也在積極進(jìn)行人才測評軟件的開(kāi)發(fā)，比起八十年代來(lái)，技術(shù)方面有了很大的進(jìn)步，但是也存在著(zhù)很多問(wèn)題。最突出的是測評內容的科學(xué)性問(wèn)題，有些測評軟件只是將一些常見(jiàn)的測驗作簡(jiǎn)單的收集，或粗略編制一些測驗，并未對其進(jìn)行嚴格的檢驗。此外，系統的兼容性和維護等問(wèn)題也比較突出。測評軟件功能都比較單一，有的僅是一個(gè)人機對話(huà)測試系統，有的只是一個(gè)評分系統，有的只是一個(gè)信息管理或考務(wù)管理系統，多功能綜合化的測評軟件的開(kāi)發(fā)則處于探索階段。鑒于此種情況，我們決定在前期探索和實(shí)踐的基礎上，進(jìn)行現代人才測評軟件的系統研發(fā)工作，并確立了測評軟件開(kāi)發(fā)的"三高"標準，即高起點(diǎn)、高水準、高質(zhì)量。本研究自1995年開(kāi)始，在對國內外測評軟件進(jìn)行調查和研究的基礎上，確立了人才測評軟件開(kāi)發(fā)的基本原則，提出了人才測評軟件系統的功能結構。在此理論研究的基礎上開(kāi)發(fā)出了《華瑞人才測評軟件系統》系列軟件。
二、測評軟件開(kāi)發(fā)的原則
多年來(lái)在人才測評軟件開(kāi)發(fā)和實(shí)際應用的經(jīng)驗和教訓使我們認識到，人才測評軟件的開(kāi)發(fā)方面應該遵循以下六條基本原則。
1.科學(xué)性。所謂科學(xué)性是指測評工具與方法的科學(xué)性�？茖W(xué)性是測評軟件系統的根本，只有做到了測評工具的科學(xué)性，才能保證測評結果的有效性。我們所開(kāi)發(fā)的測評系統采用的測評工具，大部分是經(jīng)過(guò)自己研究開(kāi)發(fā)的測驗量表等工具，這些測評工具在研究過(guò)程中作過(guò)多次預試和大規模常模取樣測試，項目分析結果和信度、效度檢驗均達到測驗編制的要求以上，并在一些人事測評中試用過(guò)，有良好的效果。為了方便用戶(hù)的使用，我們也將目前國內外最常用的一些標準化的心理量表以集成化的方式納入到系統中。這些量表也都經(jīng)過(guò)我們的修訂和校檢。
2.實(shí)用性。實(shí)用性是指測評工具的設置和開(kāi)發(fā)要針對測評工作的實(shí)際，能夠滿(mǎn)足組織開(kāi)展測評的需要。例如我們在開(kāi)發(fā)《企業(yè)版》軟件時(shí)，在內容設置方面，考慮到企業(yè)組織選拔人才測評的需要和進(jìn)行員工心理素質(zhì)測評等多種需要，設置有基本能力素質(zhì)測評的工具，如《一般能力傾向測驗》，也有人格、個(gè)性方面的如《個(gè)性品質(zhì)測驗》、《卡特爾16PF個(gè)性測驗》量表，還有對人的氣質(zhì)進(jìn)行測評的工具，如《氣質(zhì)測驗》，以及現實(shí)能力測驗和心理健康測驗等，如《管理能力測驗》、《心理健康量表》等。本系統的開(kāi)發(fā)立足于企業(yè)組織進(jìn)行人才選拔與考核和人力資源開(kāi)發(fā)與管理的實(shí)際，因此所選用的測評工具有高的鑒別力。如自陳性個(gè)性測驗常會(huì )因為測試對象的虛假反應而無(wú)效，甚至做出錯誤的評價(jià)，我們在個(gè)性測驗中增加了撒謊量表使測評工具具有一定的防偽能力。
3.公平性。將筆試、心理測驗或其它操作方式內容搬到計算機上后，由于操作平臺的變化，有可能產(chǎn)生較大的誤差，測評的效度受到影響。以測評內容的呈現方式為例，有的測評軟件是將試題逐題在屏幕上呈現，即一屏一題呈現的方式，這樣就將一份測驗分成多個(gè)單元，打亂了內容的連續性和整體性，不僅前后對照及修改較為困難，而且對測試內容有極大的限制(即內容的長(cháng)度不能超過(guò)一屏)。本系統采用平拉開(kāi)方式，測試內容在屏幕上象平攤開(kāi)的書(shū)本一樣，與常規測試試卷形式一樣，試題內容的多少和形式(圖形，表格)等均不限制，縮小了計算機化測驗與紙筆測驗方式的差異。
4.簡(jiǎn)便性。為了使軟件有更廣泛的使用范圍，在操作方式方法上必須簡(jiǎn)便易行。如我們的軟件操作方式都與windows操作方式相同，不需專(zhuān)業(yè)培訓即可掌握。輸入必要信息時(shí)，盡量少用鍵盤(pán)輸入字符，全部測試過(guò)程中，只需要在姓名一欄輸入漢字，其它都是采用option方式由被試自己選擇，當然熟悉計算機操作的也可以自己輸入各種信息，答題和修改全部用鼠標操作，即使是從來(lái)沒(méi)有用過(guò)計算機的人也極易學(xué)會(huì )這種操作方法。簡(jiǎn)便性的另一要求是，在操作過(guò)程中，應該給測試者提供更方便的幫助功能。我們除在系統中設立有幫助文件外，我們還在軟件適當部位顯示測試的有關(guān)信息，如屏幕左上方顯示有測試的名稱(chēng)、試題數量、時(shí)間限制，屏幕的左下角設立了未答題數和剩余時(shí)間的顯示欄，以提醒被試控制自己的作答的速度和時(shí)間分配，為了方便被試找到未答的題，還提供了快速搜索功能，只要一點(diǎn)搜索健系統就會(huì )列出未答題號，雙擊題號，系統就會(huì )自動(dòng)到達該題所在的頁(yè)面。
5.安全性。安全性包括系統運行的穩定性，測試內容、結果等的保密性等。人才測評的資料往往成為組織進(jìn)行人事決策的依據，其結果對個(gè)人和組織都是非常重要的資料。因此，測評系統必須要安全運行，特別是在測評過(guò)程中不能出現障礙。否則會(huì )影響測評結果的有效性，還會(huì )給組織和個(gè)人帶來(lái)經(jīng)濟和時(shí)間上的損失。作為人才測評的軟件系統。測試內容是要反復使用的，不得公開(kāi)，測試的結果也應該限定在一定的范圍內。為了保證系統的安全性，我們建立了獨特的文件存儲方式，對測評內容、評分標準和常模等均進(jìn)行了加密處理，其他人即使得到了文件，也無(wú)法解讀。為了控制測試結果的權限，我們把測評和結果的輸出分別作為兩個(gè)獨立的系統，測試對象只能在測評站做測試，無(wú)法知道自己或他人的測試成績(jì)。只有經(jīng)過(guò)授權的管理人員才能打開(kāi)結果文件。
6.適應性。適應性是指測評系統應具有較強的適用范圍。一是軟件運行的硬件軟件環(huán)境不能有太高的要求，不需要特殊的設置和裝置，在普通的PC機上就能運行。二是測評內容，能夠滿(mǎn)足不同目的、不同對象測評的需要。由于操作簡(jiǎn)便，既可用于大規模的團體統一測試，也可進(jìn)行自由的個(gè)別測試，測試內容也可由主試或測試者根據需要選擇，其應用范圍很廣�？捎糜谄髽I(yè)組織進(jìn)行人員的招聘與選拔、公務(wù)員錄用考試、人才市場(chǎng)開(kāi)展的人才評價(jià)等。
三、人才測評軟件系統的結構與功能
人才測評軟件系統正在由單一的測試功能向多功能、集成化方向發(fā)展。如果將人才測評軟件作為一大系統的話(huà)，則它是以信息管理系統為核心，由測試、題庫管理、數據輸入、數據傳輸、評定、輸出、查詢(xún)、統計分析等子系統組成。其模型如圖1所示。
(一)信息管理系統
就其實(shí)質(zhì)來(lái)說(shuō)，測評軟件系統是一個(gè)信息獲得、處理、存儲和使用的系統，因此廣義地講，人才測評軟件系統是一個(gè)信息管理系統(MIS)。但此處是將人才測評系統作為一個(gè)具有一定內部結構和獨立功能的系統，因此此處所指的測評軟件的信息管理子系統，是一個(gè)接收并存儲其它子系統信息并為其它的子系統的運行提供信息支持的部分，同時(shí)人才測評系統也是通過(guò)信息管理子系統與其它系統發(fā)生信息交換。簡(jiǎn)單地說(shuō)，它是一個(gè)數據庫，每個(gè)子系統的信息進(jìn)出都要通過(guò)這一部分，它的信息內容范圍很廣，包括被試的基本信息(報名所提供的)、被試的測試成績(jì)、有關(guān)評價(jià)標準(如常模)、有關(guān)測評活動(dòng)的信息如測評公告、測評時(shí)間、場(chǎng)所、程序、規則、主試人員、被試人數及其分布、有關(guān)個(gè)體的評價(jià)結論(測評報告)、團體分析報告等等。由于測評信息的重要性，故信息管理系統管理和安全性是非常重要的，它是面向高級主試設計的，能夠進(jìn)入信息管理系統的都是超級用戶(hù)，只有他有權進(jìn)入此系統并進(jìn)行一定的維護工作。信息管理系統能夠定期地自行備份。
(二)測試系統
測試子系統的功能主要是提供人機對話(huà)試的測評。即將測評的項目(試題、評定要素)等內容呈現的計算機屏幕上，由被試或評定人員根據計算機的提示進(jìn)行答題或操作。傳統的測評軟件基本上就是一個(gè)測試系統，而且多數都只能提供文字和簡(jiǎn)單的圖形為刺激材料，且以客觀(guān)性試題為主(評分容易)�，F代多媒體技術(shù)的發(fā)展使測評內容超越了靜態(tài)的文字和圖形，能夠提供聲音、圖像等綜合性的視聽(tīng)等感覺(jué)刺激材料，仿真模擬也在此基礎上產(chǎn)生。被試的反應也從簡(jiǎn)單的按鍵選擇A、B、c，發(fā)展到用鼠標點(diǎn)擊或用手直接觸摸選擇答案，甚至能夠通過(guò)鍵盤(pán)或光筆輸入文字(如作文題、論述題、運算題等)，還能夠設計一定的裝置由被試進(jìn)行模擬操作。測試系統的設計主要考慮測評對象的特點(diǎn)和測評材料的性質(zhì)，以能夠提供最適宜的人機互動(dòng)關(guān)系為準則。
(三)題庫系統
題庫系統的建設是測評軟件中最重要，也是難度最大的一項工作。此處所說(shuō)的題庫是一種廣義的題庫概念，泛指測評設計者精心設計測評的內容，包括試卷、測評量表等測評用的材料，也包括狹義的題庫(Item Bank)，即由若干獨立的試題組成。這些材料是測評軟件中的核心機密，安全性是第一要求。此外，為了便于對這些信息進(jìn)行有效地管理，能夠快速地提取和使用，還應該對試卷或試題進(jìn)行編碼，并設置一定的參數，如試卷的取材范圍、適用對象、使用的頻率、試題難度、區分度等參數等。如果是狹義的題庫則還應該有根據一定條件生成試卷的功能，自適應性測評的題庫則還應該有試題參數和能力參數估計功能、選題功能和終止測試功能。
(四)輸入系統
廣義地說(shuō)，測試系統也是一個(gè)信息輸入系統，但此處所稱(chēng)的數據輸入系統是指除直接的人機對話(huà)測試以外對測評對象的基本信息及人工測評信息的輸入系統。特別是現階段測評軟件更需有一個(gè)數據輸入子系統，從我國目前的實(shí)際情況來(lái)看，還有很多地方和單位沒(méi)有普及計算機，也沒(méi)有網(wǎng)絡(luò )化，測評還是以紙筆等手工方式為主，但測評結果的處理卻需要計算機的幫助。再者，一些操作性的測評結果也需要通過(guò)終端輸入計算機。因此，測評軟件系統應該設計多種數據輸入接口。一般來(lái)說(shuō)，鍵盤(pán)錄入方式是必備的方式，并根據測評軟件適應的對象范圍設置其它數據輸入方式接口，如OMR、掃描儀、條形碼等。
(五)傳輸采統
當測評的范圍擴大后，測評數據傳輸的方式與方法就會(huì )反映一個(gè)測評系統的效率。不僅社會(huì )性、綜合性的測評機構要求有及時(shí)、快速、安全的數據傳輸方式，就是一個(gè)企業(yè)內部的測評機構也需要及時(shí)獲得或交換測評的數據資料。在傳統的方式之下，往往采用郵遞、派專(zhuān)人護送等方式，而今則應該充分地運用網(wǎng)絡(luò )的優(yōu)勢，通過(guò)網(wǎng)絡(luò )來(lái)解決這一問(wèn)題。一般來(lái)說(shuō)，可以通過(guò)收發(fā)Email或在網(wǎng)站設置定時(shí)、定期或不定期的發(fā)送頻道。
(六)評定系統
當測評系統中有主觀(guān)性測試項目或需要作出綜合性評價(jià)結論時(shí)，就需要評定系統。其主要功能是對主觀(guān)性測試項目進(jìn)行評定，如作文評分等，一些操作性測評的內容，也可以將被試操作的錄像傳到評定系統，由專(zhuān)家進(jìn)行評定。在人事管理領(lǐng)域往往需要對測評對象作出綜合性的評價(jià)結論，撰寫(xiě)測評報告，這需要由測評專(zhuān)家來(lái)進(jìn)行，不象客觀(guān)性測試可直接進(jìn)行評分和轉換。評定系統就是這樣一個(gè)工作平臺。
(七)輸出系統
此系統的主要功能是輸出測評的信息和資料。即根據測評的規定或用戶(hù)的要求打印輸出與測評有關(guān)的資料，如測評分數、測評報告、團體分析結果、測評證書(shū)等。
(八)統計分析
統計分析系統主要是使用數理統計方法對測評的數據進(jìn)行匯總處理，如進(jìn)行加權處理、進(jìn)行模糊統計、回歸分析。通過(guò)這種分析得出個(gè)體測評的綜合性數據，也可以對測評團體的數據進(jìn)行分析處理，如根據積累的原始數據調整測驗的常模等，給測驗的編制者提供項目分析的結果以改進(jìn)測驗編制的質(zhì)量等，測評機構還應通過(guò)統計分析定期向社會(huì )或測評委托者公開(kāi)測評的分析結果尋如數據的分布情況、信度、效度等資料。
(九)查詢(xún)承統
此系統主要是針對社會(huì )化的測評而設計的。人們可以在網(wǎng)絡(luò )上查詢(xún)有關(guān)資料，如測評活動(dòng)信息、公告、測評項目介紹、個(gè)人資料、測評結果分析與評價(jià)、集體結果。此系統是開(kāi)放式的，一般都可放到機構的主頁(yè)上，個(gè)人和機構都可以進(jìn)來(lái)訪(fǎng)問(wèn)查詢(xún)，為了保證測評者的權益和個(gè)人隱私不被侵犯，需要對訪(fǎng)問(wèn)者的權限進(jìn)行限制。
四、人才測評軟件實(shí)例
我們開(kāi)發(fā)的《華瑞人才測評軟件系統》的功能模塊主要有輸入被試信息(報名)、測試內容管理、人機對話(huà)測試、鍵盤(pán)錄入結果、測評結果輸出(包括個(gè)體和群體)、信息維護與查詢(xún)、幫助功能等功能模塊。下面以簡(jiǎn)圖介紹部分功能。
五、人才測評軟件的應用情況
我們遵循著(zhù)開(kāi)發(fā)、試驗、推廣的模式運行，從1997年至今，已經(jīng)有100多家企事業(yè)單位在使用此套軟件中的一種或多種，例如，上海浦東新區人事局人才交流中心，上海寶隆集團(國企)，上海安普連接器有限公司(外資)，北京馬斯康電子有限公司(外資)，深圳平安保險公司總部，中外合資長(cháng)飛光纖光纜有限公司，紅桃K集團，珠海市人力資源管理中心，馬應龍集團等。湖北省公務(wù)員錄用考試一直使用此套軟件進(jìn)行素質(zhì)測評。用戶(hù)都反映此套軟件操作簡(jiǎn)單方便，結果有效性高，網(wǎng)絡(luò )化的方式測評效率極高，測評現場(chǎng)即可看到測評的結果，是一套非常實(shí)用的人才測評軟件，此套人才測評軟件也因獲得上海市發(fā)明協(xié)會(huì )授予的“創(chuàng )造發(fā)明獎”。
更多相關(guān)