【質(zhì)量標(biāo)準(zhǔn)智能問答-標(biāo)準(zhǔn)通】UAT 測(cè)試問卷調(diào)查
一、基本功能測(cè)試(30分)
1. 問答響應(yīng)能力(10分)
系統(tǒng)能否準(zhǔn)確理解模糊表述的問題?
完全能(5分)
部分能(3分)
不能(0分)
當(dāng)提問超出業(yè)務(wù)范圍時(shí),系統(tǒng)是否給出友好提示且不崩潰?
是(5分)
否(0分)
2. 響應(yīng)時(shí)效測(cè)試(5分)
您認(rèn)為系統(tǒng)響應(yīng)速度是否在可接受范圍內(nèi)?
是(5分)
否(0分,請(qǐng)注明可接受時(shí)長(zhǎng):)
3. 多輪對(duì)話能力(8分)
系統(tǒng)在多輪對(duì)話中是否能保持上下文連貫、無(wú)矛盾?
是(4分)
否(0分)
系統(tǒng)在切換對(duì)話主題時(shí)是否能快速識(shí)別并準(zhǔn)確響應(yīng)?
是(4分)
否(0分)
4. 個(gè)性化需求適配(7分)
輸入關(guān)鍵詞(如條款編號(hào)、指標(biāo)閾值等)時(shí),系統(tǒng)是否能精準(zhǔn)定位答案?
完全精準(zhǔn)(7分)
部分精準(zhǔn)(3分)
不精準(zhǔn)(0分)
二、業(yè)務(wù)準(zhǔn)確性測(cè)試(50分)
5. 回答準(zhǔn)確性(25分)
與標(biāo)準(zhǔn)答案相比,系統(tǒng)回答是否完全一致?
完全一致(25分)
有錯(cuò)誤/遺漏(每處錯(cuò)誤扣5分,扣完為止)
6. 邊界場(chǎng)景問答能力(15分)
在邊緣/特殊場(chǎng)景問題(如例外條款、特殊流程)中,系統(tǒng)是否能正確回答?
全對(duì)(15分)
有錯(cuò)誤(每錯(cuò)1處扣3分,扣完為止)
7. 錯(cuò)誤問題糾正能力(10分)
當(dāng)問題包含錯(cuò)誤前提時(shí),系統(tǒng)是否能指出錯(cuò)誤并給出正確解釋?
能(10分)
不能(0分)
三、語(yǔ)言表達(dá)與邏輯性測(cè)試(20分)
8. 語(yǔ)言規(guī)范性(7分)
系統(tǒng)回答是否符合質(zhì)量標(biāo)準(zhǔn)文檔規(guī)范,無(wú)口語(yǔ)化或歧義表述?
完全符合(7分)
有不規(guī)范之處(每處扣2分,扣完為止)
9. 邏輯嚴(yán)謹(jǐn)性(7分)
在處理復(fù)雜多條件問題時(shí),系統(tǒng)邏輯是否完整、無(wú)矛盾?
邏輯完整且全覆蓋(7分)
有邏輯矛盾或遺漏(扣分:矛盾扣4分,遺漏每處扣1分,扣完為止)
10. 簡(jiǎn)潔性與完整性平衡(6分)
系統(tǒng)回答是否既簡(jiǎn)潔又完整,無(wú)冗余且無(wú)關(guān)鍵信息缺失?
□ 是(6分)
□ 有冗余或缺失(每項(xiàng)扣2分,扣完為止)
關(guān)閉
更多問卷
復(fù)制此問卷