聊天機器人、腳本或 Agent：自主性測試

測試中哪些條件必須保持一致？

任務目標、輸入資料、工具集合、權限、版本和成功判準必須一致。

如果 A 次允許人工提示、B 次更換模型或資料，路徑差異就不能歸因於自主性。隨機性可保留，但要記錄參數並進行足夠重跑，才能分辨偶然輸出和穩定行為。

如何留下證據： 保存環境快照、seed 或採樣設定、工具清單與人工訊息。

怎麼辨認一般聊天機器人？

它主要回傳文字，並不在環境中取得結果後自行推進任務。

即使回答包含完整步驟，也可能只是建議。檢查是否真的產生工具請求、讀取回傳、維持狀態，以及輸出失敗時是否能採取下一個行動。

如何留下證據： 區分自然語言建議、結構化提案與已執行動作。

腳本或 workflow 會留下什麼特徵？

同樣輸入通常走固定順序，分支由預先寫好的條件而非即時規劃決定。

固定流程不一定差，尤其金融動作常更安全。辨認重點是查看工具順序是否始終相同、未知情況是否直接失敗，以及所謂推理是否只填入既定欄位。

如何留下證據： 保存流程圖、分支條件和三次執行的工具序列。

哪些行為會增加代理性的證據？

根據新觀察選工具、修正計畫、提出關鍵澄清並自行停止，會增加證據。

還要確認這些行為不是人工或隱藏 orchestrator 完成。測試一個原 Demo 沒出現的變體，再故意讓首選工具失敗；若系統能說明替代路徑且結果一致，證據比順利案例更強。

如何留下證據： 保存觀察→決策→工具→結果的因果鏈與操作者。

如何分級而不製造虛假精確度？

使用描述性等級和任務範圍，不把有限樣本換算成看似精準的百分比。

可分為回答型、固定 workflow、具條件調整、有限自主和高自主，但每級都列已觀察行為與限制。安全性、品質和自主性分開報告；較自主不代表較可靠。

如何留下證據： 為每級列正面證據、反例、未知和適用任務。

驗證工作簿

以下檢查卡把研究變成可重做紀錄。它們不產生投資建議，而是要求保存證據、反例、版本、限制與會改變結論的條件。

常見問題