用同一框架比較兩個 Crypto AI 專案

比較前必須先對齊什麼？

對齊截止日期、產品版本、任務、網路、權限、輸入與成功判準。

一方使用現場 Demo、另一方使用兩年前文件，就不是同列比較。若取得資料的深度不同，表格應顯示存取限制，而不是把缺資料自動算零。

如何留下證據： 建立共同測試規格和兩邊的例外／不可比項。

自主性要如何比較？

讓兩個系統處理同一正常、變體和工具故障案例。

觀察誰選工具、誰改計畫、誰要求澄清、誰決定停止和人工介入。高自主不是自動勝出；金融任務中較嚴格的限制可能更合適。

如何留下證據： 保存兩邊逐步 trace、相同故障注入和結果接受標準。

證據品質如何比較？

對每個聲明使用同一套直接性、版本連結、可重做性與獨立性標準。

開源 repo 若對不到部署版，不能自動勝過有 trace 的閉源 Demo；團隊報告與獨立重跑也不能混成同一權重。保留矛盾和空白。

如何留下證據： 每列記 source type、version、reproduction、limit 和 status。

成本與收入如何比較？

用相同的被接受任務和相同期間計算完整成本與產品淨收入。

便宜模型可能需要更多呼叫，昂貴模型也可能降低重試。收入方面剔除 Token 銷售與補貼，缺資料的一方用情境區間，不填入臆測值。

如何留下證據： 保存兩邊用量、失敗率、人工、費率日期、收入分類和公式。

權限風險怎麼呈現才不會被隱藏？

把最大損失、簽章路徑、限額、撤銷和 Prompt Injection 各自列出硬門檻。

總分不能讓一方用漂亮 Demo 補償無限 allowance 或國庫 key。若某專案拒絕提供權限資訊，標示未知暴露，而不是假設安全或不安全。

如何留下證據： 為每個身分建立同格式權限矩陣與最壞路徑。

最後判定應該怎麼寫？

說明哪一方在每個維度證據較強、差異對誰重要，以及哪些資料仍未知。

可以沒有總冠軍。A 可能能力較完整但 Token 不必要，B 可能權限較安全但沒有收入證據。結尾列出會改變每一列結果的具體材料。

如何留下證據： 分別寫能力、證據、經濟、安全、區塊鏈和 Token 結論。

驗證工作簿

以下檢查卡把研究變成可重做紀錄。它們不產生投資建議，而是要求保存證據、反例、版本、限制與會改變結論的條件。

常見問題