公開儲存庫能證明什麼?
能證明某些檔案與歷史公開存在,不自動證明它們完整、可執行或已部署。
檢查 license、依賴鎖定、測試、release tag 和建置說明,再比較公開介面的版本標記。鏡像、範例或過時 branch 應標明,commit 頻率也不能代替產品能力。
如何留下證據: 保存 repo URL、commit SHA、license、build 結果與部署連結。
宣稱使用的模型要如何核對?
要界定模型名稱、提供者、版本、微調或路由角色,以及執行時真正被呼叫的端點。
「自有模型」可能指 prompt、微調權重、封裝 API 或完整訓練。要求產品把所有權範圍說清楚;若有多模型路由,還要記錄每個任務實際落到哪個模型。
如何留下證據: 保存 model card、API 回應欄位、設定版本和可公開的執行 metadata。
什麼條件讓 Demo 成為有效證據?
使用者能控制輸入、保存輸出、知道版本,並能重跑正常與失敗案例時,Demo 才有較高權重。
錄影可保存聲明,但無法排除剪輯或後台操作。互動 Demo 還需揭露資料是否預先準備、人工是否介入、工具結果是否真實,以及測試資產是否受限。
如何留下證據: 保存輸入、輸出、時間、版本、網路請求或 trace 與重跑差異。
如何閱讀開發活動?
看變更是否持續連到產品問題、測試與 release,而不是只計數量。
大量自動 commit、文件格式化或依賴更新不等於核心能力進展。較有用的是 issue→pull request→測試→release→部署的鏈條,以及安全回報和回歸修復速度。
如何留下證據: 抽樣保存變更類型、作者分布、review、測試和 release notes。
最終證據表要怎麼建立?
每列只放一項聲明,並分開記錄來源、版本、直接性、重做結果和限制。
同一來源可支持多列,但不能因此提高獨立性。對矛盾來源保留雙方的日期與適用版本;最後狀態由最接近產品行為且範圍匹配的證據決定。
如何留下證據: 欄位包含 claim、artefact、version、test、result、limit、status、review date。
驗證工作簿
以下檢查卡把研究變成可重做紀錄。它們不產生投資建議,而是要求保存證據、反例、版本、限制與會改變結論的條件。
檢查 01|公開儲存庫能證明什麼 · 支持性測試
- 本輪做法
- 尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
- 應取得的證據
- 可重建 artefact 對到受測 release
- 會推翻判定的訊號
- 用 star 或 commit 數判定成熟度
- 本題判定規則
- 只對儲存庫可證明部分下結論
檢查 02|宣稱使用的模型要如何核對 · 支持性測試
- 本輪做法
- 尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
- 應取得的證據
- 執行紀錄與聲明中的模型身分一致
- 會推翻判定的訊號
- 以 UI 文案代替 runtime 證據
- 本題判定規則
- 無法核對時只確認團隊聲明
檢查 03|什麼條件讓 Demo 成為有效證據 · 支持性測試
- 本輪做法
- 尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
- 應取得的證據
- 他人可重現至少一項核心行為
- 會推翻判定的訊號
- 只提供不可控制的成功劇本
- 本題判定規則
- Demo 結論限於實際可觀察範圍
檢查 04|如何閱讀開發活動 · 支持性測試
- 本輪做法
- 尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
- 應取得的證據
- 活動能回到可驗證功能或修復
- 會推翻判定的訊號
- 把活動熱度當產品採用
- 本題判定規則
- 活動只作維護證據,不替代能力測試
檢查 05|最終證據表要怎麼建立 · 支持性測試
- 本輪做法
- 尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
- 應取得的證據
- 每個結論可追到一列證據
- 會推翻判定的訊號
- 以整體印象填滿多個 claim
- 本題判定規則
- 逐列更新,不用整站總分取代
檢查 01|公開儲存庫能證明什麼 · 反例測試
- 本輪做法
- 在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
- 應取得的證據
- 可重建 artefact 對到受測 release
- 會推翻判定的訊號
- 用 star 或 commit 數判定成熟度
- 本題判定規則
- 只對儲存庫可證明部分下結論
檢查 02|宣稱使用的模型要如何核對 · 反例測試
- 本輪做法
- 在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
- 應取得的證據
- 執行紀錄與聲明中的模型身分一致
- 會推翻判定的訊號
- 以 UI 文案代替 runtime 證據
- 本題判定規則
- 無法核對時只確認團隊聲明
檢查 03|什麼條件讓 Demo 成為有效證據 · 反例測試
- 本輪做法
- 在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
- 應取得的證據
- 他人可重現至少一項核心行為
- 會推翻判定的訊號
- 只提供不可控制的成功劇本
- 本題判定規則
- Demo 結論限於實際可觀察範圍
檢查 04|如何閱讀開發活動 · 反例測試
- 本輪做法
- 在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
- 應取得的證據
- 活動能回到可驗證功能或修復
- 會推翻判定的訊號
- 把活動熱度當產品採用
- 本題判定規則
- 活動只作維護證據,不替代能力測試
檢查 05|最終證據表要怎麼建立 · 反例測試
- 本輪做法
- 在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
- 應取得的證據
- 每個結論可追到一列證據
- 會推翻判定的訊號
- 以整體印象填滿多個 claim
- 本題判定規則
- 逐列更新,不用整站總分取代
常見問題
閉源產品是否無法驗證?
仍可透過版本化 Demo、trace、評估和外部結果驗證部分能力,只是程式碼層透明度較低。
GitHub 活躍能證明團隊仍在開發嗎?
能提供活動線索,但需排除自動更新並連到 release 或已知產品。
團隊刪除舊聲明該怎麼辦?
保存有日期的存檔或截圖,並把後續更正視為新證據,不推測刪除動機。
本檔案使用的來源
- Viewing activity and data for a repository — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
- REST API endpoints for commits — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
- About releases — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
- OpenAI Evals — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
- OpenAI Agents SDK — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
- Building effective agents — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
- NIST AI 600-1: Generative AI Profile — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
