公開儲存庫能證明什麼?

能證明某些檔案與歷史公開存在,不自動證明它們完整、可執行或已部署。

檢查 license、依賴鎖定、測試、release tag 和建置說明,再比較公開介面的版本標記。鏡像、範例或過時 branch 應標明,commit 頻率也不能代替產品能力。

如何留下證據: 保存 repo URL、commit SHA、license、build 結果與部署連結。

宣稱使用的模型要如何核對?

要界定模型名稱、提供者、版本、微調或路由角色,以及執行時真正被呼叫的端點。

「自有模型」可能指 prompt、微調權重、封裝 API 或完整訓練。要求產品把所有權範圍說清楚;若有多模型路由,還要記錄每個任務實際落到哪個模型。

如何留下證據: 保存 model card、API 回應欄位、設定版本和可公開的執行 metadata。

什麼條件讓 Demo 成為有效證據?

使用者能控制輸入、保存輸出、知道版本,並能重跑正常與失敗案例時,Demo 才有較高權重。

錄影可保存聲明,但無法排除剪輯或後台操作。互動 Demo 還需揭露資料是否預先準備、人工是否介入、工具結果是否真實,以及測試資產是否受限。

如何留下證據: 保存輸入、輸出、時間、版本、網路請求或 trace 與重跑差異。

如何閱讀開發活動?

看變更是否持續連到產品問題、測試與 release,而不是只計數量。

大量自動 commit、文件格式化或依賴更新不等於核心能力進展。較有用的是 issue→pull request→測試→release→部署的鏈條,以及安全回報和回歸修復速度。

如何留下證據: 抽樣保存變更類型、作者分布、review、測試和 release notes。

最終證據表要怎麼建立?

每列只放一項聲明,並分開記錄來源、版本、直接性、重做結果和限制。

同一來源可支持多列,但不能因此提高獨立性。對矛盾來源保留雙方的日期與適用版本;最後狀態由最接近產品行為且範圍匹配的證據決定。

如何留下證據: 欄位包含 claim、artefact、version、test、result、limit、status、review date。

驗證工作簿

以下檢查卡把研究變成可重做紀錄。它們不產生投資建議,而是要求保存證據、反例、版本、限制與會改變結論的條件。

01

檢查 01|公開儲存庫能證明什麼 · 支持性測試

本輪做法
尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
應取得的證據
可重建 artefact 對到受測 release
會推翻判定的訊號
用 star 或 commit 數判定成熟度
本題判定規則
只對儲存庫可證明部分下結論
02

檢查 02|宣稱使用的模型要如何核對 · 支持性測試

本輪做法
尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
應取得的證據
執行紀錄與聲明中的模型身分一致
會推翻判定的訊號
以 UI 文案代替 runtime 證據
本題判定規則
無法核對時只確認團隊聲明
03

檢查 03|什麼條件讓 Demo 成為有效證據 · 支持性測試

本輪做法
尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
應取得的證據
他人可重現至少一項核心行為
會推翻判定的訊號
只提供不可控制的成功劇本
本題判定規則
Demo 結論限於實際可觀察範圍
04

檢查 04|如何閱讀開發活動 · 支持性測試

本輪做法
尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
應取得的證據
活動能回到可驗證功能或修復
會推翻判定的訊號
把活動熱度當產品採用
本題判定規則
活動只作維護證據,不替代能力測試
05

檢查 05|最終證據表要怎麼建立 · 支持性測試

本輪做法
尋找最接近實際行為的支持證據,但不接受無法連回原始聲明的材料
應取得的證據
每個結論可追到一列證據
會推翻判定的訊號
以整體印象填滿多個 claim
本題判定規則
逐列更新,不用整站總分取代
06

檢查 01|公開儲存庫能證明什麼 · 反例測試

本輪做法
在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
應取得的證據
可重建 artefact 對到受測 release
會推翻判定的訊號
用 star 或 commit 數判定成熟度
本題判定規則
只對儲存庫可證明部分下結論
07

檢查 02|宣稱使用的模型要如何核對 · 反例測試

本輪做法
在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
應取得的證據
執行紀錄與聲明中的模型身分一致
會推翻判定的訊號
以 UI 文案代替 runtime 證據
本題判定規則
無法核對時只確認團隊聲明
08

檢查 03|什麼條件讓 Demo 成為有效證據 · 反例測試

本輪做法
在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
應取得的證據
他人可重現至少一項核心行為
會推翻判定的訊號
只提供不可控制的成功劇本
本題判定規則
Demo 結論限於實際可觀察範圍
09

檢查 04|如何閱讀開發活動 · 反例測試

本輪做法
在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
應取得的證據
活動能回到可驗證功能或修復
會推翻判定的訊號
把活動熱度當產品採用
本題判定規則
活動只作維護證據,不替代能力測試
10

檢查 05|最終證據表要怎麼建立 · 反例測試

本輪做法
在關閉這一列之前,以變體、工具失敗或替代路徑嘗試推翻暫定結論
應取得的證據
每個結論可追到一列證據
會推翻判定的訊號
以整體印象填滿多個 claim
本題判定規則
逐列更新,不用整站總分取代

常見問題

閉源產品是否無法驗證?

仍可透過版本化 Demo、trace、評估和外部結果驗證部分能力,只是程式碼層透明度較低。

GitHub 活躍能證明團隊仍在開發嗎?

能提供活動線索,但需排除自動更新並連到 release 或已知產品。

團隊刪除舊聲明該怎麼辦?

保存有日期的存檔或截圖,並把後續更正視為新證據,不推測刪除動機。

本檔案使用的來源

  1. Viewing activity and data for a repository — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
  2. REST API endpoints for commits — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
  3. About releases — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
  4. OpenAI Evals — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
  5. OpenAI Agents SDK — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
  6. Building effective agents — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。
  7. NIST AI 600-1: Generative AI Profile — 用於核對範圍、版本、行為或控制的一手資料;使用時仍須確認頁面日期與上下文。