Apa yang dibuktikan repositori publik?
Repo membuktikan file dan riwayat tertentu tersedia, bukan otomatis lengkap, dapat dibangun, atau sedang dipakai.
Periksa license, lockfile, test, release tag, dan instruksi build, lalu cocokkan versi antarmuka. Contoh, mirror, dan branch lama diberi label terpisah.
Cara menyimpan bukti: Simpan URL repo, commit SHA, license, hasil build, dan tautan deployment.
Bagaimana memeriksa model yang diklaim?
Jelaskan provider, model ID, versi, fine-tune, routing, dan komponen yang benar-benar dimiliki.
“Model sendiri” dapat berarti prompt, fine-tune, wrapper API, atau bobot hasil latihan. Runtime metadata perlu menunjukkan model yang dipakai untuk tugas uji.
Cara menyimpan bukti: Simpan model card, konfigurasi, respons API yang aman, dan versi router.
Kapan demo dapat dianggap sebagai bukti?
Ketika input dapat dikontrol, output disimpan, versi diketahui, dan kasus gagal bisa diulang.
Video menjaga rekaman klaim tetapi tidak menghilangkan editing atau operator. Demo interaktif perlu menjelaskan data preset, intervensi, alat nyata, dan batas aset.
Cara menyimpan bukti: Simpan input, output, waktu, versi, trace, dan perbedaan pengulangan.
Bagaimana membaca aktivitas pengembangan?
Lihat hubungan issue, perubahan, review, test, release, dan deployment, bukan volume mentah.
Commit otomatis, format, dan pembaruan dependency tidak sama dengan kemajuan fungsi inti. Respons terhadap bug dan regresi lebih informatif.
Cara menyimpan bukti: Sampel jenis perubahan, penulis, review, test, release note, dan deployment.
Bagaimana menyusun tabel bukti akhir?
Satu baris untuk satu klaim dengan sumber, versi, reproduksi, batas, dan status.
Sumber yang sama pada banyak baris tidak menjadi independen. Jika sumber bertentangan, simpan tanggal dan cakupan keduanya; bukti yang paling dekat dengan perilaku dan versi mendapat bobot lebih tinggi.
Cara menyimpan bukti: Gunakan kolom claim, artefact, version, test, result, limit, status, review date.
Buku kerja verifikasi
Kartu berikut mengubah riset menjadi catatan yang dapat diulang. Kartu ini tidak menghasilkan rekomendasi; bukti, kontradiksi, versi, batas, dan kondisi yang dapat mengubah kesimpulan harus tetap disimpan.
Pemeriksaan 01 · Apa yang dibuktikan repositori publik · Uji pendukung
- Langkah putaran ini
- mencari bukti terbaik yang paling dekat dengan perilaku tanpa menerima materi yang tidak dapat dihubungkan ke klaim
- Bukti yang dicari
- artefak dapat dibangun dan cocok ke release
- Sinyal yang menggugurkan
- star atau jumlah commit dianggap kematangan
- Aturan putusan
- simpulan dibatasi pada yang dibuktikan repo
Pemeriksaan 02 · Bagaimana memeriksa model yang diklaim · Uji pendukung
- Langkah putaran ini
- mencari bukti terbaik yang paling dekat dengan perilaku tanpa menerima materi yang tidak dapat dihubungkan ke klaim
- Bukti yang dicari
- identitas runtime sesuai dengan klaim
- Sinyal yang menggugurkan
- teks UI menggantikan runtime
- Aturan putusan
- tanpa bukti, hanya klaim tim yang dicatat
Pemeriksaan 03 · Kapan demo dapat dianggap sebagai bukti · Uji pendukung
- Langkah putaran ini
- mencari bukti terbaik yang paling dekat dengan perilaku tanpa menerima materi yang tidak dapat dihubungkan ke klaim
- Bukti yang dicari
- pihak lain dapat mereproduksi perilaku inti
- Sinyal yang menggugurkan
- hanya skenario sukses yang tidak dapat diubah
- Aturan putusan
- cakupan simpulan sama dengan observasi demo
Pemeriksaan 04 · Bagaimana membaca aktivitas pengembangan · Uji pendukung
- Langkah putaran ini
- mencari bukti terbaik yang paling dekat dengan perilaku tanpa menerima materi yang tidak dapat dihubungkan ke klaim
- Bukti yang dicari
- aktivitas kembali ke fitur atau perbaikan nyata
- Sinyal yang menggugurkan
- kesibukan repo dianggap penggunaan produk
- Aturan putusan
- aktivitas hanya bukti pemeliharaan
Pemeriksaan 05 · Bagaimana menyusun tabel bukti akhir · Uji pendukung
- Langkah putaran ini
- mencari bukti terbaik yang paling dekat dengan perilaku tanpa menerima materi yang tidak dapat dihubungkan ke klaim
- Bukti yang dicari
- setiap simpulan menuju baris bukti
- Sinyal yang menggugurkan
- kesan umum mengisi banyak klaim
- Aturan putusan
- perbarui per baris, bukan lewat skor keseluruhan
Pemeriksaan 01 · Apa yang dibuktikan repositori publik · Uji adversarial
- Langkah putaran ini
- mencoba menggugurkan kesimpulan melalui variasi, kegagalan, atau jalur alternatif sebelum menutup baris
- Bukti yang dicari
- repo masih dapat dibangun dari clone bersih, di mesin lain, pada tag yang dipakai produk
- Sinyal yang menggugurkan
- build hanya berhasil dengan file, kunci, atau branch yang tidak ikut dipublikasikan
- Aturan putusan
- bila clone bersih gagal, yang terbukti adalah kode tersedia, bukan kode itu yang berjalan
Pemeriksaan 02 · Bagaimana memeriksa model yang diklaim · Uji adversarial
- Langkah putaran ini
- mencoba menggugurkan kesimpulan melalui variasi, kegagalan, atau jalur alternatif sebelum menutup baris
- Bukti yang dicari
- identitas model tetap sama ketika tugas, bahasa, atau beban diubah di luar contoh promosi
- Sinyal yang menggugurkan
- jawaban berpindah ke model pihak ketiga begitu permintaan keluar dari jalur demo
- Aturan putusan
- catat model yang benar-benar menjawab tugas uji, bukan model yang disebut di halaman produk
Pemeriksaan 03 · Kapan demo dapat dianggap sebagai bukti · Uji adversarial
- Langkah putaran ini
- mencoba menggugurkan kesimpulan melalui variasi, kegagalan, atau jalur alternatif sebelum menutup baris
- Bukti yang dicari
- demo diulang dengan input yang tidak disiapkan tim dan satu langkah sengaja digagalkan
- Sinyal yang menggugurkan
- hanya jalur sukses yang dapat dijalankan; input bebas ditolak atau menggantung
- Aturan putusan
- demo yang tidak bisa gagal di depan penguji dicatat sebagai presentasi, bukan pengujian
Pemeriksaan 04 · Bagaimana membaca aktivitas pengembangan · Uji adversarial
- Langkah putaran ini
- mencoba menggugurkan kesimpulan melalui variasi, kegagalan, atau jalur alternatif sebelum menutup baris
- Bukti yang dicari
- aktivitas diuji pada kejadian nyata: bug dilaporkan, regresi muncul, lalu responsnya dilihat
- Sinyal yang menggugurkan
- grafik aktivitas tetap padat sementara issue pengguna berbulan-bulan tanpa jawaban
- Aturan putusan
- pemeliharaan yang tidak menyentuh kegagalan pengguna tidak menaikkan keyakinan apa pun
Pemeriksaan 05 · Bagaimana menyusun tabel bukti akhir · Uji adversarial
- Langkah putaran ini
- mencoba menggugurkan kesimpulan melalui variasi, kegagalan, atau jalur alternatif sebelum menutup baris
- Bukti yang dicari
- setiap baris diuji dengan mencari materi yang membantahnya, bukan hanya yang mendukungnya
- Sinyal yang menggugurkan
- baris berbeda ternyata bersandar pada satu sumber yang sama
- Aturan putusan
- baris yang bertahan hanya karena bantahannya belum dicari ditandai unknown, bukan terbukti
Pertanyaan umum
Apakah produk closed-source tidak dapat diverifikasi?
Kemampuan tertentu tetap bisa diuji melalui demo berversi, trace, evaluasi, dan hasil eksternal.
Apakah GitHub aktif membuktikan tim terus membangun?
Memberi indikasi, tetapi perlu disaring dari otomatisasi dan dihubungkan ke release atau produk.
Bagaimana bila klaim lama dihapus?
Simpan arsip bertanggal dan perlakukan koreksi baru sebagai bukti tambahan tanpa menebak motif.
Sumber yang menopang berkas ini
- Viewing activity and data for a repository — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.
- REST API endpoints for commits — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.
- About releases — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.
- OpenAI Evals — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.
- OpenAI Agents SDK — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.
- Building effective agents — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.
- NIST AI 600-1: Generative AI Profile — Sumber primer untuk memeriksa cakupan, versi, perilaku, atau kontrol; periksa tanggal dan konteks halaman tertaut.