Instrument the Work

Failure pattern

Patch gagal di review, tetapi tim tidak bisa tahu kenapa. Agent bilang test sudah dijalankan, tetapi command mana? Context apa yang dipakai? File apa yang berubah? Check apa yang dilewati?

Tanpa instrumentation, debugging agent menjadi debat ingatan.

Incident: Failure path yang tersembunyi

Agent memperbaiki invite flow. Di Chrome lokal pass. Di Firefox e2e gagal. Reviewer baru tahu belakangan bahwa agent tidak pernah menjalankan cross-browser suite karena command tidak ada di evidence.

Harness principle

Instrument the work berarti setiap run meninggalkan record yang menjawab: agent tahu apa, melakukan apa, dan kenapa percaya task selesai.

Record tidak harus besar. Ia harus menunjuk ke artifact yang benar.

Operating practice

Run record:

{
  "run_id": "coding-2026-05-18-0042",
  "base_commit": "8f2c19a",
  "active_behavior": "valid invite lands in workspace setup",
  "context_sources": ["ADR-029", "invite e2e"],
  "commands": ["pnpm test invite", "pnpm lint"],
  "skipped_checks": ["cross-browser e2e"],
  "open_risks": ["Firefox path not verified"]
}

Skipped checks harus terlihat. Itu bukan aib; itu state.

Coding-agent example

Dengan record ini, reviewer tahu bahwa status bukan done, tetapi “missing required evidence.” Harness bisa meminta Firefox e2e sebelum approval.

Common mistakes

Kesalahan umum adalah menyimpan final summary saja. Summary menyembunyikan path yang gagal. Kesalahan lain adalah log terlalu besar tanpa index.

Practical exercise

Definisikan run record minimal untuk repo Anda. Sertakan base commit, active behavior, context sources, commands, skipped checks, changed files, dan open risks.

Key takeaways

• Instrumentation membuat run bisa direkonstruksi.
• Skipped checks harus dicatat eksplisit.
• Run record membantu debug harness, bukan hanya debug code.