Instrument the Work

Failure pattern

Trade idea buruk sampai ke review, tetapi tim tidak bisa merekonstruksi data snapshot, factor version, filter, atau backtest parameter yang memproduksinya. Tanpa instrumentation, debugging berubah menjadi debat.

Incident: Idea yang tidak bisa direproduksi

Agent mengirim memo dengan chart menarik. Reviewer meminta backtest config. Agent hanya punya ringkasan. Data sudah berubah, factor library sudah update, dan universe filter tidak tercatat. Memo tidak bisa diaudit.

Kegagalan ini bukan hanya pada output. Kegagalan ada pada run record.

Harness principle

Instrument the work berarti setiap run meninggalkan jejak yang cukup untuk menjawab: context apa yang dipakai, tool apa yang dijalankan, config apa yang berlaku, decision apa yang dibuat, dan evidence apa yang mendukung claim.

Operating practice

Run record minimal:

{
  "run_id": "quant-2026-05-18-042",
  "universe": "us_semis_coverage_v6",
  "factor_version": "quality_v3",
  "data_snapshot": "marketdata_2026_05_17_close",
  "benchmark": "sox_index",
  "backtest_config": "bt_17a9",
  "open_risks": ["earnings revision freshness"]
}

Record ini tidak menggantikan memo. Ia membuat memo bisa diperiksa.

Product-agent example

Harnessed agent melampirkan decision artifact:

Decision	Evidence
Universe restricted to coverage list	`us_semis_coverage_v6`
Exclude illiquid names	liquidity filter config
No final sizing	compliance policy
Needs human approval	review gate

Reviewer bisa menelusuri jalur dari request ke output.

Common mistakes

Kesalahan umum adalah menyimpan final memo tanpa run metadata. Kesalahan lain adalah menyimpan log terlalu besar tanpa index. Instrumentation yang baik ringkas tetapi menunjuk ke artifact yang benar.

Practical exercise

Definisikan run record untuk satu workflow quant. Pastikan ada data snapshot, config version, command/tool calls, evidence, dan open risks.

Key takeaways

Output yang tidak bisa direproduksi tidak layak dipercaya.
Data lineage dan config snapshot adalah bagian dari harness.
Instrumentation membantu debugging agent dan debugging process.