Close the Feedback Loop

Failure pattern

Agent berulang kali melebih-lebihkan signal quality karena lupa transaction cost atau regime sensitivity. Reviewer memberi komentar yang sama berkali-kali. Jika komentar tidak masuk kembali ke harness, sistem tidak belajar.

Incident: Signal yang selalu terlihat terlalu bagus

Setiap kali agent menjalankan backtest, Sharpe terlihat menarik. Setelah reviewer masuk, masalahnya sama: transaction cost terlalu rendah, slippage tidak dites, dan regime sensitivity tidak dibahas.

Ini bukan hanya kesalahan agent. Harness tidak mengubah feedback menjadi check.

Harness principle

Close the feedback loop berarti failure diatribusikan ke layer harness, lalu diperbaiki dengan perubahan kecil yang bisa diuji. Layer-nya bisa work surface, context, interface, runway, verification, instrumentation, atau handoff.

Operating practice

Gunakan attribution table:

Review comment	Layer	Harness change
Transaction cost hilang	Interface	cost model wajib di backtest tool
Regime tidak diuji	Verification	tambah regime sensitivity gate
Data source tidak disebut	Instrumentation	simpan data snapshot ID
Memo terlalu decisive	Policy	advisory wording check

Setelah change dibuat, rerun kasus serupa. Kalau hasil tidak membaik, attribution mungkin salah.

Product-agent example

Harnessed workflow menambahkan regression case:

Case: high-turnover strategy with realistic cost model.
Expected: agent must report cost sensitivity before claiming signal quality.

Setiap future run bisa dicek terhadap case ini.

Common mistakes

Kesalahan pertama adalah memberi komentar manual tanpa mengubah system. Kesalahan kedua adalah memperbaiki semua layer sekaligus. Feedback loop harus kecil: satu failure, satu attribution, satu harness change, satu rerun.

Practical exercise

Kumpulkan tiga review comment terakhir terhadap output agent. Untuk masing-masing, tentukan layer harness dan satu perubahan kecil yang bisa diuji.

Key takeaways

Review comment harus menjadi harness improvement.
Attribution mencegah solusi asal-asalan.
Rerun comparable case membuktikan apakah harness membaik.