Limit Active Work
Mencegah agent mengubah terlalu banyak variable research sekaligus.
Failure pattern
Agent diminta “improve the strategy” lalu sekaligus mengubah universe filter, factor weight, rebalance frequency, risk constraint, dan memo framing. Hasilnya mungkin lebih bagus, tetapi tidak ada yang tahu perubahan mana yang menyebabkan hasil itu.
Dalam quant research, terlalu banyak active work menghancurkan attribution.
Incident: Strategy yang membaik tetapi tidak bisa dipercaya
Momentum strategy underperform. Agent mencoba memperbaiki: menambah liquidity filter, menurunkan weight small-cap, mengganti rebalance weekly, mengubah transaction cost, dan menulis memo bahwa strategy lebih robust.
Backtest membaik. Tetapi reviewer tidak bisa menyetujui karena lima variable berubah sekaligus.
Harness principle
Limit active work berarti hanya satu behavior research yang boleh active pada satu waktu. Yang lain masuk queued, blocked, atau rejected.
Ini bukan soal lambat. Ini soal evidence. Jika satu perubahan tidak bisa diisolasi, improvement tidak bisa dipercaya.
Operating practice
Gunakan state table:
| Change | State | Evidence |
|---|---|---|
| Add liquidity filter | Active | before/after backtest |
| Change rebalance frequency | Queued | separate run later |
| Adjust factor weights | Queued | needs risk review |
| Update memo framing | Blocked | after research result |
| Cleanup old notebook | Rejected | unrelated |
Agent boleh mencatat ide lain, tetapi tidak boleh mengedit semua sekaligus.
Product-agent example
Harnessed agent menjalankan hanya liquidity filter. Ia menyimpan config snapshot, backtest result, dan risk exposure comparison. Setelah itu, reviewer bisa menilai apakah perubahan tersebut memang membantu.
Baru setelah verified, queued item berikutnya boleh aktif.
Common mistakes
Kesalahan pertama adalah membagi kerja berdasarkan file atau notebook, bukan behavior. Kesalahan kedua adalah menyebut patch besar sebagai “holistic improvement.” Dalam harness, holistic sering berarti sulit diverifikasi.
Practical exercise
Ambil satu strategy-improvement request. Pecah menjadi active, queued, blocked, dan rejected. Pastikan active item punya satu evidence condition.
Key takeaways
- Active work yang terlalu luas membuat attribution hilang.
- Satu behavior research harus punya satu evidence path.
- Queue membantu agent tetap kreatif tanpa membuat patch tak terkendali.
Further reading / source notes
Konsep ini dekat dengan experiment design, ablation, dan incremental verification dalam software engineering.