Retrospektif standar tidak dirancang untuk produk yang perilaku intinya non-deterministik, skala biaya dengan penggunaan dalam cara yang tidak dapat diprediksi, dan permintaan bulan lalu yang telah disesuaikan dengan cermat mungkin menurun karena penyedia model mengirimkan pembaruan.
Jika Anda membangun dengan LLMs, Anda memerlukan retrospektif yang memperhitungkan cara spesifik produk AI berhasil dan gagal. Berikut cara melakukannya tanpa mengubah setiap retro menjadi tinjauan metrik berdurasi tiga jam.
Mengapa Format Retro Normal Anda Gagal
Retrospektif tradisional dibangun berdasarkan model yang dapat diprediksi: Anda menulis kode, mengirimkannya, dan melakukan apa yang Anda tulis. Permasalahan yang menarik adalah tentang proses, komunikasi, dan prioritas.
Produk AI mematahkan model tersebut dalam beberapa cara:
Output bervariasi antara input yang identik. Perintah yang sama dengan pesan pengguna yang sama dapat menghasilkan kualitas hasil yang berbeda di seluruh panggilan. Artinya, "berfungsi di mesin saya" juga mencakup "berfungsi saat saya mengujinya lima menit yang lalu."
Mode kegagalan adalah hal yang baru. Halusinasi, injeksi cepat, amplifikasi bias, dan luapan jendela konteks tidak dipetakan ke dalam kategori bug tradisional. Tim Anda memerlukan kosakata dan kerangka kerja khusus untuk mendiskusikan hal ini.
Biayanya proporsional dengan penggunaan dan sulit diprediksi. Fitur tradisional memerlukan biaya yang sama dengan biaya pembuatan dan kemudian dijalankan pada infrastruktur yang ada. Biaya fitur LLM meningkat seiring dengan setiap interaksi pengguna, dan momen viral dapat menghabiskan anggaran Anda dalam semalam.
Kualitas menurun tanpa terlihat. Pembaruan model dari penyedia Anda mungkin sedikit mengubah kualitas keluaran tanpa pemberitahuan apa pun. Perintah Anda dioptimalkan untuk versi model tertentu — pengoptimalan tersebut mungkin tidak dapat diterapkan.
Semua hal ini tidak berarti bahwa retrospektif menjadi kurang penting. Artinya mereka perlu melihat hal yang berbeda.
Empat Lensa untuk Retro Produk AI
Daripada struktur klasik "apa yang berjalan dengan baik / apa yang tidak / item tindakan", atur retrospektif produk AI Anda pada empat lensa berbeda. Masing-masing memunculkan kategori masalah yang berbeda.
Lensa 1: Performa Model
Ini tentang apakah AI melakukan tugasnya pada tingkat teknis.
Pertanyaan untuk didiskusikan:
- Bagaimana tren skor evaluasi kami? Apakah kita mengukur hal yang benar?
- Apakah kita memperhatikan perubahan kualitas yang berkorelasi dengan pembaruan model atau perubahan cepat?
- Apa kasus kegagalan terburuk kita pada periode ini? Apa persamaannya?
- Apakah ada kasus penggunaan ketika model terus mengalami kesulitan sehingga kita harus mengatasinya secara berbeda?
Apa yang Anda perlukan di ruangan: hasil evaluasi, log kesalahan, contoh keluaran buruk yang dilaporkan pengguna atau ditandai QA.
Lensa 2: Efektivitas Teknik yang Cepat
Permintaan adalah permukaan kontrol produk Anda. Mereka layak mendapat perhatian khusus.
Pertanyaan untuk didiskusikan:
- Perubahan cepat mana yang benar-benar meningkatkan hasil, dan mana yang bergerak ke samping?
- Apakah kami melacak versi cepat secara sistematis, atau bersifat ad hoc?
- Apakah kami memiliki perintah yang rapuh — perintah tersebut berfungsi tetapi rusak karena sedikit variasi masukan?
- Berapa banyak waktu yang kita habiskan untuk iterasi cepat vs. pekerjaan teknik lainnya? Apakah rasio itu benar?
Apa yang Anda perlukan di ruangan: log perubahan cepat dan dampak terukurnya. Jika Anda tidak memilikinya, menetapkan sistem pelacakan tersebut adalah tindakan pertama Anda.
Lensa 3: Pengalaman Pengguna
Model mungkin memiliki performa yang baik secara teknis sementara pengguna masih merasa frustrasi.
Pertanyaan untuk didiskusikan:
- Bagaimana reaksi pengguna terhadap keluaran yang dihasilkan AI? Apa isi masukannya?
- Di mana pengguna mengesampingkan, mengedit, atau mengabaikan saran AI? Itu adalah momen yang kaya akan sinyal.
- Apakah AI memberikan nilai tambah bagi pengguna tingkat lanjut namun membingungkan pengguna baru, atau sebaliknya?
- Apakah ada masalah kepercayaan? Apakah pengguna memeriksa ulang semua yang dihasilkan AI, atau mereka terlalu mempercayainya?
Yang Anda butuhkan di ruangan: masukan pengguna, analisis penggunaan (terutama tingkat pengantaran dan edit), dan tiket dukungan terkait fitur AI.
Lensa 4: Biaya dan Keberlanjutan
Jika fitur AI Anda tidak berkelanjutan secara ekonomi, kualitas dan UX tidak menjadi masalah.
Pertanyaan untuk didiskusikan:
- Berapa biaya sebenarnya per interaksi pengguna untuk setiap fitur AI?
- Bagaimana skala biaya dengan proyeksi pertumbuhan kami? Apakah linear, atau kita punya penguat biaya?
- Apakah ada peluang untuk mengurangi biaya tanpa dampak kualitas yang berarti? (Caching, perintah yang lebih pendek, model yang lebih kecil untuk tugas yang lebih sederhana.)
- Apakah kita mendapatkan nilai dari token yang kita belanjakan, atau apakah kita mengirimkan perintah yang membengkak dan memproses keluaran yang tidak kita gunakan?
Yang Anda perlukan di ruangan ini: data penagihan yang dikelompokkan berdasarkan fitur, perhitungan biaya per interaksi, dan tren pertumbuhan penggunaan.
Menjalankan Rapat
Durasi: 60 menit. Anda bisa melakukannya di 45 jika tim Anda disiplin, tapi jangan mencoba menjejalkannya ke 30.
Frekuensi: Setiap dua minggu jika Anda secara aktif melakukan iterasi pada fitur AI. Bulanan setelah semuanya stabil. Jangan menjalankannya hanya karena ada di kalender jika tidak ada perubahan berarti.
Siapa yang harus berada di sana: Manajer produk, teknisi yang mengerjakan fitur AI, dan siapa pun yang meninjau keluaran model atau masukan pengguna. Anda tidak membutuhkan seluruh perusahaan.
Format yang berfungsi:
Panduan data (10 menit): Seseorang menyajikan metrik utama sejak masa lalu. Belum ada opini — hanya angkanya. Hal ini mencegah orang yang paling berisik di ruangan itu untuk mengaitkan percakapan pada anekdotnya.
Diskusi empat lensa (35 menit): Pelajari setiap lensa. Anda tidak perlu menghabiskan waktu yang sama untuk setiap periode — pada periode tertentu, biaya akan menjadi topik utama; di lain waktu, regresi kualitas akan mendominasi. Biarkan data memandu Anda fokus.
Item tindakan (15 menit): Spesifik. "Tingkatkan kualitas cepat" bukanlah sebuah item tindakan. "Jalankan tes A/B yang membandingkan perintah ringkasan saat ini dengan kandidat v7, ukur skor ROUGE dan tingkat edit pengguna, laporkan pada retro berikutnya" adalah item tindakan.
Metrik yang Layak Dilacak (dan Beberapa Metrik yang Tidak Layak)
Ada godaan untuk membuat dasbor rumit yang melacak lusinan metrik AI. Tolak itu. Mulailah dengan sekumpulan kecil metrik yang benar-benar informatif dan tambahkan lebih banyak lagi hanya ketika Anda perlu menjawab pertanyaan tertentu.
Metrik bernilai tinggi:
- Tingkat keberhasilan tugas — Apakah AI mencapai apa yang diminta pengguna? Ini adalah satu-satunya metrik yang paling penting, dan sering kali merupakan metrik yang paling sulit diukur. Bahkan proxy kasar (seperti "pengguna menerima keluaran tanpa mengedit") lebih baik daripada tidak sama sekali.
- Biaya per interaksi yang berhasil — Bukan hanya biaya per panggilan, namun biaya per hasil yang benar-benar membantu pengguna. Hal ini membuat Anda tetap fokus pada nilai, bukan hanya volume.
- Tingkat edit pengguna — Seberapa sering pengguna memodifikasi konten buatan AI? Tingkat pengeditan yang tinggi tidak selalu buruk (hal ini mungkin berarti pengguna terlibat secara aktif), namun tingkat pengeditan yang meningkat menunjukkan kualitas yang menurun.
- Latensi di p95 — Bukan latensi rata-rata, yang menyembunyikan pengalaman buruk. Persentil ke-95 menunjukkan hal yang dihadapi oleh pengguna yang paling tidak beruntung namun tidak ekstrem.
Metrik yang tampak berguna namun sering kali tidak:
- Jumlah token mentah — Memberi tahu Anda volume, bukan nilai. Menarik untuk penagihan, namun tidak untuk pengambilan keputusan produk.
- Panjang prompt — Lebih panjang tidak otomatis lebih buruk dan lebih pendek tidak otomatis lebih baik. Nilailah perintah berdasarkan kualitas keluaran, bukan panjangnya.
- Perbandingan versi model secara terpisah — Membandingkan GPT-4o vs. Claude 3.5 dalam tolok ukur abstrak hanya memberi sedikit informasi tentang kasus penggunaan spesifik Anda. Hanya bandingkan tugas Anda yang sebenarnya dengan kriteria evaluasi Anda yang sebenarnya.
Menghadapi Percakapan yang Sulit
Retro produk AI memunculkan topik tidak nyaman yang sering dihindari tim:
"Kami sebenarnya tidak tahu apakah AI itu bagus." Jika tim Anda tidak memiliki cara sistematis untuk mengevaluasi kualitas keluaran, akui saja. Item tindakannya adalah membangun kerangka evaluasi minimal — serangkaian kasus pengujian dengan keluaran yang diharapkan yang Anda jalankan setelah setiap perubahan.
"Kami menghabiskan banyak uang dan kami tidak yakin apakah itu sepadan." Ini adalah pertanyaan produk, bukan pertanyaan teknis. Apakah fitur AI mendorong retensi, konversi, atau hasil bisnis lainnya? Jika Anda tidak dapat mencapai batasan tersebut, Anda mungkin membuat fitur AI karena fitur tersebut mengesankan, bukan karena berharga.
"Model terkadang menimbulkan masalah dan kami tidak yakin bagaimana cara mencegahnya." Jangan terlalu mementingkan masalah keamanan. Jika model terkadang menghasilkan konten yang bias, berbahaya, atau menyesatkan, hal tersebut merupakan tindakan prioritas utama, bukan "masalah umum" yang Anda ajukan.
"Rekayasa cepat kami terasa seperti dugaan." Seringkali memang demikian, terutama pada tahap awal. Versi retro adalah tempat yang baik untuk menetapkan lebih banyak ketelitian: kontrol versi untuk perintah, protokol pengujian A/B, dan kriteria evaluasi eksplisit.
Menghubungkan Wawasan Retro dengan Keputusan Produk
Tujuan dari retrospektif ini bukanlah untuk menghasilkan daftar perubahan. Hal ini untuk menginformasikan keputusan produk yang lebih besar:
- Haruskah kita berinvestasi lebih banyak pada fitur AI ini, atau justru ini jalan buntu?
- Apakah kita menggunakan model yang tepat untuk kasus penggunaan ini, atau haruskah kita bereksperimen dengan alternatif lain?
- Apakah pendekatan kami saat ini dapat diskalakan, atau akankah biaya menghabiskan margin kami hingga 10x pengguna?
- Apakah ada kemampuan AI yang harus kita tambahkan, atau haruskah kita meningkatkan kemampuan AI yang sudah ada?
Jika retro Anda tidak memengaruhi keputusan semacam ini, itu hanyalah pertemuan status dengan mengenakan pakaian retrospektif.
Coba NextRetro gratis — Gunakan format empat lensa dengan kolom khusus untuk Model, Prompt, UX, dan Biaya dalam retrospektif produk AI Anda berikutnya.
Terakhir Diperbarui: Februari 2026
Waktu Membaca: 7 menit
