Dasar keputusan
Buat model pemakaian sebelum harga bulanan. Pengguna aktif, sesi, pesan dan panjang menentukan beban. Sertakan riwayat serta paragraf hasil pencarian; pertanyaan terlihat bukan seluruh masukan.
Contoh penerapan
Asumsi ilustratif: 200 pengguna, 3 sesi bulanan dan 4 permintaan per sesi menghasilkan 2.400 permintaan. Dengan 1.500 token masukan dan 300 keluaran, totalnya 3,6 juta dan 720.000. Ini bukan pengukuran atau penawaran. Terapkan tarif terverifikasi terpisah.
Pilihan yang perlu dibandingkan
Konteks lebih kecil, jawaban singkat atau model ringan dapat mengurangi biaya; uji kualitas. Cache memerlukan privasi dan kebaruan sesuai. Pencarian dokumen mungkin tidak membutuhkan generasi.
Titik kegagalan
Masukkan pengulangan, pengindeksan, alat, penyimpanan, pemantauan dan dukungan. Batas perlu benar-benar diterapkan. Amati permintaan panjang di luar rata-rata.
Buat rentang beban kerja
Pisahkan sesi biasa, berat, dan luar biasa. Pertanyaan pendek mungkin memakai satu pencarian dan jawaban; perbandingan dokumen memerlukan beberapa panggilan dan konteks panjang. Jika seperempat dari 2.400 permintaan contoh menggandakan masukan, totalnya menjadi 4,5 juta token sebelum pengulangan. Keluaran tetap 720.000 hanya jika panjang dan jumlah permintaan tidak berubah. Ini asumsi perencanaan.
Pisahkan penggunaan model dari indeks, penyimpanan, ekstraksi, integrasi, dan dukungan manusia. Jelaskan apakah penggantian berkas memakai ulang pekerjaan atau membangun ulang koleksi. Bandingkan penawaran dengan beban serta mata uang sama, tanggal harga, dan cara memperbaruinya. Lembar perhitungan kuantitas tetap berguna saat tarif berubah.
Tentukan perilaku ketika batas tercapai
Peringatan memberi waktu menyelidiki; batas keras menghentikan pekerjaan baru. Jelaskan gangguan dan tawarkan pencarian dokumen atau percobaan nanti. Tentukan apakah batas milik individu, akun, atau layanan. Permintaan serentak memerlukan pengendalian bersama; pemeriksaan terpisah bisa menyetujui sisa kuota yang sama berulang kali.
Uji lonjakan, kegagalan berulang, dan dokumen panjang fiktif. Hentikan pekerjaan mahal baru tanpa kehilangan catatan bisnis yang diterima. Rekam kuantitas, latensi, dan kategori kesalahan aman, bukan percakapan tidak perlu. Tetapkan pemilik penyelidikan dan perubahan kuota. Tinjau kualitas juga: tagihan rendah tidak berguna jika pengguna mengulang setiap pertanyaan.
Sebelum memulai pekerjaan
Apa pola terburuk yang masuk akal? Di mana pengeluaran dibatasi? Uji apa mencegah jawaban murah tak berguna? Perbarui estimasi AI dengan penggunaan nyata.