ngodingdocs

Biaya & batas

Rate limit

RPM per kunci, konkurensi per user, dan header retry-after.

Rate limit

BatasCakupanPelanggaran
RPM (default 60/menit, atau rpm_limit kunci)per API key, jendela tetap 60 detik429 + header retry-after
Konkurensi (default 10)per user429 + header retry-after

Melewati batas → 429 (rate_limit_exceeded / rate_limit_error). Tunggu sesuai retry-after lalu ulangi — tidak ada retry otomatis di sisi kami (menghindari tagihan upstream ganda).

Catatan:

  • count_tokens butuh kunci valid tapi gratis; tetap dihitung terhadap RPM.
  • Kunci yang baru dicabut berlaku paling lambat 60 detik di seluruh instance.
  • Butuh limit lebih tinggi untuk beban produksi? Naikkan rpm_limit per kunci dari dashboard, atau sebarkan beban ke beberapa kunci.