| Rasm | Mahsulot | Narx | Quvvat |
|---|
Model quvvatini tushunish
Model quvvati AI modelidagi parametrlar sonini anglatadi (masalan, 70B = 70 milliard parametr). Kattaroq modellar odatda ko'proq xotira va hisoblash quvvatini talab qiladi, lekin yaxshilangan mulohaza va chiqish sifatini taqdim etadi.
Aniqlik (FP16 / FP8 / FP4) ma'lum model quvvati uchun kerak bo'ladigan xotira miqdoriga ta'sir qiladi: pastroq aniqlikdagi formatlar har bir pasayish bosqichida (FP16 → FP8 → FP4) xotira talabini taxminan ikki baravar kamaytiradi, chiqish aniqliligiga ma'lum darajada ta'sir qilgan holda.
| Model o'lchami | Odatdagi xotira (FP16) | Odatdagi xotira (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |