· Daniel Schleipfer · KI
Warum der GPU-Speicher voll ist, bevor er es sein müsste
Eine kurze Antwort kann viel GPU-Speicher blockieren. Paged Attention teilt den KV-Cache in Blöcke auf, die eine Anfrage erst bei Bedarf erhält.
Eine kurze Antwort kann viel GPU-Speicher blockieren. Paged Attention teilt den KV-Cache in Blöcke auf, die eine Anfrage erst bei Bedarf erhält.