Нейродвиж от Алекса Коротко за день

Новая функцияОфициально

llama.cpp ускорил декодирование на GPU NVIDIA

В сборке b11980 появился ядро DPAS для flash attention с квантованным KV-кэшем. То есть при генерации токенов данные не нужно раскодировать в память, что…

1 мин чтенияРедакция «Нейродвиж»Источник: GitHub llama.cpp

Что случилось

В сборке b11980 появился ядро DPAS для flash attention с квантованным KV-кэшем. То есть при генерации токенов данные не нужно раскодировать в память, что ускоряет работу на картах серии B. На Llama 3.1 8B скорость выросла с 31,3 до 54,2 токенов в секунду.

Как попробовать

Обновить llama.cpp до b11980.

Источник

Это короткий пересказ своими словами, а не перевод. Текст подготовлен с помощью ИИ и сверен с источником. Нашли ошибку?

LlamaNvidia

Ещё про Nvidia

Все материалы