llama.cpp b12079: поддержка NCCL для кластеров
· 1 мин чтения
В сборке b11980 появился ядро DPAS для flash attention с квантованным KV-кэшем. То есть при генерации токенов данные не нужно раскодировать в память, что…
1 мин чтенияРедакция «Нейродвиж»Источник: GitHub llama.cpp
В сборке b11980 появился ядро DPAS для flash attention с квантованным KV-кэшем. То есть при генерации токенов данные не нужно раскодировать в память, что ускоряет работу на картах серии B. На Llama 3.1 8B скорость выросла с 31,3 до 54,2 токенов в секунду.
Обновить llama.cpp до b11980.
Это короткий пересказ своими словами, а не перевод. Текст подготовлен с помощью ИИ и сверен с источником. Нашли ошибку?
· 1 мин чтения
· 1 мин чтения
· 1 мин чтения