Нейродвиж от Алекса Коротко за день

Новая функцияОфициально

llama.cpp b12079: поддержка NCCL для кластеров

В сборке b12079 добавлен интерфейс NCCL для распределённых вычислений на нескольких узлах. То есть модель можно запускать на кластере из разных машин, а не…

1 мин чтенияРедакция «Нейродвиж»Источник: GitHub llama.cpp

Что случилось

В сборке b12079 добавлен интерфейс NCCL для распределённых вычислений на нескольких узлах. То есть модель можно запускать на кластере из разных машин, а не только на одной видеокарте.

Источник

Это короткий пересказ своими словами, а не перевод. Текст подготовлен с помощью ИИ и сверен с источником. Нашли ошибку?

LlamaNvidiaОткрытые модели

Ещё про Nvidia

Все материалы