Исправление JamesHolden, (текущая версия) :
AVX-512 мало где есть и не так важен. Хватит avx2.
Я использую на машинах и с avx2, и вообще без avx2. Практический опыт -Xeon, 16 физических ядер, DDR3 в одноканальном режиме. Модели размера 8b - 9b дают около 4 токенов в секунду. Использую для кодинг чата.
При этом, более слабый Xeon у коллеги, 12 ядер что ли, но с памятью в двухканальном режиме - работает почти в 2 раза быстрее.
Так что, практика показывает, что для LLM текстовых главное - скорость памяти. Надо, чтобы было 2 либо 4 планки одинаковых, и материнка с поддержкой многоканала. Это даст эффект намного больший, чем avx512.
Исходная версия JamesHolden, :
AVX-512 мало где есть и не так важен. Хватит avx2.
Я использую на машинах и с avx2, и вообще без avx2. Практический опыт -Xeon, 16 физических ядер, DDR3 в одноканальном режиме. Модели размера 8b - 9b дают около 4 токенов в секунду. Использую для кодинг чата.
При этом, более слабый Xeon у коллеги, 12 ядер что ли, но с памятью в двухканальном режиме - работает почти в 2 раза быстрее.
Так что, практикс показывает, что для LLM текстовых главное - скорость памяти. Надо, чтобы было 2 либо 4 планки одинаковых, и материнка с поддержкой многоканала. Это даст эффект намного больший, чем avx512.