LLaMA запуск через llama.cpp

https://huggingface.proxy.nlp.skieer.com/AI-Engine/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main

# Клонируйте репозиторий llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
git pull origin master

# Скомпилируйте проект
make

# Выполните инференс с использованием модели .gguf
./llama-cli -m /home/user/Meta-Llama-3.1-8B-Instruct-imatrix.q2_k.gguf -p "Как тебя зовут?"

./llama-cli -m /home/user/Meta-Llama-3.1-8B-Instruct.bf16.gguf -p "Как тебя зовут?"

./llama-cli -m /home/user/Meta-Llama-3.1-8B-Instruct.q8_0.gguf -p "Как тебя зовут?"

./llama-cli -m /home/user/Meta-Llama-3.1-8B-Instruct.q2_k.gguf -p "Как тебя зовут?"

===========================================================================
Параметры:
-if (Интерактивный режим)
  Нажмите Ctrl+C, чтобы вмешаться в любое время.
  Нажмите Return, чтобы вернуть управление ИИ.
  Чтобы вернуть управление, не начиная новую строку, завершите ввод символом '/'.
  Если вы хотите отправить еще одну строку, завершите ввод символом '\'.
  
  
- n 50 (Количество токенов в ответе)
===========================================================================
Чтобы создать интерактивный скрипт, см. документ "Интерактивный скрипт.txt"