llama-cpp

llama.cpp local GGUF inference + HF Hub model discovery.