发一些小众的东西。
🏷 标签:#LLaMA-rs

🤖 LLaMA-rs - 在CPU上运行LLaMA模型

📃 描述:
一个用Rust语言编写的LLaMA模型的推理工具,它可以在CPU上运行LLaMA模型,并生成文本补全。LLaMA模型是Facebook研究院开发的一种基于Transformer的大规模预训练语言模型,它可以处理多种语言和任务。这个项目是对llama.cpp项目的Rust移植,它使用了ggml张量库,实现了与原始代码相同的性能。它还提供了一些命令行参数和示例代码,方便用户使用。


📢 @jixiu
 
 
Back to Top