.NET环境下运行本地AI LLamaSharp

https://mp.weixin.qq.com/s/7G7HinpyAJPDfbtI3fwgxw

模型选择与下载

首先，访问著名的AI模型库：https://huggingface.co/。如果直连访问遇到困难，不妨试试神奇的代理地址：https://hf-mirror.com/。

然后，我们直接在github下载LLamaSharp的项目代码：

https://github.com/SciSharp/LLamaSharp

图片

LLamaSharp带有一个WebAPI项目，我们直接使用这个项目进行测试。

图片

将WebAPI设置为启动项目后，我们需要再

appsettings.Development.json中添加我们下载好的的模型地址。

然后我们启动这个项目，启动后他没有自动打开Swagger，这个项目是具有Swagger的，我们在浏览者后面输入/swagger

图片

带有3个接口，一个是非流式的，一个是流式的。

这里我们先使用非流式的来进行测试。