https://www.toutiao.com/article/7224525861767168527/

本地部署
安装 python,小白自己去找安装教程
pip install llama-index,安装 llama-index 库
pip install langchain,安装 langchain 库
pip install gradio,安装 gradio 库
pip install openai,安装 openai 库
若有报错,那根据报错进行安装相应的库,可能因为网络等原因致安装不成功,或缺少自带的库。
上面的代码有两处是需要修改的,一是修改文件路径,(我这里是在 D 盘创建了一个 ai 的文件夹,下面是该文件夹为例);二是修改填写你的 open ai 的 api。
将上面的代码,保存为 app.py,放到 ai 文件夹。同时,在 ai 文件下创建一个文件夹,命名为 docs,用于放需要训练的文本。
将你的知识库以 md 格式,或者 txt、pdf 等格式放到 docs 文件夹
一切做完后,用 VS code 等解释器打开 app.py 便可运行。若没有解释器,也可以用 cmd 命令运行,输入 python D:\ai\app.py,进行运行便可。
运行因电脑算力和训练的文本多少不同,训练完成之后,会有一个本地域名,用浏览器打开,便可像 chat gpt 一样,使用自己专属的 gpt。
关闭运行的话是在终端,键入 ctrl+c
注意,每次运行都是对你的知识库进行全部训练,会消耗相应的 api tokens。若不是挂到服务器的话,不建议在 docs 文件中放过多的文件,毕竟电脑总是要关机的。
服务器部署
跟本地部署一致,但我们需要通过域名去访问,所以我们在创建站点之后,要使用到反向代理,对本地的域名进行反向代理,这里以宝塔为例。

代码

from llama_index import SimpleDirectoryReader, LangchainEmbedding, GPTListIndex,GPTSimpleVectorIndex, PromptHelper, LLMPredictor, ServiceContext
from langchain import OpenAI
import gradio as gr
import sys
import os
os.chdir(r'D:\ai')  # 文件路径
os.environ["OPENAI_API_KEY"] = '输入你的chatgpt的api'
def construct_index(directory_path):
    max_input_size = 4096
    num_outputs = 2000  
    max_chunk_overlap = 20
    chunk_size_limit = 600
    prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
    llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=num_outputs))
    documents = SimpleDirectoryReader(directory_path).load_data()
    service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)
    index = GPTSimpleVectorIndex.from_documents(documents,service_context=service_context)
    index.save_to_disk('index.json')
    return index
def chatbot(input_text):
    index = GPTSimpleVectorIndex.load_from_disk('index.json')
    response = index.query(input_text, response_mode="compact")
    return response.response
iface = gr.Interface(fn=chatbot,
                     inputs=gr.inputs.Textbox(lines=7, label="输入您的文本"),
                     outputs="text",
                     title="AI 知识库聊天机器人")
index = construct_index("docs")
iface.launch(share=True)
文档更新时间: 2023-07-08 21:16   作者:admin