13分钟解读LangChain(精译中字)
2023-08-29 12:04 作者:Siyuejiang | 我要投稿


与外部数据链接的方式
书、pdf、数据库


文件变成chunks,被存储在向量数据库
Chunks是自然语言处理中的一个概念,通常指的是一段文本中的连续片段。Chunks可以是词,词汇短语或者句子,它们被视为语言的有意义的组成部分。通过识别文本中的Chunks,可以更好地理解句子的结构和意义。在识别Chunks的过程中,常常会使用词性标注和句法分析等技术来帮助识别出连续的语言片段。

用户问问题,问题发送到LLM,向量数据库做相似性检索,获得chunk,反馈给LLM,采取行动




component
LLM wrapper:链接到LLM
pormpt template:提示模版
index for relevant information retrieval
chain
agent:allow LLMs to interact with its environment

pinecone






prompt


chain
内函数是prompt,外函数是LLM,

返回对概念的初次描述,也返回“像我五岁那样解释“
ADA 做embedding
将分块内容拿出来,在pinecone中存储向量表示
导入pinecone python客户端,从langchain 向量数据库导入pinecone