能力简介
收藏我的收藏
检索增强
检索增强又叫 RAG。主要提供知识库的离线索引入库和检索召回能力,主要分为两个模块:
- •在线检索模块:对知识库内容做检索,或通过外部接口做检索。
- •离线数据处理模块:将用户通过平台上传文件(如 txt、word、pdf)或用户抖音稿件内容经过数据处理链路写入到知识库中。
通过 RAG 原子服务检索召回的知识内容切片(chunks),可以作为 AI 分身服务中模型调用时入参 prompt 的上下文给到模型做总结,丰富上下文知识内容。
记忆
记忆分为短期记忆和长期记忆。
短期记忆指用户对话上下文消息,在分身服务中可从入参中获取,若当前获取到的记忆数量不符合要求,可以使用专门的消息获取接口读取。
长期记忆指从历史对话中提取的相关信息。可以将对话中获取到的用户画像、重点信息等作为后续对话的参考,真正成为用户的朋友。
例如:我今天和 annie 聊天的信息, 希望未来她能记住并根据这些信息给出合适的回答。
若干天前:
- •用户:我妻子已经怀孕2个月了。
- •分身:恭喜您即将成为父亲!这是一个非常重要的时刻,你的老婆在接下来的几个月需要很多的照顾和支持。
{中间一大堆对话省略}。
现在:
- •用户:你觉得我需要在家养一只小猫吗?
- •分身:是否在家养一只猫取决于很多因素。你可能需要考虑以下这些事情:
- ◦时间:猫需要投入时间进行照顾,比如喂食、清理猫砂、打理毛发,以及进行互动和玩耍。如果你们的生活已经非常忙碌,可能需要重新考虑是否有足够的时间照顾好一只宠物。
- ◦空间:你们的居住环境是否适合养猫?猫需要足够的空间来活动和探索。
- ◦财务:你是否有足够的经济能力来支付猫的食物、猫砂、玩具,以及可能的兽医费用?
- ◦健康问题:有些人对猫有过敏反应。此外,虽然很少见,但有些猫砂盒的细菌可以对孕妇和未出生的孩子构成风险。
- ◦你们的新生儿:你们需要考虑一下如何在你们的新生儿和猫之间建立一个平安和和谐的环境。
- ◦长期承诺:猫的寿命通常在10-15年,甚至更长。你是否准备好做出这样长期的承诺?
记忆系统的本质是:存储、分析和召回与特定用户相关的个性化信息。提供语言模型本身不足的存储和检索能力。