本文主要介绍两个关键技术:

FAISS介绍: Facebook AI Similarity Search是Meta开发的高效相似性搜索库,适合大规模向量数据处理,支持GPU加速、多种索引结构(L2距离、内积距离)。

langchain astream_events: 用于实时监听和处理语言模型生成过程中的中间事件,支持异步流式处理,提供on_llm_start、on_llm_new_token、on_llm_end等事件类型。

安装依赖

pip install --upgrade --quiet langchain-core langchain-community langchain-openai
pip install faiss  # 或 mac用 faiss-cpu

核心代码示例

使用DocArrayInMemorySearch创建向量存储,结合ChatOpenAI和prompt模板,通过astream_events实现流式输出。

运行结果示例

|H|arrison| worked| at| Kens|ho|.||

流式输出效果展示每个token的逐步生成过程。