博客
记录技术探索与思考 · 共 655 篇
大数据-05 Hadoop集群 WordCount 分布式计算实战
在 Hadoop 集群上完整执行 WordCount：上传文件到 HDFS、提交 MapReduce 任务、通过 YARN UI 查看运行状态，验证真正的分布式计算。
大数据-06 Hadoop JobHistoryServer 配置与日志聚合
配置 Hadoop JobHistoryServer 记录 MapReduce 任务执行历史，开启 YARN 日志聚合，通过 Web UI 可视化查看任务详情和日志。
大数据-03 Hadoop集群 SSH免密登录配置与分发脚本
Hadoop 三节点集群 SSH 免密登录全流程：生成 RSA 密钥、分发公钥、编写 rsync 集群分发脚本，含踩坑笔记与 /etc/hosts 配置要点。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-04 Hadoop集群群起 NameNode DataNode YARN 启动与 Web UI 验证
Hadoop 三节点集群完整启动流程：格式化 NameNode、启动 HDFS 和 YARN，通过 Web UI 验证集群状态，含 start-dfs.sh 和 start-yarn.sh 用法。
大数据-01 基础环境搭建：Hadoop 集群
在3台云服务器（2C4G配置）上搭建Hadoop集群环境的详细教程，包含HDFS、MapReduce、YARN组件介绍，Java和Hadoop环境配置步骤。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-02 Hadoop集群 XML配置详解 core-site hdfs-site mapred-site y...
详解 Hadoop 集群三节点 XML 配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml，含 NameNode、DataNode、ResourceManager 配置说明。
LangChain-26 Custom Agent 全面教程 从零构建自定义智能体
本文展示了如何在Python中使用Langchain库和GPT-4模型创建一个聊天代理，通过定义工具函数并将其与LLM集成，实现对用户输入中单词长度等信息的查询。
LangChain-24 AgentExecutor 全面详解
本文介绍了如何在Python中使用Langchain库进行文档检索，加载Web内容，配置OpenAIEmbeddings，并集成GPT-3.5-turbo模型进行问答。展示了如何创建代理执行器来处理用户查询并获取相关信息。
LangChain-25 ReAct框架详解 大语言模型推理与行动融合
文章介绍了大模型ReAct，一种利用逻辑推理和行动序列实现目标导向的框架，通过LLM进行决策和操作。核心组成部分包括Thought（思考）、Act（行动）和Obs（观察）。
LangChain-22 Text Embedding与FAISS实战详解
本文介绍了TextEmbedding在NLP中的关键作用，如何将文本转换为实数向量以表达语义关系，以及如何结合OpenAIEmbeddings和FAISS进行高效存储和查询。
LangChain-23 Vector AI语义检索系统 向量数据库+大语言模型
文章介绍了如何使用Chroma向量数据库处理和检索来自文档的高维向量嵌入，通过OpenAI和HuggingFace模型进行向量化，并展示了在实际场景中如何通过大模型进行问答和增强回复的应用实例。
LangChain-20 文档加载器 TextLoader、CSVLoader、PyPDFLoader、JSONL...
本文介绍了LangChain库提供的多种文档加载器，如TextLoader、CSVLoader、DirectoryLoader等，展示了如何加载和处理各种格式的数据。
LangChain-21 Text Splitter 全面详解
文章浏览阅读7.5k次。本文介绍了LangChain库中的各种TextSplitters，包括基于字符、单词、HTML标签和编程语言的分割器，以及它们的应用场景。
LangChain-18 缓存机制详解 InMemoryCache与SQLiteCache
文章浏览阅读7.1k次。LangChain 提供完善的缓存机制，用于显著降低 LLM 调用延迟与成本。其核心包括 InMemoryCache（内存缓存）与 SQLiteCache（持久化缓存）。
LangChain-19 TokenUsage 回调函数详解
介绍了如何在Python中通过LangChain库集成OpenAI GPT-3模型，展示如何使用`get_openai_callback`函数来获取回调并执行请求。
LangChain-16 Using Tools 掌握 LLM 工具调用
文章浏览阅读6.1k次。LangChain 是当前最热门的 LLM 应用开发框架之一，专为构建智能助手、自动化流程和AI数据分析而设计。通过其强大的工具集成能力，开发者可轻松调用外部API，实现从搜索、计算到文件处理的多功能自动化。
LangChain-17 Function Calling AI函数调用的工作原理
Function Calling（函数调用）是大语言模型（如GPT-4、Claude、Gemini）与外部系统交互的核心技术。它让AI不仅能理解语言，还能执行任务，实现从文本对话到真实操作的跨越。
LangChain-14 OpenAI 内容审核 Moderation详解
内容审核（Moderation）是现代互联网平台安全与合规的核心环节，用于识别、过滤和管理用户生成内容（UGC），防止违法违规、低质或有害信息的传播。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
LangChain-15 智能知识检索：AgentExecutor执行机制
文章浏览阅读7.1k次，点赞25次，收藏4次。本文介绍了如何通过Wikipedia搜索插件、AgentExecutor执行机制、上下文Token控制来构建智能知识检索系统。
LangChain-12 Routing By Semantic Similarity 语义相似度路由
文章浏览阅读6.4k次。本文介绍了一种使用大模型（如OpenAI）和Prompt模板的方法，通过计算查询与预设模板的相似度来处理程序设计中非预期输入的问题。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。