中文 / English
luckfu的潦草笔记

最初的梦想绝对会到达!


  • 首页

  • 归档

  • 关于我

  • 公益404

  • 搜索

Chainlit 使用 Langflow 后端

时间: 2025-04-24   |   分类: GPT   chatGPT   | 字数: 1359 字 | 阅读: 3分钟
  • LangFlow是一个针对LangChain的GUI,它采用了反应流设计,提供了一种轻松的方式,通过拖放组件和聊天框来实验和原型化流程。 LangFlow允许您探索不同的大语言模型、prompt参数、链配置和代理行为,并跟踪代理的思维过程。

  • Chainlit是一个开源Python包,旨在彻底改变构建和共享语言模型(LM)应用程序的方式。Chainlit可以创建用户界面(UI),类似于由OpenAI开发的ChatGPT用户界面,Chainlit可以开发类

本文将介绍 Chainlit 使用 LangFlow构建 LLM 的工作流,将 LangFlow 发布的服务展现到Chainlit 前端

图片

阅读全文 »

自定义 LangChain OpenAI 聊天模型(CustomChatOpenAI)重构实践

时间: 2025-04-24   |   分类: Langchain   openai   | 字数: 866 字 | 阅读: 2分钟

自定义 LangChain OpenAI 聊天模型(CustomChatOpenAI)重构实践

在 AI 应用开发中,LangChain 提供了强大的链式调用能力,而 OpenAI 的接口则是主流大模型服务的事实标准。本文将介绍如何基于 LangChain 的 ChatOpenAI,重构并扩展出一个支持推理内容(reasoning_content)流式输出的自定义聊天模型——CustomChatOpenAI,并详细解析其设计思路与实现细节。

背景与需求

在实际业务中,除了常规的对话内容(content),我们还希望模型能输出推理过程(reasoning_content),并且在流式响应时能以 <think>...</think> 标签包裹推理内容,便于前端或下游系统做进一步处理。原生的 ChatOpenAI 并不支持这一需求,因此需要自定义扩展。

设计思路

1. 继承与扩展

我们通过继承 ChatOpenAI,重写其核心方法,增加对 reasoning_content 的处理能力。核心思路如下:

  • 流式输出:在流式响应中,优先检测 reasoning_content,并用 <think>...</think> 标签包裹,仅允许出现一次,避免重复嵌套。
  • 普通输出:在非流式响应中,将推理内容和最终回复拼接输出,格式统一。

2. 关键方法解析

_create_client

重写客户端创建方法,支持自定义 base_url 和 api_key,兼容多种 OpenAI 兼容服务。

_process_stream

核心流式处理逻辑。遍历大模型返回的流式数据块,判断 delta 中是否包含 reasoning_content 或 content,并按需插入 <think> 标签。例如:

阅读全文 »

用GPT-4o写了一个端口转发程序

时间: 2024-06-06   |   分类: GPT   chatGPT   | 字数: 434 字 | 阅读: 1分钟

昨天一个同事问我,类似阿里的PAI平台,当你在jupyter或者code环境的终端中,启动一个带网络端口的app,会自动启动一个端口转发,把你的app应用端口,映射到一个当前网站的url中,类似行为的还有code-server,整个过程是自动的,并且平台会提示你,你的端口被转发到了xxx.

code-server port forward

阅读全文 »

用Alpaca和LangChain制作一个自定义知识库的聊天机器人

时间: 2023-06-06   |   分类: GPT   Alpaca   LangChain   | 字数: 3800 字 | 阅读: 8分钟

近来,聊天机器人已成为我们数字生活中不可或缺的一部分,简化了客户服务,增强了用户体验,甚至提供了陪伴。随着人工智能和自然语言处理技术的进步不断涌现,开发人员越来越多地寻求创新的解决方案,以创建更复杂、更人性化的聊天机器人。在本文中,我们将深入研究支持开发聊天机器人技术:使用LangChain框架构建的Alpaca,为有兴趣创建自己的聊天机器人或改进现有聊天机器人的人提供参考。准备好踏上聊天机器人创建技术领域的旅程,我们将揭开 Alpaca 非凡对话能力背后的秘密。

首先,您需要从HuggingFace安装Transformers库。通过 pip 使用 Python 包索引 (PyPI) 提供的版本,我建议直接从 GitHub 上的主分支安装它。这可确保您有权访问此项目所需的最新版本和模型。

要从 GitHub 安装转换器,只需运行以下命令:

pip install git+https://github.com/huggingface/transformers.git
阅读全文 »

关于中国人对chatGPT热情度高这回事

时间: 2023-04-08   |   分类: GPT   chatGPT   | 字数: 292 字 | 阅读: 1分钟

chatGPT是最近爆裂的关注热点,从去年12月开始把玩,直到最近封禁所有IDC的ip,来自“美帝国主义的卡脖子”行为并没有让国人的关注度消退。

databases

阅读全文 »
1 2 3 4 5 6 7
luckfu

luckfu

一瞬间,过去的一切都离你而去,剩下的只有回忆!

31 日志
29 分类
41 标签
RSS 订阅
GitHub
标签云
  • 生活
  • Python
  • Oracle cloud
  • Free vps
  • Gpt
  • K8s
  • Vm.standard.a1.flex
  • Chatgpt
  • Github
  • Langchain
© 2010 - 2025 luckfu的潦草笔记
Powered by - Hugo v0.127.0 / Theme by - NexT
0%