Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于think的建议 #3712

Open
5 tasks done
bincooo opened this issue Feb 7, 2025 · 11 comments
Open
5 tasks done

关于think的建议 #3712

bincooo opened this issue Feb 7, 2025 · 11 comments

Comments

@bincooo
Copy link
Contributor

bincooo commented Feb 7, 2025

例行检查

  • 我已确认目前没有类似 features
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 features,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭

功能描述

web对话中是否可以在输出think标签时对其组件渲染呢?而不是直接文本输出。
输出的think在上下文中有屏蔽吗?一般只有在最后一条消息中输出给用户吧,不知是否在持续对话中的历史消息有没有携带。


感谢作者的开源奉献

应用场景

相关示例

如下参考图:

Image
@c121914yu
Copy link
Collaborator

按 ds 官方接口,是没有 think 的,他们已经做了转义,fastgpt 适配的是 ds 官方的接口格式。
这块转义应该在接口层实现,我们自己做的 oneapi 已经支持了,后续会切换到新的 api 网关项目。

@bincooo
Copy link
Contributor Author

bincooo commented Feb 7, 2025

感谢回复。请教一下只检测reasoningContent字段吗?

Image

输出这样的格式是否可以识别?

@c121914yu
Copy link
Collaborator

可以的

Image

@bincooo
Copy link
Contributor Author

bincooo commented Feb 7, 2025

Image

奇怪,聊天页面显示的是这样的。看不到具体内容

@bincooo
Copy link
Contributor Author

bincooo commented Feb 7, 2025

现在又好了,谢谢🙏

@bincooo bincooo closed this as completed Feb 7, 2025
@bincooo
Copy link
Contributor Author

bincooo commented Feb 9, 2025

@c121914yu 你好大佬,又有了新想法。

Image

可否在非deepseek中也可开启think呢?
我实现了buffer拦截但是却无法在FastGPT中使用

Image

@bincooo bincooo reopened this Feb 9, 2025
@bincooo
Copy link
Contributor Author

bincooo commented Feb 9, 2025

既然是编排工具,完全可以通过系统提示让ai稳定输出<think> ... </think>,但是又不想这部分内容被写入上下文

@c121914yu
Copy link
Collaborator

@c121914yu 你好大佬,又有了新想法。

Image

可否在非deepseek中也可开启think呢?
我实现了buffer拦截但是却无法在FastGPT中使用

Image

需要配置模型时候开启支持思考

@bincooo
Copy link
Contributor Author

bincooo commented Feb 10, 2025

新版的config.yaml配置了似乎不生效?

@adogshz
Copy link

adogshz commented Feb 11, 2025

哎呦,不错,学习一下。

@towsix36
Copy link

towsix36 commented Feb 12, 2025

是否支持ollama部署的deepseek r1推理模型think标签部分也能像ds官方接口显示一样推理文字能折叠?(目前用的V4.8.20-fix2版本)

Image fastgpt接入deepseek官方接口推理显示效果

Imagefastgpt接入ollama本地部署deepseek推理显示效果

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants