通过 Open-WebUI 使用 KTransformer

[TTThanos]

请问这个无法选择模型是什么情况？

外部链接已经设置成 http://localhost:8000/v1

后端kTransformer服务启动命令：
USE_NUMA=1 python3 ./ktransformers/server/main.py --model_path /root/DeepSeek-R1-GGUF --gguf_path /root/DeepSeek-R1-GGUF/DeepSeek-R1-Q4_K_M/ --model_name deepseek_r1 --cpu_infer 65 --max_new_tokens 1000 --port 8000 --cache_lens 12288 --force_think true

WebUI docker创建命令：

docker run -it --net=host --ipc=host
-e ENABLE_OLLAMA_API=False
-e 0PENAI_API_BASE_URL=http://127.0.0.1:8000/v1
--name open-webui
ghcr.io/open-webui/open-webui:main

[manhere]

应该是没实现模型列表接口

[yeungtuzi]

docker 里面访问不能使用localhost，注意kt要监听0.0.0.0，然后open-webui里面访问 http://host.docker.internal:8000/v1

[ginghalo]

换成openai api ，然后再在ktransformers_root/ktransformers/server/api/openai/endpoints/chat.py 里改成comp = ChatCompletionObject(id=id,object='chat.completion',created=int(time()))。
因为open-webui默认用的不是stream，而非stream模式在ollama api里目前不支持，且目前的openai api的非steam模式也有bug，要改一下。