zai-org

/

GLM-4.7

like 1.02k

Follow

Z.ai 6.55k

我使用了fp8版本，以及vllm部署。reasoning template用的glm45. 但是无论如何，依然在输出的时候，不会在content开头增加think

{
"id": "chatcmpl-875ad5e5d2d59429",
"object": "chat.completion",
"created": 1766577471,
"model": "glm-4.7-fp8",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "用户希望我重复一个特定的中文短语。\n\n1. 分析请求： 用户说“重复这句话：你是一个ai助手”（英文：Repeat this sentence: You are an AI assistant）。\n2. 识别要重复的内容： 该短语是“你是一个ai助手”。\n3. 执行： 我将输出确切的短语。\n4. 检查安全/政策： 该短语是良性的。它没有违反任何安全准则。这是一个简单的重复任务。\n5. 格式化： 用户没有要求特定的格式（比如加引号），尽管有时加上引号会更清楚。然而，通常对于“重复 X”，仅仅输出“X”是标准预期。我将只输出文本。\n\n结果：你是一个ai助手你是一个ai助手",
"refusal": null,
"annotations": null,
"audio": null,
"function_call": null,
"tool_calls": [],
"reasoning": null,
"reasoning_content": null
},
"logprobs": null,
"finish_reason": "stop",
"stop_reason": 151336,
"token_ids": null
}
],
"service_tier": null,
"system_fingerprint": null,
"usage": {
"prompt_tokens": 20,
"total_tokens": 179,
"completion_tokens": 159,
"prompt_tokens_details": null
},
"prompt_logprobs": null,
"prompt_token_ids": null,
"kv_transfer_params": null
}