快速开始
Token 工厂 是 wylon 新云面向开发者提供的大模型推理服务。你可以通过同一套 OpenAI / Anthropic 兼容 API,一站式接入 MiniMax、Kimi、GLM、Qwen、DeepSeek 等主流开源模型。服务运行在 wylon 自建国产 GPU 算力底座上,适合从原型验证到生产部署的完整开发流程。
概览
通过浏览 wylon 新云提供的 模型目录 ,你可以选择合适的模型, 再通过兼容 OpenAI / Anthropic 的 API 将推理能力集成到自己的应用中。wylon 也可以接入主流 Agent 框架,例如 OpenClaw、Hermes、OpenCode、Claude Code 等。
在 wylon 新云上你可以:
- 发送提示词或多轮对话请求,并接收普通响应或流式响应。
- 通过第三方集成,将推理能力接入应用、Agent 或研发工具链。
立即开始构建
按照下面三个步骤,即可向 Token 工厂发起第一次请求。
-
注册账户
- 前往 wylon 控制台 免费注册 wylon 新云账户。
- 完成实名认证后即可使用已开放模型。
info已经在使用 OpenAI 或 Anthropic?wylon 兼容对应 SDK,通常只需要替换 Base URL、API Key 和模型 ID。
具体的迁移步骤请参考 迁移到 wylon。 -
创建 API 密钥
- 在 wylon 控制台 进入 账户设置 → API 密钥。
- 点击 创建新密钥,复制生成的 API Key。
密钥管理、权限和轮换说明请参考 API 密钥 - 将密钥设置为 Shell 环境变量,方便下面的示例代码完成鉴权。
# 添加到 ~/.bashrc 或 ~/.profile export WYLON_API_KEY="wl-••••••••••••••••••••••••••••••••" export WYLON_BASE_URL="https://api.wylon.cn/v1"# 添加到 ~/.zshrc export WYLON_API_KEY="wl-••••••••••••••••••••••••••••••••" export WYLON_BASE_URL="https://api.wylon.cn/v1"# PowerShell — 对当前用户持久生效 [Environment]::SetEnvironmentVariable("WYLON_API_KEY", "wl-••••••••••••••••••••••••••••••••", "User") [Environment]::SetEnvironmentVariable("WYLON_BASE_URL", "https://api.wylon.cn/v1", "User")key妥善保管密钥。 切勿将 API 密钥提交到代码仓库,也不要打包到客户端产物中。生产环境建议使用密钥管理服务或服务端 -
发送第一个请求
- 将任意符合 OpenAI 规范的客户端指向
https://api.wylon.cn/v1; - 从 模型目录 中选择一个受支持的模型 ID 作为
model。 - 根据所选模型的使用说明,构建相应的对话消息或 prompt
messages,并发送请求以获取模型的响应。
下方展示如何使用 OpenAI 兼容接口,采用一条简单的对话 调用 Kimi K2.5。
from openai import OpenAI import os client = OpenAI( api_key=os.environ["WYLON_API_KEY"], base_url="https://api.wylon.cn/v1", ) response = client.chat.completions.create( model="moonshotai/kimi-k2.5", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Explain KV cache in one paragraph."}, ], temperature=0.6, max_tokens=512, ) print(response.choices[0].message.content)import OpenAI from "openai"; const client = new OpenAI({ apiKey: process.env.WYLON_API_KEY, baseURL: "https://api.wylon.cn/v1", }); const response = await client.chat.completions.create({ model: "moonshotai/kimi-k2.5", messages: [ { role: "system", content: "You are a helpful assistant." }, { role: "user", content: "Explain KV cache in one paragraph." }, ], temperature: 0.6, max_tokens: 512, }); console.log(response.choices[0].message.content);curl https://api.wylon.cn/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $WYLON_API_KEY" \ -d '{ "model": "moonshotai/kimi-k2.5", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Explain KV cache in one paragraph."} ], "temperature": 0.6, "max_tokens": 512 }'package main import ( "context" "fmt" "os" "github.com/sashabaranov/go-openai" ) func main() { cfg := openai.DefaultConfig(os.Getenv("WYLON_API_KEY")) cfg.BaseURL = "https://api.wylon.cn/v1" client := openai.NewClientWithConfig(cfg) resp, err := client.CreateChatCompletion(context.Background(), openai.ChatCompletionRequest{ Model: "moonshotai/kimi-k2.5", Messages: []openai.ChatCompletionMessage{ {Role: "user", Content: "Explain KV cache in one paragraph."}, }, }) if err != nil { fmt.Println(err); return } fmt.Println(resp.Choices[0].Message.Content) }请求成功后,响应会返回模型输出
content、Token 使用情况usage,以及 wylon 新云系统级缓存命中率cache_hit_ratio。{ "id": "cmpl-9f1c7b2e8a41", "object": "chat.completion", "model": "moonshotai/kimi-k2.5", "created": 1744828800, "choices": [{ "index": 0, "message": { "role": "assistant", "content": "KV cache stores the key and value tensors …" }, "finish_reason": "stop" }], "usage": { "prompt_tokens": 24, "completion_tokens": 128, "total_tokens": 152, "cache_hit_ratio": 0.71 // wylon 扩展字段:上下文缓存命中率 } }infousage中的cache_hit_ratio是 wylon 在 OpenAI 兼容协议基础上增加的扩展字段, 用于表示本次请求命中系统级上下文缓存的比例。重复前缀越多,命中率通常越高,成本也更有优势。其余字段与 OpenAI 协议保持一致。 - 将任意符合 OpenAI 规范的客户端指向
API 接入点
Token 工厂的推理 API 与 OpenAI 协议保持一致。下表列出了最常用的端点。
API 手册| 方法与路径 | 用途 | 说明 |
|---|---|---|
| POST /chat/completions | 对话式生成 | 支持:流式输出、工具调用、结构化输出。 |
| GET /models | 列出可用模型 | 返回当前账户可用的模型 ID 列表。 |
| POST /batches | 提交批量任务 | 异步处理大批量请求,享受更优定价。详见 批量推理(暂未上线)。 |
常用参数
每次对话补全请求都可以传入以下常用参数。 不同模型的默认值可能不同,通常会在生成质量和响应延迟之间取得平衡。
| 参数 | 类型 | 说明 |
|---|---|---|
| model | string | 模型 ID,例如 moonshotai/kimi-k2.5。可在 模型列表 页面查看。 |
| messages | array | 按顺序传入的{role, content} 对话轮次列表。角色可选 system、user、
assistant。
|
| temperature | number | 采样温度,取值 0 到 2,默认 0.7。 |
| max_tokens | integer | 最大生成 token 数,受模型上下文窗口限制。 |
| stream | boolean | 流式输出。以 Server-Sent Events 方式返回 token 增量流。 |
| tools | array | 模型可调用的函数定义。参见 函数调用。 |
| response_format | object | 强制 JSON 或指定的 Schema。参见 结构化输出。 |
需要帮助?
如遇问题,欢迎通过 联系我们 获取支持。