wylon

快速开始

Token 工厂 是 wylon 新云面向开发者提供的大模型推理服务。你可以通过同一套 OpenAI / Anthropic 兼容 API,一站式接入 MiniMax、Kimi、GLM、Qwen、DeepSeek 等主流开源模型。服务运行在 wylon 自建国产 GPU 算力底座上,适合从原型验证到生产部署的完整开发流程。

概览

通过浏览 wylon 新云提供的 模型目录 ,你可以选择合适的模型, 再通过兼容 OpenAI / Anthropic 的 API 将推理能力集成到自己的应用中。wylon 也可以接入主流 Agent 框架,例如 OpenClaw、Hermes、OpenCode、Claude Code 等。

在 wylon 新云上你可以:

立即开始构建

按照下面三个步骤,即可向 Token 工厂发起第一次请求。

  1. 注册账户

    • 前往 wylon 控制台 免费注册 wylon 新云账户。
    • 完成实名认证后即可使用已开放模型。
    套餐、免费额度和扣费规则请参考 计费与用量

    info
    已经在使用 OpenAI 或 Anthropic?wylon 兼容对应 SDK,通常只需要替换 Base URL、API Key 和模型 ID。
    具体的迁移步骤请参考 迁移到 wylon
  2. 创建 API 密钥

    • wylon 控制台 进入 账户设置 → API 密钥
    • 点击 创建新密钥,复制生成的 API Key。
      密钥管理、权限和轮换说明请参考 API 密钥
    • 将密钥设置为 Shell 环境变量,方便下面的示例代码完成鉴权。
    # 添加到 ~/.bashrc 或 ~/.profile
    export WYLON_API_KEY="wl-••••••••••••••••••••••••••••••••"
    export WYLON_BASE_URL="https://api.wylon.cn/v1"
    # 添加到 ~/.zshrc
    export WYLON_API_KEY="wl-••••••••••••••••••••••••••••••••"
    export WYLON_BASE_URL="https://api.wylon.cn/v1"
    # PowerShell — 对当前用户持久生效
    [Environment]::SetEnvironmentVariable("WYLON_API_KEY", "wl-••••••••••••••••••••••••••••••••", "User")
    [Environment]::SetEnvironmentVariable("WYLON_BASE_URL", "https://api.wylon.cn/v1", "User")
    key
    妥善保管密钥。 切勿将 API 密钥提交到代码仓库,也不要打包到客户端产物中。生产环境建议使用密钥管理服务或服务端
  3. 发送第一个请求

      下方展示如何使用 OpenAI 兼容接口,采用一条简单的对话 调用 Kimi K2.5。

    • 将任意符合 OpenAI 规范的客户端指向 https://api.wylon.cn/v1
    • 模型目录 中选择一个受支持的模型 ID 作为model
    • 根据所选模型的使用说明,构建相应的对话消息或 prompt messages,并发送请求以获取模型的响应。
    from openai import OpenAI
    import os
    
    client = OpenAI(
        api_key=os.environ["WYLON_API_KEY"],
        base_url="https://api.wylon.cn/v1",
    )
    
    response = client.chat.completions.create(
        model="moonshotai/kimi-k2.5",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Explain KV cache in one paragraph."},
        ],
        temperature=0.6,
        max_tokens=512,
    )
    
    print(response.choices[0].message.content)
    import OpenAI from "openai";
    
    const client = new OpenAI({
      apiKey: process.env.WYLON_API_KEY,
      baseURL: "https://api.wylon.cn/v1",
    });
    
    const response = await client.chat.completions.create({
      model: "moonshotai/kimi-k2.5",
      messages: [
        { role: "system", content: "You are a helpful assistant." },
        { role: "user",   content: "Explain KV cache in one paragraph." },
      ],
      temperature: 0.6,
      max_tokens: 512,
    });
    
    console.log(response.choices[0].message.content);
    curl https://api.wylon.cn/v1/chat/completions \
      -H "Content-Type: application/json" \
      -H "Authorization: Bearer $WYLON_API_KEY" \
      -d '{
        "model": "moonshotai/kimi-k2.5",
        "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user",   "content": "Explain KV cache in one paragraph."}
        ],
        "temperature": 0.6,
        "max_tokens": 512
      }'
    package main
    
    import (
        "context"
        "fmt"
        "os"
    
        "github.com/sashabaranov/go-openai"
    )
    
    func main() {
        cfg := openai.DefaultConfig(os.Getenv("WYLON_API_KEY"))
        cfg.BaseURL = "https://api.wylon.cn/v1"
        client := openai.NewClientWithConfig(cfg)
    
        resp, err := client.CreateChatCompletion(context.Background(),
            openai.ChatCompletionRequest{
                Model: "moonshotai/kimi-k2.5",
                Messages: []openai.ChatCompletionMessage{
                    {Role: "user", Content: "Explain KV cache in one paragraph."},
                },
            })
        if err != nil { fmt.Println(err); return }
        fmt.Println(resp.Choices[0].Message.Content)
    }

    请求成功后,响应会返回模型输出 content、Token 使用情况 usage,以及 wylon 新云系统级缓存命中率 cache_hit_ratio

    {
      "id": "cmpl-9f1c7b2e8a41",
      "object": "chat.completion",
      "model": "moonshotai/kimi-k2.5",
      "created": 1744828800,
      "choices": [{
        "index": 0,
        "message": {
          "role": "assistant",
          "content": "KV cache stores the key and value tensors …"
        },
        "finish_reason": "stop"
      }],
      "usage": {
        "prompt_tokens": 24,
        "completion_tokens": 128,
        "total_tokens": 152,
        "cache_hit_ratio": 0.71      // wylon 扩展字段:上下文缓存命中率
      }
    }
    info

    usage 中的 cache_hit_ratio 是 wylon 在 OpenAI 兼容协议基础上增加的扩展字段, 用于表示本次请求命中系统级上下文缓存的比例。重复前缀越多,命中率通常越高,成本也更有优势。其余字段与 OpenAI 协议保持一致。

API 接入点

Token 工厂的推理 API 与 OpenAI 协议保持一致。下表列出了最常用的端点。

API 手册
方法与路径 用途 说明
POST  /chat/completions 对话式生成 支持:流式输出、工具调用结构化输出
GET  /models 列出可用模型 返回当前账户可用的模型 ID 列表。
POST  /batches 提交批量任务 异步处理大批量请求,享受更优定价。详见 批量推理(暂未上线)。

常用参数

每次对话补全请求都可以传入以下常用参数。 不同模型的默认值可能不同,通常会在生成质量和响应延迟之间取得平衡。

参数 类型 说明
model string 模型 ID,例如 moonshotai/kimi-k2.5。可在 模型列表 页面查看。
messages array 按顺序传入的{role, content} 对话轮次列表。角色可选 systemuserassistant
temperature number 采样温度,取值 02,默认 0.7
max_tokens integer 最大生成 token 数,受模型上下文窗口限制。
stream boolean 流式输出。以 Server-Sent Events 方式返回 token 增量流。
tools array 模型可调用的函数定义。参见 函数调用
response_format object 强制 JSON 或指定的 Schema。参见 结构化输出

需要帮助?

如遇问题,欢迎通过 联系我们 获取支持。

沪ICP备2026010432号-1 沪公网安备31010402336632号