推理概览
wylon 新云 Token 工厂 提供面向开发者和企业的大模型推理服务。 服务器运行在自建国产 GPU 芯片之上，以超节点架构支撑模型调度，并通过兼容 OpenAI 与 Anthropic 的 API 对外开放调用能力。
bolt
无需管理基础设施。
你只需要发送请求并处理响应。
wylon 会在后台完成请求编排、弹性扩缩容和负载均衡，让团队把精力放在应用逻辑上。
可用模型类别
目前已开放 LLM 系列，后续会继续扩展更多模型类型。完整可用模型请以 模型目录 为准。
| 类别 | 示例模型 | 典型用途 |
|---|---|---|
| LLM | MiniMax M2、Kimi K2、GLM-4.6、Qwen3、DeepSeek V3.2 | 对话、推理、代码、工具使用 |
| 视频/图像生成模型 | 即将推出 | 图像生成 |
| 嵌入模型 | 即将推出 | 语义搜索、语义分类、RAG |
| 语音模型 | 即将推出 | 语音处理、ASR、TTS |
基础设施
模型运行在 wylon 自建的国产算力底座上。调度系统会根据模型、负载和延迟目标，将请求路由至最具性佳比的计算节点。
- 可用区：即将开放cn-east-1，后续会持续扩展
- 扩缩：支持自动扩缩，可覆盖从低频调用到每分钟数百万 Token 的负载。
- 大批量场景：提提供异步批量推理能力（暂未上线）。
推理优化
wylon 在推理链路中结合开源方案和自研优化，在保留原模型约 99% 的输出质量的同时， 相比原生服务可带来 2–5× 的吞吐提升。
| 技术 | 作用 |
|---|---|
| KV 缓存 | 复用前序 Token 的 key/value 张量，减少重复计算。 |
| 分页注意力 | 将长序列切分为页，降低内存碎片带来的影响。 |
| Flash Attention | 融合注意力内核与分块 Softmax，提升速度并降低显存占用。 |
| 量化 | 通过 FP8 / INT4 权重压缩降低内存占用，并提升推理速度。 |
| 连续批处理 | 在 Token 粒度合并进行中的请求，提高 GPU 利用率。 |
| 上下文缓存 | 缓存重复前缀（如系统提示、长文档）的中间结果。 |
| 推测解码 | 由小模型先预测多个 Token，再由大模型统一验证。 |
一个最小请求
所有文本生成模型都可以通过同一端点调用。你只需填入 模型目录 中提供的 model ID，就可以对比不同模型的效果。
下面示例展示了一个最小请求，使用 Python 或 cURL 调用接口。
from openai import OpenAI
import os
client = OpenAI(
api_key=os.environ["WYLON_API_KEY"],
base_url="https://api.wylon.cn/v1",
)
resp = client.chat.completions.create(
model="moonshotai/kimi-k2.5",
messages=[{"role": "user", "content": "用两句话总结 RLHF。"}],
)
print(resp.choices[0].message.content)curl https://api.wylon.cn/v1/chat/completions \
-H "Authorization: Bearer $WYLON_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"moonshotai/kimi-k2.5","messages":[{"role":"user","content":"用两句话总结 RLHF。"}]}'可调参数
API 支持 OpenAI 兼容的常用采样参数，包括 temperature、top_p、
max_tokens、presence_penalty、frequency_penalty、
stop、seed 等。
完整参数清单与默认值请参考 对话请求。
继续了解推理能力
根据开发需求，继续查看对应能力的接入方式与最佳实践。
