快速入门

Token 用量计算

​ 模型服务用量的一个重要概念是 token。在调用模型推理服务时,会将输入内容进行分词(tokenize),转化为模型可以理解的 token ,经过模型处理后,同样输出 token,并转化为您需要的文本或者其他内容载体。

​ Token 是模型用来表示自然语言文本的基本单位,也是我们的计费单元,一般情况下模型中 token 和字数的换算比例大致如下:

  • 1 个英文字符 ≈ 0.3 个 token。
  • 1 个中文字符 ≈ 0.6 个 token。

​ 但因为不同模型的分词不同,所以换算比例也存在差异,每一次实际处理 token 数量以模型返回为准,您可以从返回结果的 usage 中查看。

​ 语言大模型推理服务费用的一种较为常见的计算方式如下:

费用 = token 消耗量 × 模型单价

results matching ""

    No results matching ""