OpenAI API Completions

請(qǐng)注意，<|endoftext|> 是模型在訓(xùn)練期間看到的文檔分隔符，因此如果未指定提示，模型將生成新文檔的開頭。

完成時(shí)生成的最大令牌數(shù)。

您的提示的令牌計(jì)數(shù)加上 max_tokens 不能超過模型的上下文長度。大多數(shù)模型的上下文長度為 2048 個(gè)標(biāo)記（最新模型除外，它支持 4096）。

當(dāng)與 n 一起使用時(shí)，best_of 控制候選完成的數(shù)量，n 指定返回多少 - best_of 必須大于 n。

注意：因?yàn)檫@個(gè)參數(shù)會(huì)產(chǎn)生很多完成，它會(huì)很快消耗你的令牌配額。請(qǐng)謹(jǐn)慎使用并確保您對(duì) max_tokens 和停止進(jìn)行了合理的設(shè)置。

修改指定標(biāo)記出現(xiàn)在完成中的可能性。

接受一個(gè) json 對(duì)象，該對(duì)象將標(biāo)記（由 GPT 標(biāo)記器中的標(biāo)記 ID 指定）映射到從 -100 到 100 的相關(guān)偏差值。您可以使用此標(biāo)記器工具（適用于 GPT-2 和 GPT-3）來轉(zhuǎn)換文本到令牌 ID。從數(shù)學(xué)上講，偏差會(huì)在采樣之前添加到模型生成的對(duì)數(shù)中。確切的效果因模型而異，但 -1 和 1 之間的值應(yīng)該會(huì)減少或增加選擇的可能性；像 -100 或 100 這樣的值應(yīng)該導(dǎo)致相關(guān)令牌的禁止或獨(dú)占選擇。

例如，您可以傳遞 {"50256": -100} 以防止生成 <|endoftext|> 標(biāo)記。

curl https://api.openai.com/v1/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "ada",
    "prompt": "Say this is a test",
    "max_tokens": 7,
    "temperature": 0
  }'

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
openai.Completion.create(
  model="ada",
  prompt="Say this is a test",
  max_tokens=7,
  temperature=0
)

const { Configuration, OpenAIApi } = require("openai");
const configuration = new Configuration({
  apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);
const response = await openai.createCompletion({
  model: "ada",
  prompt: "Say this is a test",
  max_tokens: 7,
  temperature: 0,
});