API для диалогов NPC в играх

Что нужно диалогу NPC и что вы получаете

Сколько стоят тысяча разговоров

На GLM те же тысяча разговоров стоят около $1.34 без учёта его короткого размышления, но оно идёт перед каждой репликой и отнимает время, которого у NPC нет. Короткие описания персонажа в любом случае дешевы; дорого становится длинный лорный текст в каждом запросе.

Реплика диалога, потоком

Запускайте это на вашем игровом сервере, а не в клиенте: ключ, вшитый в игру, можно из неё вытащить. Показывайте каждый кусок по мере поступления, чтобы облачко с речью заполнялось на глазах у игрока.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://nokeep.ai/v1",
    api_key=os.environ["NOKEEP_API_KEY"],
)

persona = "You are Brannoc, the blacksmith of Hollowmere: gruff, superstitious, owes the thieves guild money. The player has the quest \"Missing ore\" and has not yet found the mine. Speak only as Brannoc, in one to three short sentences. Never mention game mechanics."

stream = client.chat.completions.create(
    model="deepseek-v4.1-flash-uncensored",
    messages=[
        {"role": "system", "content": persona},
        {"role": "user", "content": "Have you seen any ore carts come through town?"},
    ],
    stream=True,
    max_tokens=120,
    temperature=0.8,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)

Реплика, на которую может опереться игра

Когда ответ NPC должен менять игру, запросите JSON вместо потоковой прозы: реплику для показа, настроение для анимации и действие для вашего кода. Опишите структуру и в промпте тоже.

import json

reply = client.chat.completions.create(
    model="deepseek-v4.1-flash-uncensored",
    max_tokens=200,
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": persona + ' Answer as JSON: {"line": string, "mood": "calm" | "angry" | "afraid", "action": "none" | "give_map" | "attack"}.'},
        {"role": "user", "content": "Tell me where the mine is or I tell the guild you skipped town."},
    ],
)
npc = json.loads(reply.choices[0].message.content)
print(npc["line"], npc["mood"], npc["action"])

Много игроков одновременно

• Каждый ключ принимает 120 запросов в минуту, а на аккаунт можно завести 10 ключей. После ответа 429 заголовок Retry-After указывает, сколько ждать. Лимиты запросов.
• Дайте каждой среде свой ключ с дневным лимитом: ошибка, которая зацикливает диалог, остановится на лимите, а не на вашем балансе. Ключи и лимиты.
• Держите описания персонажей короткими и неизменными. Персонаж около 1,000 токенов и больше, который повторяется от запроса к запросу, читается из кэша по доле от цены.
• Заготовьте запасную реплику на случай сбоя, чтобы загруженный момент не замораживал сцену. Ответ 503 busy ничего не стоит.

Какая модель

Для реплик, которые озвучиваются, используйте deepseek-v4.1-flash-uncensored: он отвечает без предварительного размышления, принимает настройки сэмплирования и возвращает JSON. glm-5.3-flash-uncensored дешевле за токен ($0.20 на входе и $0.65 на выходе за миллион против $0.45 и $1.75), но перед каждым ответом коротко размышляет, поэтому подходит для работы, которую игрок не ждёт, например для написания завтрашних городских слухов. Сравните их.

Что мы храним из слов игроков

Одна строка на запрос: время, ключ, модель, число токенов, кредиты и статус, хранится 30 дней. Никогда не хранятся слова игрока и никогда реплика NPC. В описание персонажа ничего не добавляется. Что мы храним.