Бэкенд для приложений-компаньонов

Что нужно приложению-компаньону и что вы получаете

Сколько стоит пользователь

Итого пользователь, который общается каждый день, обходится примерно в $0.97 в месяц на DeepSeek или $0.56 на GLM. Большинство пользователей пишут не каждый день, поэтому средняя сумма ниже. Колонка с кэшем предполагает, что одно и то же начало повторяется от сообщения к сообщению; как это поддерживать, описано в следующем разделе.

Персона, память и потоковый ответ

Системное сообщение содержит персону, затем то, что ваше приложение помнит об этом пользователе. Далее идут последние сообщения. Запускайте это на своём сервере, чтобы ключ никогда не попадал в телефон.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key сохраняет вызовы одного пользователя там, где его начало закэшировано. Он передаётся в виде хэша вместе с вашим аккаунтом, поэтому никакой другой аккаунт не делит этот кэш.

Память, которая остаётся дешёвой

• Обновляйте память пачками, а не на каждое сообщение. Начало вызова читается из кэша, только пока оно повторяется. Обновляйте резюме каждые 20 или 30 сообщений, и начало между обновлениями останется прежним.
• Удаляйте старые сообщения блоками. Если убирать по одному сообщению за реплику, начало меняется каждый раз. Сверните 20 самых старых в резюме разом, а потом продолжайте добавлять.
• Пишите резюме дешёвым вызовом. glm-5.3-flash-uncensored по $0.20 за миллион входных токенов подходит для «обнови, что ты знаешь об этом пользователе»: никто не ждёт этого ответа.
• Храните данные на своей стороне. Ваша база содержит историю чатов и память. Шифруйте её, дайте пользователям возможность удалять, и только у вас она и будет храниться.

Какая модель

Приватность, которую ваши пользователи могут прочитать

Чаты с компаньоном — одни из самых личных текстов. На каждый вызов мы храним время, ключ, модель, количество токенов, кредиты и статус, 30 дней, и больше ничего. Ни email аккаунта, ни сообщений, ни ответов. DeepSeek работает на приватном уровне, который не хранит промпты и ответы, а хост GLM ничего не сохраняет после отправки ответа.

Перед запуском вызова автоматическая проверка читает самое новое сообщение по жёстким ограничениям и отвечает «да» или «нет». Прочитанное не сохраняется. Что мы храним.