Um backend para apps de companhia com IA

O que um app de companhia precisa e o que você recebe

Quanto custa um usuário

Assim, um usuário que conversa todo dia custa cerca de US$ 0,97 por mês no DeepSeek, ou US$ 0,56 no GLM. A maioria dos usuários não conversa todo dia, então a média é menor. A coluna com cache supõe que o mesmo início se repete de mensagem em mensagem; a próxima seção mostra como manter isso.

Persona, memória e uma resposta em streaming

A mensagem de sistema guarda a persona e, depois, o que o seu app lembra sobre este usuário. As mensagens recentes vêm em seguida. Rode isto no seu servidor, para que a chave nunca chegue ao celular.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key mantém as chamadas de um usuário onde o início delas fica em cache. Ele é enviado como um hash com a sua conta, então nenhuma outra conta compartilha o cache.

Memória que continua barata

• Reescreva a memória em etapas, não a cada mensagem. O início de uma chamada só é lido do cache enquanto se repete. Atualize o resumo a cada 20 ou 30 mensagens, e o início continua igual no meio-tempo.
• Descarte mensagens antigas em blocos. Cortar uma mensagem por turno muda o início toda vez. Passe as 20 mais antigas para o resumo de uma só vez e depois continue acrescentando.
• Escreva o resumo com uma chamada barata. glm-5.3-flash-uncensored, a US$ 0,20 por milhão de tokens de entrada, serve bem para “atualize o que você sabe sobre este usuário”, algo que ninguém fica esperando.
• Guarde as palavras do seu lado. Seu banco de dados guarda o histórico do chat e a memória. Criptografe, deixe o usuário apagar, e você é o único lugar onde ela existe.

Qual modelo

Privacidade que seus usuários podem ler

Conversas de companhia estão entre os textos mais pessoais que existem. Por chamada guardamos o horário, a chave, o modelo, as contagens de tokens, os créditos e o status, por 30 dias, e nada além disso. Sem e-mail da conta, sem mensagens, sem respostas. O DeepSeek roda numa camada privada que não guarda prompts nem respostas, e o provedor do GLM não guarda nada depois que a resposta é enviada.

Antes de uma chamada rodar, uma verificação automática lê a mensagem mais recente contra os limites rígidos e responde sim ou não. O que ela leu não é guardado. O que guardamos.