Un backend para apps de compañía de IA

Lo que necesita una app de compañía, y lo que obtienes

Lo que cuesta un usuario

Así, un usuario que chatea todos los días cuesta unos $0.97 al mes en DeepSeek, o $0.56 en GLM. La mayoría de los usuarios no chatea a diario, así que el promedio es menor. La columna con caché supone que el mismo inicio se repite de mensaje en mensaje; la siguiente sección explica cómo mantenerlo así.

Personaje, memoria y una respuesta en streaming

El mensaje de sistema contiene el personaje, y luego lo que tu app recuerda de este usuario. Los mensajes recientes van después. Ejecútalo en tu servidor, para que la clave nunca llegue al teléfono.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key mantiene las llamadas de un usuario donde su inicio está en caché. Se envía como un hash con tu cuenta, así que ninguna otra cuenta comparte la caché.

Memoria que sigue siendo barata

• Reescribe la memoria por pasos, no en cada mensaje. El inicio de una llamada se lee de caché solo mientras se repite. Actualiza el resumen cada 20 o 30 mensajes, y el inicio se mantiene igual entre medias.
• Descarta los mensajes viejos en bloques. Recortar un mensaje por turno cambia el inicio cada vez. Resume los 20 más antiguos de una vez y luego sigue agregando.
• Escribe el resumen con una llamada barata. glm-5.3-flash-uncensored, a $0.20 por millón de tokens de entrada, es buena opción para “actualiza lo que sabes de este usuario”, que nadie espera.
• Guarda las palabras de tu lado. Tu base de datos guarda el historial del chat y la memoria. Cífrala, deja que los usuarios la borren, y tú eres el único lugar donde vive.

Qué modelo usar

Privacidad que tus usuarios pueden leer

Los chats de compañía son de los textos más personales que existen. Por llamada guardamos la hora, la clave, el modelo, los conteos de tokens, los créditos y el estado, durante 30 días, y nada más. Ni correo de la cuenta, ni mensajes, ni respuestas. DeepSeek corre en un nivel privado que no guarda prompts ni respuestas, y el host de GLM no guarda nada una vez enviada la respuesta.

Antes de que se ejecute una llamada, una verificación automática lee el mensaje más reciente frente a los límites estrictos y responde sí o no. Lo que lee no se guarda. Qué guardamos.