Un backend pour les applications d’IA compagnon

Ce qu’une application compagnon demande, et ce que vous obtenez

Ce que coûte un utilisateur

Ainsi, un utilisateur qui discute chaque jour coûte environ 0,97 $ par mois sur DeepSeek, ou 0,56 $ sur GLM. La plupart des utilisateurs ne discutent pas chaque jour, donc la moyenne est plus basse. La colonne « avec cache » suppose que le même début se répète d’un message à l’autre ; la section suivante explique comment le maintenir ainsi.

Persona, mémoire et réponse en streaming

Le message système contient le persona, puis ce que votre application retient sur cet utilisateur. Les messages récents suivent. Exécutez ceci sur votre serveur, afin que la clé n’atteigne jamais le téléphone.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key garde les appels d’un utilisateur là où leur début est en cache. Il est transmis sous forme de hachage avec votre compte, donc aucun autre compte ne partage ce cache.

Une mémoire qui reste bon marché

• Réécrivez la mémoire par étapes, pas à chaque message. Le début d’un appel n’est lu depuis le cache que tant qu’il se répète. Mettez le résumé à jour toutes les 20 ou 30 réponses : le début reste le même entre-temps.
• Retirez les anciens messages par blocs. Couper un message à chaque tour change le début à chaque fois. Résumez les 20 plus anciens d’un coup, puis continuez d’ajouter.
• Rédigez le résumé avec un appel peu coûteux. glm-5.3-flash-uncensored à 0,20 $ par million de tokens en entrée convient à « mettre à jour ce que vous savez sur cet utilisateur », dont personne n’attend le résultat.
• Gardez les mots chez vous. Votre base de données contient l’historique du chat et la mémoire. Chiffrez-la, laissez les utilisateurs la supprimer, et vous êtes le seul endroit où elle existe.

Quel modèle choisir

Une confidentialité que vos utilisateurs peuvent lire

Les conversations avec un compagnon sont parmi les textes les plus personnels qui soient. Pour chaque appel, nous gardons l’heure, la clé, le modèle, le nombre de tokens, les crédits et le statut, pendant 30 jours, et rien d’autre. Ni e-mail de compte, ni messages, ni réponses. DeepSeek tourne sur un palier privé qui ne stocke ni prompts ni réponses, et l’hébergeur de GLM n’en conserve aucun une fois la réponse envoyée.

Avant qu’un appel ne s’exécute, un contrôle automatisé lit le message le plus récent au regard des limites strictes et répond oui ou non. Ce qu’il lit n’est pas conservé. Ce que nous conservons.