Ein Backend für KI-Companion-Apps

Was eine Companion-App braucht und was Sie bekommen

Was ein Nutzer kostet

Ein Nutzer, der jeden Tag chattet, kostet also etwa $0.97 im Monat auf DeepSeek oder $0.56 auf GLM. Die meisten Nutzer chatten nicht täglich, der Durchschnitt liegt also niedriger. Die Spalte mit Cache setzt voraus, dass derselbe Start von Nachricht zu Nachricht wiederkehrt; der nächste Abschnitt zeigt, wie das so bleibt.

Persona, Gedächtnis und eine gestreamte Antwort

Die System-Nachricht enthält die Persona, danach das, was Ihre App über diesen Nutzer behält. Die letzten Nachrichten folgen. Führen Sie dies auf Ihrem Server aus, damit der Schlüssel nie das Telefon erreicht.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key hält die Aufrufe eines Nutzers dort, wo sein Start im Cache liegt. Er wird als Hash mit Ihrem Konto übergeben, sodass kein anderes Konto den Cache teilt.

Ein Gedächtnis, das günstig bleibt

• Schreiben Sie das Gedächtnis in Schritten, nicht bei jeder Nachricht neu. Der Anfang eines Aufrufs wird nur aus dem Cache gelesen, solange er sich wiederholt. Aktualisieren Sie die Zusammenfassung alle 20 oder 30 Nachrichten, dann bleibt der Anfang dazwischen gleich.
• Entfernen Sie alte Nachrichten in Blöcken. Wenn Sie pro Runde eine Nachricht kürzen, ändert sich der Anfang jedes Mal. Fassen Sie die ältesten 20 auf einmal in der Zusammenfassung zusammen und hängen Sie dann weiter an.
• Schreiben Sie die Zusammenfassung mit einem günstigen Aufruf. glm-5.3-flash-uncensored mit $0.20 pro Million Eingabe-Token eignet sich für „Aktualisiere, was du über diesen Nutzer weißt“, worauf niemand warten muss.
• Bewahren Sie die Inhalte auf Ihrer Seite auf. Ihre Datenbank hält den Chatverlauf und das Gedächtnis. Verschlüsseln Sie sie und lassen Sie Nutzer sie löschen: Nur bei Ihnen liegen die Daten.

Welches Modell

Datenschutz, den Ihre Nutzer nachlesen können

Companion-Chats gehören zu den persönlichsten Texten überhaupt. Pro Aufruf speichern wir Zeitpunkt, Schlüssel, Modell, Token-Zählungen, Credits und Status, 30 Tage lang, und sonst nichts. Keine Konto-E-Mail, keine Nachrichten, keine Antworten. DeepSeek läuft auf einer privaten Stufe, die keine Prompts oder Antworten speichert, und der GLM-Host behält nach dem Versand der Antwort nichts.

Bevor ein Aufruf läuft, liest eine automatische Prüfung die neueste Nachricht gegen die harten Grenzen und antwortet mit Ja oder Nein. Was sie liest, wird nicht gespeichert. Was wir speichern.