AIコンパニオンアプリのためのバックエンド

コンパニオンアプリに必要なことと、nokeep で得られるもの

ユーザー1人の費用

毎日チャットするユーザーは、DeepSeek で月およそ0.97ドル、GLM で0.56ドルです。毎日は使わないユーザーが大半なので、平均はもっと低くなります。キャッシュの列は、同じ冒頭がメッセージごとに繰り返されることを前提にしています。その保ち方は次のセクションで説明します。

ペルソナ、記憶、ストリーミングされる返信

システムメッセージには、まずペルソナが入り、次にアプリがそのユーザーについて覚えていることが続きます。直近のメッセージがその後に来ます。キーがスマホに届かないよう、このコードはサーバーで動かしてください。

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key は、1人のユーザーの呼び出しを、その冒頭がキャッシュされているところに寄せます。アカウントごとのハッシュとして渡されるので、他のアカウントがこのキャッシュを共有することはありません。

記憶を、コストを抑えて保つ

• 記憶は毎メッセージではなく、段階を追って書き換える。 呼び出しの冒頭は、繰り返している間だけキャッシュから読まれます。要約を20〜30メッセージごとに更新すれば、その間は冒頭が同じままです。
• 古いメッセージは、ひと塊ずつ削る。 1ターンごとに1メッセージずつ削ると、毎回冒頭が変わります。古い20メッセージを一度にまとめて要約に入れ、そのあとは追記していきます。
• 要約は安い呼び出しで書く。 「このユーザーについて知っていることを更新する」には、入力100万トークンあたり0.20ドルの glm-5.3-flash-uncensored が向いています。待つ人がいない処理だからです。
• 言葉はあなたの側に置く。 チャット履歴と記憶はあなたのデータベースに置きます。暗号化し、ユーザーが削除できるようにすれば、そこが唯一の保存先になります。

どのモデルか

ユーザーが読んで納得できるプライバシー

コンパニオンのチャットは、もっとも個人的な文章のひとつです。呼び出しごとに保存するのは、時刻、キー、モデル、トークン数、クレジット、ステータスだけで、保存期間は30日です。アカウントのメールアドレス、メッセージ、返信は保存しません。DeepSeek はプロンプトも返信も保存しない非公開の枠で動き、GLM のホストは返信を送ったあとには何も保持しません。

呼び出しが実行される前に、自動チェックが最新のメッセージをハードリミットに照らして、可否を答えます。チェックが読んだ内容は保存されません。保存する内容。