Backend untuk aplikasi AI pendamping

Apa yang dibutuhkan aplikasi pendamping, dan apa yang kamu dapat

Biaya per pengguna

Jadi pengguna yang mengobrol setiap hari sekitar $0.97 sebulan di DeepSeek, atau $0.56 di GLM. Kebanyakan pengguna tidak mengobrol setiap hari, jadi rata-ratanya lebih rendah. Kolom cache mengasumsikan awal yang sama berulang dari pesan ke pesan; bagian berikutnya menjelaskan cara menjaganya tetap begitu.

Persona, memori, dan balasan yang di-stream

Pesan sistem berisi persona, lalu apa yang diingat aplikasimu tentang pengguna ini. Pesan terbaru menyusul. Jalankan ini di servermu, agar kunci tidak pernah sampai ke ponsel.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key menjaga panggilan satu pengguna agar awalnya tetap di-cache. Kunci ini diteruskan sebagai hash bersama akunmu, sehingga tidak ada akun lain yang berbagi cache.

Memori yang tetap murah

• Perbarui memori secara bertahap, bukan setiap pesan. Awal panggilan hanya dibaca dari cache selama awalnya berulang. Perbarui ringkasan setiap 20 atau 30 pesan, dan awalnya tetap sama di antaranya.
• Buang pesan lama dalam blok. Memangkas satu pesan per giliran mengubah awal setiap kali. Gabungkan 20 pesan tertua ke ringkasan sekaligus, lalu terus tambahkan.
• Tulis ringkasan dengan panggilan murah. glm-5.3-flash-uncensored dengan $0.20 per juta token masuk cocok untuk “perbarui apa yang kamu ketahui tentang pengguna ini”, yang tidak ditunggu siapa pun.
• Simpan datanya di sisimu. Basis datamu menyimpan riwayat obrolan dan memori. Enkripsi, biarkan pengguna menghapusnya, dan kamu adalah satu-satunya tempat data itu berada.

Model yang mana

Privasi yang bisa dibaca penggunamu

Obrolan pendamping termasuk teks paling pribadi. Per panggilan kami menyimpan waktu, kunci, model, jumlah token, kredit, dan status, selama 30 hari, dan tidak ada yang lain. Tanpa email akun, tanpa pesan, tanpa balasan. DeepSeek berjalan di tingkat privat yang tidak menyimpan prompt atau balasan, dan host GLM tidak menyimpan apa pun setelah balasan terkirim.

Sebelum panggilan berjalan, pemeriksaan otomatis membaca pesan terbaru terhadap batasan keras dan menjawab ya atau tidak. Apa yang dibaca tidak disimpan. Yang kami simpan.