AI arkadaş uygulamaları için bir arka uç

Bir arkadaş uygulamasının ihtiyacı olanlar ve elde ettikleri

Bir kullanıcının maliyeti

Yani her gün sohbet eden bir kullanıcı DeepSeek’te ayda yaklaşık $0.97, GLM’de $0.56 tutar. Çoğu kullanıcı her gün sohbet etmez, bu yüzden ortalama daha düşüktür. Önbellek sütunu, aynı başlangıcın mesajdan mesaja tekrarlandığını varsayar; bunu nasıl koruyacağını sonraki bölümde anlatıyoruz.

Persona, hafıza ve akışla gelen yanıt

Sistem mesajı personayı taşır, ardından uygulamanın bu kullanıcı hakkında hatırladıklarını. Son mesajlar onu izler. Bunu sunucunda çalıştır; böylece anahtar telefona hiç ulaşmaz.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key, bir kullanıcının çağrılarını başlangıcının önbellekte olduğu yerde tutar. Hesabınla birlikte bir karma (hash) olarak iletilir, bu yüzden hiçbir başka hesap önbelleği paylaşmaz.

Ucuz kalan hafıza

• Hafızayı her mesajda değil, adım adım yeniden yaz. Bir çağrının başlangıcı yalnızca tekrar ettiği sürece önbellekten okunur. Özeti her 20 ya da 30 mesajda güncelle; aradaki sürede başlangıç aynı kalır.
• Eski mesajları bloklar halinde at. Her turda bir mesajı kırpmak başlangıcı her seferinde değiştirir. En eski 20’yi bir seferde özete kat, sonra eklemeye devam et.
• Özeti ucuz bir çağrıyla yaz. glm-5.3-flash-uncensored, girişte milyon token başına $0.20 ile “bu kullanıcı hakkında bildiklerini güncelle” için iyi bir seçimdir; bunu kimse beklemez.
• Yazışmaları kendi tarafında tut. Veritabanın sohbet geçmişini ve hafızayı tutar. Şifrele, kullanıcıların silmesine izin ver; verinin yaşadığı tek yer sensin.

Hangi model

Kullanıcılarının okuyabileceği gizlilik

Arkadaş sohbetleri, var olan en kişisel metinlerden bazılarıdır. Çağrı başına zamanı, anahtarı, modeli, token sayılarını, kredileri ve durumu 30 gün tutarız; başka hiçbir şey. Hesap e-postası yok, mesaj yok, yanıt yok. DeepSeek, istem ya da yanıt saklamayan özel bir katmanda çalışır; GLM’in sunucusu ise yanıt gönderildikten sonra hiçbir şey tutmaz.

Bir çağrı çalışmadan önce, otomatik bir kontrol en yeni mesajı kesin sınırlara karşı okur ve evet ya da hayır yanıtı verir. Okuduğu şey saklanmaz. Neleri tutuyoruz.