Backend cho ứng dụng bạn đồng hành AI

Ứng dụng bạn đồng hành cần gì, và bạn nhận được gì

Một người dùng tốn bao nhiêu

Vì vậy, một người dùng trò chuyện mỗi ngày tốn khoảng 0,97 $ mỗi tháng trên DeepSeek, hoặc 0,56 $ trên GLM. Đa số người dùng không trò chuyện mỗi ngày, nên mức trung bình thấp hơn. Cột đã cache giả định phần mở đầu giống nhau lặp lại từ tin nhắn này sang tin nhắn khác; phần tiếp theo là cách giữ cho nó như vậy.

Persona, trí nhớ và câu trả lời truyền trực tuyến

Tin nhắn hệ thống chứa persona, rồi đến những gì ứng dụng của bạn nhớ về người dùng này. Các tin nhắn gần đây đi theo sau. Chạy đoạn này trên máy chủ của bạn, để khóa không bao giờ tới điện thoại.

import OpenAI from "openai"

const client = new OpenAI({
  baseURL: "https://nokeep.ai/v1",
  apiKey: process.env.NOKEEP_API_KEY,
})

const persona = "You are Iris, a warm, teasing companion who loves astronomy and bad puns. Talk like a close friend texting: short messages, no lists, no lectures. Remember what the user tells you and bring it up later."

export async function reply(user, recent, send) {
  const stream = await client.chat.completions.create({
    model: "deepseek-v4.1-flash-uncensored",
    messages: [
      { role: "system", content: persona + "\n\nWhat you know about them: " + user.memory },
      ...recent,
    ],
    stream: true,
    max_tokens: 300,
    temperature: 0.9,
    prompt_cache_key: "user-" + user.id,
  })
  let text = ""
  for await (const chunk of stream) {
    const piece = chunk.choices[0]?.delta?.content ?? ""
    send(piece)
    text += piece
  }
  return text
}

prompt_cache_key giữ các lượt gọi của một người dùng ở nơi phần mở đầu của họ được cache. Khóa này được chuyển đi dưới dạng băm cùng tài khoản của bạn, nên không tài khoản nào khác chia sẻ cache.

Trí nhớ vẫn rẻ

• Viết lại bộ nhớ theo từng bước, không phải mỗi tin nhắn. Phần đầu của một lượt gọi chỉ được đọc từ cache khi nó lặp lại. Cập nhật bản tóm tắt mỗi 20 hoặc 30 tin nhắn, và phần đầu sẽ giữ nguyên ở giữa các lần.
• Bỏ tin nhắn cũ theo khối. Cắt một tin nhắn mỗi lượt sẽ làm đổi phần đầu mỗi lần. Gộp 20 tin nhắn cũ nhất vào bản tóm tắt cùng lúc, rồi tiếp tục nối thêm.
• Viết bản tóm tắt bằng một lượt gọi rẻ. glm-5.3-flash-uncensored với giá 0,20 $ cho mỗi triệu token vào là lựa chọn phù hợp cho “cập nhật những gì bạn biết về người dùng này”, việc mà không ai phải chờ.
• Giữ dữ liệu về phía bạn. Cơ sở dữ liệu của bạn giữ lịch sử chat và bộ nhớ. Mã hóa nó, cho người dùng xóa, và bạn là nơi duy nhất nó tồn tại.

Mô hình nào

Quyền riêng tư mà người dùng của bạn có thể đọc

Trò chuyện với bạn đồng hành thuộc dạng nội dung riêng tư nhất. Với mỗi lượt gọi, chúng tôi giữ thời gian, khóa, mô hình, số token, tín dụng và trạng thái, trong 30 ngày, và không gì khác. Không email tài khoản, không tin nhắn, không câu trả lời. DeepSeek chạy trên một tầng riêng tư không lưu lời nhắc hay câu trả lời, còn máy chủ của GLM không giữ gì sau khi câu trả lời được gửi đi.

Trước khi một lượt gọi chạy, một kiểm tra tự động đọc tin nhắn mới nhất theo các giới hạn cứng và trả lời có hoặc không. Nội dung nó đọc không được lưu. Những gì chúng tôi giữ.