Kiến trúc như thế nào
Một chatbot không kiểm duyệt riêng có ba thành phần: giao diện người dùng, máy chủ của bạn và API ngôn ngữ. Máy chủ là trung tâm. Nó lưu khóa API, duy trì lịch sử từng cuộc trò chuyện và quyết định gửi gì đến mô hình. Giao diện không bao giờ nói trực tiếp với API vì điều này sẽ làm lộ khóa.
API này tương thích với OpenAI: SDK chính thức hoạt động bằng cách thay đổi Base URL thành https://api.llmsemcensura.com/v1 và sử dụng mô hình uncensored. Nếu bạn chưa có khóa, tạo một khóa ở đây; việc đăng ký sẽ cung cấp cho bạn US$ 0,50 tín dụng dùng thử miễn phí, chỉ với một cú nhấp chuột.
Trước khi dựng máy chủ, hãy kiểm tra kết nối với một thử nghiệm tối thiểu bằng Python, chỉ để chắc chắn rằng khóa và URL đúng:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsemcensura.com/v1", api_key="SUA_CHAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Olá, tudo bem?"}],
)
print(r.choices[0].message.content)Máy chủ Node với truyền phát
Ví dụ dùng Express để nhận tin nhắn và trả lời qua SSE (server-sent events), để văn bản hiển thị từng phần trên màn hình. Cài đặt các phụ thuộc với npm install express openai và đặt khóa trong API_KEY.
import express from "express";
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llmsemcensura.com/v1",
apiKey: process.env.API_KEY,
});
const SISTEMA =
"Você é a Lia, uma assistente de conversa direta e bem-humorada. " +
"Responda em português do Brasil. Os usuários são adultos.";
const sessoes = new Map(); // id da sessão -> histórico
const app = express();
app.use(express.json());
app.post("/chat", async (req, res) => {
const { id, mensagem } = req.body;
const historico = sessoes.get(id) ?? [];
historico.push({ role: "user", content: mensagem });
res.setHeader("Content-Type", "text/event-stream");
res.setHeader("Cache-Control", "no-cache");
try {
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "system", content: SISTEMA }, ...historico.slice(-12)],
stream: true,
max_tokens: 500,
});
let texto = "";
for await (const chunk of stream) {
const parte = chunk.choices[0]?.delta?.content ?? "";
if (parte) {
texto += parte;
res.write("data: " + JSON.stringify(parte) + "\n\n");
}
}
historico.push({ role: "assistant", content: texto });
sessoes.set(id, historico);
res.write("data: [FIM]\n\n");
} catch (e) {
res.write("data: " + JSON.stringify("erro: tente de novo em instantes") + "\n\n");
}
res.end();
});
app.listen(3000);Thân yêu cầu chứa id phiên và mensagem. Một lỗi phổ biến là quên tiêu đề Content-Type: application/json khi gọi, khiến thân yêu cầu trống trên máy chủ. Khi thử qua trình duyệt hoặc công cụ yêu cầu, bạn sẽ thấy các đoạn đến từng cái một và cuối cùng là dấu [FIM].
Lịch sử: lưu gì và gửi gì
API không có bộ nhớ hội thoại. Mỗi yêu cầu mang các tin nhắn mà mô hình cần xem. Trong mã trên, lịch sử đầy đủ nằm trong Map và chỉ 12 tin nhắn cuối cùng được gửi đến API (historico.slice(-12)).
Tại sao cắt ngắn
Không cắt ngắn, đầu vào tăng sau mỗi vòng và chi phí tăng theo. Với cửa sổ ngữ cảnh 100.000 token, một cuộc trò chuyện rất dài thậm chí có thể chứa đầy đủ, nhưng sẽ tốn kém và chậm mà không có lợi ích tương xứng.
Prompt hệ thống
Nó xác định bot là ai và cách nó giao tiếp. Các prompt ngắn gọn và cụ thể hoạt động tốt hơn các danh sách dài các lệnh cấm và yêu cầu. Hãy chỉ định ngôn ngữ, giọng điệu, độ dài trung bình của câu trả lời và đối tượng mục tiêu. Mỗi token trong prompt hệ thống được gửi lại trong mọi yêu cầu, vì vậy 250 token tốn ít hơn nhiều so với 2.000 token. Hãy thử nghiệm các thay đổi từng cái một và lưu lại các phiên bản hoạt động.
Bộ nhớ dài hạn
Nếu cuộc trò chuyện cần nhớ các sự kiện cũ, hãy yêu cầu mô hình, thỉnh thoảng, một bản tóm tắt ngắn và đặt nó ngay sau prompt hệ thống. Trong sản xuất, hãy thay thế Map bằng cơ sở dữ liệu, vì nó bị xóa khi máy chủ khởi động lại và không chia sẻ trạng thái giữa nhiều phiên bản.
Chi phí mỗi tin nhắn
Giá là US$ 0,15 cho 1M token đầu vào và US$ 0,50 cho 1M token đầu ra. Các giả định của ví dụ: prompt hệ thống 250 token, tin nhắn người dùng 80 token, phản hồi 300 token và 12 tin nhắn lịch sử (6 mỗi bên).
- Lịch sử: 6 x 80 + 6 x 300 = 2.280 token
- Đầu vào: 250 + 2.280 + 80 = 2.610 token, hoặc US$ 0,0003915
- Đầu ra: 300 token, hoặc US$ 0,00015
- Tổng cộng: US$ 0,0005415 cho mỗi tin nhắn
Một nghìn tin nhắn tốn khoảng US$ 0,54. Tín dụng dùng thử US$ 0,50 đủ để gửi khoảng 923 tin nhắn, và khoản nạp tiền US$ 20 chi trả cho khoảng 36.900 tin nhắn. Để xem các mức nạp tiền và phần thưởng, hãy mở giá cả. Các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí.
Giới hạn, 429 và hàng đợi
Khóa đầy đủ chấp nhận 8 yêu cầu đồng thời và 300 mỗi phút; khóa dùng thử, 2 và 60. Khi một chat phổ biến vượt quá, API trả về HTTP 429 với mã rate_limited hoặc concurrency. Trong quá tải tạm thời, 429 đi kèm với Retry-After: 5. Hãy nhớ rằng một phản hồi truyền phát chiếm vị trí cho đến khi luồng kết thúc, vì vậy phản hồi dài giữ độ đồng thời lâu hơn.
Một hàm retry đơn giản tôn trọng khoảng thời gian này:
async function comRetry(fn, tentativas = 3) {
for (let i = 0; i < tentativas; i++) {
try {
return await fn();
} catch (e) {
if (e.status === 429 && i < tentativas - 1) {
await new Promise((r) => setTimeout(r, 5000)); // Retry-After: 5
continue;
}
throw e;
}
}
}Đối với nhiều người dùng cùng lúc, hãy đặt một hàng đợi trên máy chủ và giới hạn số lượng cuộc trò chuyện được tạo đồng thời.
Quy tắc sử dụng cho người lớn
Mô hình được mở, do một nhà cung cấp độc lập lưu trữ và trả về kết quả không từ chối nội dung dành cho người lớn hợp pháp. Người triển khai chatbot này chịu trách nhiệm về cách sử dụng. Một số thực hành cơ bản:
- Xác minh độ tuổi. Yêu cầu xác nhận người dùng đã đủ tuổi thành niên trước khi bắt đầu cuộc trò chuyện và ghi rõ điều này trong điều khoản dịch vụ của bạn.
- Cấm người chưa thành niên. Nội dung tình dục liên quan đến người chưa thành niên bị cấm, không có ngoại lệ. Bạn hãy chặn ở lớp của mình bất kỳ persona hoặc yêu cầu nào theo hướng này.
- Giới hạn theo người dùng. Bạn hãy đặt giới hạn tin nhắn hàng ngày để tránh lạm dụng và chi phí không mong muốn.
- Quyền riêng tư. Hãy lưu trữ tối thiểu cần thiết và thông báo những gì được lưu trữ. Trong API này, các prompt không được sử dụng để huấn luyện.
- Chỉ văn bản. API không tạo hình ảnh, âm thanh hay video.
Các bước tiếp theo
Với nền tảng đã sẵn sàng, các cải tiến hữu ích nhất bao gồm: lưu trữ cuộc trò chuyện vào cơ sở dữ liệu, hiển thị số dư cho bạn qua tiêu đề X-Balance-USD, sử dụng tools để bot truy vấn dữ liệu của bạn và chế độ JSON khi cần đầu ra có cấu trúc. Tài liệu bao gồm từng tính năng. Để hiểu những thay đổi khi loại bỏ bộ lọc khỏi mô hình và mối liên hệ với sản phẩm của bạn, hãy đọc AI không bộ lọc.
Các khoản nạp tiền có giá trị từ US$ 20 đến US$ 500, bằng USDT trên mạng TRC20 hoặc USDC trên mạng Base.

