アーキテクチャについて
独自フィルタなしチャットボットには3つの要素が必要です:ユーザー画面、独自サーバー、言語API。サーバーが中核です。APIキーを保持し、各会話の履歴を維持し、モデルに送信する内容を選択します。画面はAPIと直接通信せず、キーが露出するのを防ぎます。
このAPIはOpenAI互換です:公式SDKはBase URLをhttps://api.llmsemcensura.com/v1に変更し、モデルuncensoredを使用することで動作します。キーをお持ちでない場合は、こちらで作成してください。ワンクリックでUS$ 0,50のテストクレジットが付与されます。
サーバー構築の前に、Pythonで最小限のテストを行い、キーとURLが正しいことを確認してください:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsemcensura.com/v1", api_key="SUA_CHAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Olá, tudo bem?"}],
)
print(r.choices[0].message.content)ストリーミング対応のNodeサーバー
この例では、Expressを使用してメッセージを受け取り、SSE(server-sent events)で回答を返すため、テキストが画面に逐次表示されます。依存関係はnpm install express openaiでインストールし、キーをAPI_KEYに設定してください。
import express from "express";
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llmsemcensura.com/v1",
apiKey: process.env.API_KEY,
});
const SISTEMA =
"Você é a Lia, uma assistente de conversa direta e bem-humorada. " +
"Responda em português do Brasil. Os usuários são adultos.";
const sessoes = new Map(); // id da sessão -> histórico
const app = express();
app.use(express.json());
app.post("/chat", async (req, res) => {
const { id, mensagem } = req.body;
const historico = sessoes.get(id) ?? [];
historico.push({ role: "user", content: mensagem });
res.setHeader("Content-Type", "text/event-stream");
res.setHeader("Cache-Control", "no-cache");
try {
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "system", content: SISTEMA }, ...historico.slice(-12)],
stream: true,
max_tokens: 500,
});
let texto = "";
for await (const chunk of stream) {
const parte = chunk.choices[0]?.delta?.content ?? "";
if (parte) {
texto += parte;
res.write("data: " + JSON.stringify(parte) + "\n\n");
}
}
historico.push({ role: "assistant", content: texto });
sessoes.set(id, historico);
res.write("data: [FIM]\n\n");
} catch (e) {
res.write("data: " + JSON.stringify("erro: tente de novo em instantes") + "\n\n");
}
res.end();
});
app.listen(3000);リクエストボディにはセッションのidとmensagemが含まれます。よくあるミスは、呼び出し時にContent-Type: application/jsonヘッダーを忘れることで、これによりサーバー側のボディが空になります。ブラウザやリクエストツールでテストする場合、断片が1つずつ届き、最後に[FIM]マーカーが表示されるはずです。
履歴:保持と送信の基準
APIには会話の記憶機能がありません。各呼び出しには、モデルが必要とするメッセージが含まれます。上記のコードでは、履歴全体がMapに保存され、最後の12メッセージのみがAPIに送信されます(historico.slice(-12))。
切り捨てる理由
切り捨てないと、ラウンドごとに入力が肥大化し、コストも増加します。100.000トークンのコンテキストウィンドウがあれば、非常に長い会話もすべて収まりますが、比例する恩恵なしに高価で遅くなります。
システムプロンプト
これはボットの人格と話し方を定義します。長い禁止事項や要件のリストよりも、短く具体的なプロンプトが機能します。言語、トーン、平均的な回答の長さ、対象ユーザーを指定してください。システムプロンプトのトークンは呼び出しごとに再送信されるため、250トークンは2.000トークンよりも大幅に安価です。変更は1回ずつテストし、機能したバージョンを保存してください。
長期記憶
会話で過去の事実を記憶させる必要がある場合は、モデルに定期的に短い要約を求め、システムプロンプトの直後に配置してください。本番環境では、Mapをデータベースに置き換えてください。サーバー再起動時にリセットされ、複数インスタンス間で状態を共有できないためです。
メッセージごとのコスト
価格は、入力トークン1MあたりUS$ 0,15、出力1MあたりUS$ 0,50です。例の前提条件:システムプロンプト250トークン、ユーザーメッセージ80トークン、回答300トークン、履歴12メッセージ(両側6メッセージずつ)。
- 履歴:6 x 80 + 6 x 300 = 2.280トークン
- 入力:250 + 2.280 + 80 = 2.610トークン、またはUS$ 0,0003915
- 出力:300トークン、またはUS$ 0,00015
- 合計:メッセージあたりUS$ 0,0005415
1,000メッセージの料金は約US$ 0,54です。US$ 0,50の無料トライアルクレジットは約923メッセージに相当し、US$ 20のチャージは約36,900メッセージをカバーします。チャージ帯域とボーナスを確認するには、価格を開いてください。失敗または拒否された呼び出しは課金されません。
制限、429、キュー
完全なキーは同時に8リクエスト、1分あたり300リクエストを受け付けます。テストキーは2および60です。人気のあるチャットがこれを超えると、APIはHTTP 429を返し、コードはrate_limitedまたはconcurrencyになります。一時的な過負荷時には、429にRetry-After: 5が含まれます。ストリーミングレスポンスはフロー終了までリクエスト枠を占有するため、長い回答はより長時間同時実行数を占有します。
この間隔を尊重する単純なリトライ関数:
async function comRetry(fn, tentativas = 3) {
for (let i = 0; i < tentativas; i++) {
try {
return await fn();
} catch (e) {
if (e.status === 429 && i < tentativas - 1) {
await new Promise((r) => setTimeout(r, 5000)); // Retry-After: 5
continue;
}
throw e;
}
}
}多くのユーザーが同時にアクセスする場合、サーバーにキューを配置し、同時に生成される会話の数を制限してください。
成人向け利用規約
このモデルはオープンで、独立したプロバイダによってホストされており、合法な成人利用に対してコンテンツ拒否を行わずにレスポンスを返します。このようなチャットボットを公開する際は、利用責任を負うことになります。いくつかの基本的な運用方法をご紹介します:
- 年齢確認。 最初の会話の前にユーザーが成年であることを確認し、これをサービス利用規約に記載してください。
- 未成年者関連コンテンツの禁止。 未成年者を含む性的コンテンツは例外なく禁止です。あなたのレイヤーで、そのようなペルソナやリクエストをブロックしてください。
- ユーザーごとの制限。 乱用や予期せぬ支出を防ぐために、1日のメッセージ数に上限を設定してください。
- プライバシー。 必要な最小限のデータのみを保存し、何を保存するかを明示してください。本APIでは、プロンプトはトレーニングに使用されません。
- テキストのみ。 APIは画像、音声、動画は生成しません。
次のステップ
基盤が整ったら、最も有用な改善点は次の通りです:データベースへの会話保存、ヘッダー X-Balance-USD を通じて残高を表示する機能、botがあなたのデータを照会するための tools の使用、構造化された出力が必要な場合のJSONモードの利用です。ドキュメント には各機能の詳細が記載されています。モデルのフィルタリングを解除することが何を変更し、あなたの製品とどのように関連するかを理解するには、フィルタなしAI をお読みください。
チャージはUS$ 20〜US$ 500で、TRC20ネットワーク上のUSDTまたはBaseネットワーク上のUSDCで行えます。

