一、RPM：每分鐘能“說多少話”？

定義：RPM全稱是Requests Per Minute（每分鐘請求數(shù)），表示大模型每分鐘能處理的請求次數(shù)。比如，某模型設置RPM=300，就意味著每分鐘最多響應300次用戶提問。

為什么重要？  

• 防“薅羊毛”：防止用戶瘋狂刷請求，導致服務器崩潰。
• 公平分配：像食堂打飯，先到先得，避免有人插隊占滿資源。

舉個??：假設你用AI寫文案，如果RPM限制是300，那么每分鐘最多提交300次請求。如果短時間內(nèi)發(fā)太多，系統(tǒng)可能會提示“請求太頻繁”。

二、TPM：每分鐘能“寫多少字”？

定義：TPM全稱是Tokens Per Minute（每分鐘處理tokens數(shù)），衡量模型每分鐘能處理的文本量（包括輸入和輸出）。例如，TPM=30萬，意味著每分鐘最多處理30萬個“文字單位”（tokens）。

為什么關鍵？  

• 長文本處理：輸入或輸出太長會占用更多tokens，可能觸發(fā)限額。比如寫一篇千字文章，可能比10條短消息更費“額度”。
• 計費依據(jù)：很多平臺按TPM收費，控制成本的關鍵。

舉個??：如果某模型TPM=30萬，而每個漢字≈2個tokens，那么每分鐘最多能處理約15萬漢字的輸入或輸出。超過這個量，請求就會被“拒簽”。

三、對比“老朋友”QPS：從秒級到分鐘級

QPS（Queries Per Second）：傳統(tǒng)指標，衡量每秒處理請求的能力。比如QPS=5，就是每秒處理5次請求。但大模型處理復雜任務（如邏輯推理、長文本生成）需要更多時間，所以逐漸轉(zhuǎn)向分鐘級指標（RPM/TPM）。

四、不同大模型的指標差異

數(shù)據(jù)來源：百度、阿里、火山引擎等廠商公開信息。

五、如何應對指標限制？

1. 控制輸入長度：精簡問題，避免冗長文本。
2. 錯峰使用：避開高峰期，分時段提交請求。
3. 升級套餐：如果需求大，選擇高RPM/TPM的付費服務。

結(jié)語

RPM和TPM是大模型時代的“新語言”，理解它們就像掌握新工具的使用說明書。下次看到這些指標時，別慌！記住：RPM管次數(shù)，TPM管字數(shù)，合理規(guī)劃就能讓AI服務更順暢~

擴展知識：

• 首Token延時：從發(fā)送請求到收到第一個字的時間，直接影響用戶體驗。
• 每分鐘Token輸出：衡量模型生成效率，越高說明“打字越快”。

本文轉(zhuǎn)載自微信公眾號「碼上煙火」，可以通過以下二維碼關注。轉(zhuǎn)載本文請聯(lián)系碼上煙火公眾號。