Telemetria & Status
Visão geral do gateway, recursos de hardware e throughput de inferência em tempo real.
Recursos de Hardware & Processo LLM (Tempo Real)
Frequência: 2sThroughput & Performance (Tempo Real / Hoje)
Taxa de sucesso, latência e consumo de tokens computados em tempo real.
Playground de Teste do Modelo
Valide imediatamente as respostas do modelo ativo, latência e comportamento sob o prompt Orion.
Provedores de Inferência
Playground de Teste Soberano
Verifique respostas, latência (TTFT) e tokens gerados em streaming direto.
Central de Modelos
Explore o Hugging Face, baixe modelos GGUF locais e gerencie provedores externos.
| Modelo / Arquivo GGUF | Status | Parâmetros (Ctx / GPU) | Estratégia | Tamanho | Ações |
|---|
Usuários & Chaves de API
Gerencie usuários, operadores ou chaves de integração backend (sistemas externos/EHR).
| Usuário | Permissão | API Key | Criado em | Ações |
|---|
📊 Relatórios & Consumo
Histórico completo de tokens, latência e usuários. Exportável em CSV.
Consumo de Tokens
— tokens no período
Requisições
— requisições
Latência Média
— ms (média período)
Distribuição por Provedor
Top Usuários por Consumo
| # | Usuário | Requisições | Tokens (Total) | Prompt | Completion | Erros | Lat. Média |
|---|
Configurações do Sistema
Ajuste o roteamento, chaves de provedores externos e parâmetros do motor de inferência. As alterações são sincronizadas e persistidas automaticamente.