Orion

Orion Light

Plataforma de Inteligência & Gateway de Modelos

Orion
Orion Light v0.0.4
CPU --%
RAM -- GB
LLM
0/0 slots

Telemetria & Status

Visão geral do gateway, recursos de hardware e throughput de inferência em tempo real.

TEMPO REAL --:--:--

Recursos de Hardware & Processo LLM (Tempo Real)

Frequência: 2s

Throughput & Performance (Tempo Real / Hoje)

Taxa de sucesso, latência e consumo de tokens computados em tempo real.

💬

Playground de Teste do Modelo

Valide imediatamente as respostas do modelo ativo, latência e comportamento sob o prompt Orion.

Provedores de Inferência

Ω

Playground de Teste Soberano

Verifique respostas, latência (TTFT) e tokens gerados em streaming direto.

Provedor:
Testes rápidos:

Central de Modelos

Explore o Hugging Face, baixe modelos GGUF locais e gerencie provedores externos.

Carregando modelos locais...
Modelo / Arquivo GGUF Status Parâmetros (Ctx / GPU) Estratégia Tamanho Ações
Progresso de downloads assíncronos

Usuários & Chaves de API

Gerencie usuários, operadores ou chaves de integração backend (sistemas externos/EHR).

Usuário Permissão API Key Criado em Ações

📊 Relatórios & Consumo

Histórico completo de tokens, latência e usuários. Exportável em CSV.

Consumo de Tokens

— tokens no período

Prompt Completion

Requisições

— requisições

Sucesso Erro

Latência Média

— ms (média período)

Distribuição por Provedor

Top Usuários por Consumo

# Usuário Requisições Tokens (Total) Prompt Completion Erros Lat. Média

Configurações do Sistema

Ajuste o roteamento, chaves de provedores externos e parâmetros do motor de inferência. As alterações são sincronizadas e persistidas automaticamente.

Roteamento Padrão

Usado automaticamente quando sistemas externos não especificam o modelo ou provedor.

Chaves de API & Modelos de Provedores

Motor Local & Performance

Limite de threads em CPU para o llama.cpp (0 = auto).

Selecionar Arquivo

Arquivo Quantização Tamanho Ação

Novo Usuário

Alterar Senha

Chave de Integração (API Key)

⚠️ Copie agora — esta chave não será exibida novamente.

Adicione o header Authorization: Bearer <chave> nas integrações com seus sistemas externos ou backend.

Configurar Parâmetros de Execução

-1 p/ Auto
0 = Global