Inferência local e funcionamento sem ligação
Mantenha as capacidades IA selecionadas disponíveis perto de usuários ou dispositivos quando a conectividade é limitada.
A situação.
Uma aplicação precisa de uma resposta atempada mesmo quando a cloud não estiver disponível. O projeto deve equilibrar a qualidade do modelo com a memória, a potência e o desempenho sustentado, ao mesmo tempo que define o que permanece local e o que pode sincronizar-se mais tarde.
Uma abordagem prática.
- 01
Reduziu a carga de trabalho
Defina tempo de resposta, privacidade, energia e restrições de hardware usando solicitações representativas.
- 02
Comparar os tempos de execução
Medir o modelo candidato e combinações de tempo de execução em condições de funcionamento sustentadas.
- 03
Recuperação da concepção
Teste a desconexão, pressão de recursos, atualizações interrompidas e restabelecimento da sincronização.
O que validar
- Manter as responsabilidades locais de retenção de dados e gerenciamento remoto explicita.
- Avaliar um comportamento sustentado em vez de confiar apenas em um índice de referência curto.
Produtos típicos
- Divisão da responsabilidade local e da cloud
- Avaliação de hardware e tempo de execução
- Desligado, atualização e plano de recuperação
Medidas de exemplo
- Latencia de resposta sob carga sustentada
- Qualidade da tarefa dentro dos limites dos recursos
- Sucessos desconectados e cenários de recuperação
Concorde com um critério de base e de aceitação para o projeto específico.
Escenário e imagem conceitual. As provas de alcance, de prestabilidade e de aceitação são acordadas para cada compromisso; por exemplo, as medidas não são alcançadas.