Inférence locale et fonctionnement déconnecté
Gardez les capacités d'IA sélectionnées disponibles près des utilisateurs ou des appareils lorsque la connectivité est limitée.
La situation.
Une application a besoin d'une réponse en temps opportun même lorsque le cloud n'est pas disponible. Le design doit équilibrer la qualité du modèle avec la mémoire, la puissance et les performances durables, tout en définissant ce qui reste local et ce qui peut synchroniser plus tard.
Une approche pratique.
- 01
Charge de travail réduite
Définir les contraintes liées au temps de réponse, à la confidentialité, à l'alimentation et au matériel en utilisant des requêtes représentatives.
- 02
Comparer les temps d'exécution
Mesurer les combinaisons de modèles et d'allures dans des conditions d'exploitation soutenues.
- 03
Récupération de conception
Débranchement d'essai, pression de ressources, mises à jour interrompues et restauration de la synchro.
Points à valider
- Gardez les responsabilités de conservation et de gestion à distance des données locales explicites.
- Évaluer les comportements soutenus plutôt que de ne s'appuyer que sur un point de référence court.
Livrables habituels
- Partage des responsabilités locales et cloud
- Évaluation du matériel et des durées d'exécution
- Plan de mise à jour, de récupération et hors ligne
Exemples d’indicateurs
- Latence de réponse sous charge prolongée
- Qualité des tâches dans les limites des ressources
- Scénarios réussis de déconnexion et de récupération
Convenir d'un niveau de référence et de critères d'acceptation pour le projet spécifique.
Scénario indicatif et imagerie conceptuelle. La portée, les résultats attendus et les preuves d'acceptation sont convenus pour chaque engagement; les mesures par exemple ne sont pas atteintes.