EVALUATING ON-DEVICE MACHINE LEARNING MODEL(S) BASED ON PERFORMANCE MEASURES OF CLIENT DEVICE(S) AND/OR THE ON-DEVICE MACHINE LEARNING MODEL(S)

Implementations disclosed herein are directed to systems and methods for evaluating on-device machine learning (ML) model(s) based on performance measure(s) of client device(s) and/or the on-device ML model(s). The client device(s) can include on-device memory that stores the on-device ML model(s) and a plurality of testing instances for the on-device ML model(s). When certain condition(s) are satisfied, the client device(s) can process, using the on-device ML model(s), the plurality of testing instances to generate the performance measure(s). The performance measure(s) can include, for example, latency measure(s), memory consumption measure(s), CPU usage measure(s), ML model measure(s) (e.g., precision and/or recall), and/or other measures. In some implementations, the on-device ML model(s) can be activated (or kept active) for use locally at the client device(s) based on the performance measure(s). In other implementations, the on-device ML model(s) can be sparsified based on the performance measure(s). L'invention concerne, dans les modes de réalisation décrits ici, des systèmes et des procédés destinés à évaluer un ou des modèles d'apprentissage automatique (ML) sur dispositif d'après une ou des mesures de performances de dispositif(s) client(s) et/ou du ou des modèles ML sur dispositif. Le ou les dispositifs clients peuvent comprendre sur mémoire de dispositif qui conserve le ou les modèles ML sur dispositif et une pluralité d'instances de test pour le ou les modèles ML sur dispositif. Lorsque certaines conditions sont satisfaites, le ou les dispositifs clients peuvent traiter, à l'aide du ou des modèles ML sur dispositif, la pluralité d'instances de test pour générer la ou les mesures de performances. La ou les mesures de performances peuvent comprendre, par exemple, une ou des mesures de latence, une ou des mesures de consommation de mémoire, une ou des mesures d'utilisation de CPU, une ou des mesures de modèle ML (p. ex. précision et/ou rappel), et/ou d'autres mesures. Dans certains modes de réalisation, le ou les modèles ML sur dispositif peuvent être activés (ou maintenus actifs) pour être utilisés localement au niveau du ou des dispositifs clients d'après la ou les mesures de performances. Dans d'autres modes de réalisation, le ou les modèles ML sur dispositif peuvent être rendus parcimonieux d'après la ou les mesures de performances.