DYNAMIC OUTLIER BIAS REDUCTION SYSTEM AND METHOD

A system and method is described herein for data filtering to reduce functional, and trend line outlier bias. Outliers are removed from the data set through an objective statistical method. Bias is determined based on absolute, relative error, or both. Error values are computed from the data, model coefficients, or trend line calculations. Outlier data records are removed when the error values are greater than or equal to the user-supplied criteria. For optimization methods or other iterative calculations, the removed data are reapplied each iteration to the model computing new results. Using model values for the complete dataset, new error values are computed and the outlier bias reduction procedure is re-applied. Overall error is minimized for model coefficients and outlier removed data in an iterative fashion until user defined error improvement limits are reached. The filtered data may be used for validation, outlier bias reduction and data quality operations. L'invention porte sur un système et un procédé de filtrage de données afin de réduire un biais d'observations aberrantes fonctionnel et de tendance. Des observations aberrantes sont supprimées de l'ensemble de données par une méthode statistique objective. Un biais est déterminé sur la base d'une erreur absolue, d'une erreur relative ou des deux. Des valeurs d'erreur sont calculées à partir des données, de coefficients de modèle ou de calculs de tendance. Des enregistrements de données aberrantes sont supprimés quand les valeurs d'erreur sont supérieures ou égales aux critères fournis par l'utilisateur. Pour des procédés d'optimisation ou d'autres calculs itératifs, les données supprimées sont réappliquées à chaque itération au modèle calculant de nouveaux résultats. A l'aide de valeurs de modèle pour l'ensemble de données complet, de nouvelles valeurs d'erreur sont calculées et la procédure de réduction du biais d'observations aberrantes est réappliquée. Une erreur globale est réduite au minimum pour des coefficients de modèle et des données à observations aberrantes supprimées d'une manière itérative jusqu'à ce que des limites d'amélioration d'erreur définies par l'utilisateur soient atteintes. Les données filtrées peuvent être utilisées pour des opérations de validation, de réduction de biais d'observations aberrantes et de qualité de données.