On estimation of entropy and mutual information of continuous distributions

Mutual information is used in a procedure to estimate time-delays between recordings of electroencephalogram (EEG) signals originating from epileptic animals and patients. We present a simple and reliable histogram-based method to estimate mutual information. The accuracies of this mutual information estimator and of a similar entropy estimator are discussed. The bias and variance calculations presented can also be applied to discrete valued systems. Finally, we present some simulation results, which are compared with earlier work. Die Auswertung von Elektroenzephalogrammen bei Epilepsie-Kranken erfordert die Bestimmung von Totzeiten zwischen den einzelnen Aufzeichnungen. Hierzu sind Verfahren geeignet, die am informationstheoretischen Begriff “mittlere Transinformation” anknüpfen. In diesem Beitrag wird eine einfache und zuverlässige Methode beschrieben, die mittlere Transinformation auf der Basis experimenteller Daten zu schätzen. Diskutiert werden Erwartungstreue und Varianz der vorgeschlagenen Schätzfunktionen. Die theoretisch erzielten Ergebnisse werden mit experimentellen Daten verglichen, die an Signalfolgen mit Gauβ-verteilten Amplituden gewonnen wurden. L'information mutuelle est utilisée dans une procédure pour estimer les retards temporels entre les enregistrements de signaux electroencéphalographique (EEG) provenant des animaux et patients épileptiques. Nous présentons une méthode simple et fiable basée sur l'histogramme pour estimer l'information mutuelle. La précision de cet estimateur d'information mutuelle et celle estimateurs d'entropie sont discutées. Les calculs de biais et de variance présentés peuvent également être appliqués aux systèmes à valeurs discrètes. Finalement, nous présentons quelques résultats de simulations qui sont comparés aux travaux antérieurs.