Automated evaluation of the usability of a speech dialogue system

The evaluation system (1) has a user simulation unit for simulating the behavior of a user of a language dialog system (2), a task simulation unit for simulating operational sequence of the language dialog system, a knowledge data base and an evaluation unit. The evaluation system has an interface connectable with language dialog system and a communication unit. Ein Evaluationssystem (1) zum automatisierten Auswerten der Nutzbarkeit eines Sprachdialogsystems (2) umfasst eine Benutzersimulationseinheit (13) zum Simulieren des Verhaltens eines Benutzers des Sprachdialogsystems (2), eine Aufgabensimulationseinheit (15, 113) zum Simulieren eines vom Sprachdialogsystem (2) zu bearbeitenden Ablaufs, eine Wissensdatenbank (14) und eine Auswerteeinheit (114, 116), wobei ein Ablauf eines Dialogs mit dem Sprachdialogsystem (2) über den durch die Benutzersimulationseinheit (13) simulierten Benutzer und den durch die Aufgabensimulationseinheit (15, 113) simulierten Ablauf von der Auswerteeinheit (114, 116) mittels der Wissensdatenbank (14) auswertbar ist. Das Evaluationssystem (1) umfasst eine mit dem Sprachdialogsystem (2) verbindbare Schnittstelle und eine Kommunikationseinheit (111, 112, 115), wobei die Kommunikationseinheit (111, 112, 115) dazu ausgestaltet ist, den Dialog mit dem Sprachdialogsystem (2) über die Schnittstelle zu führen. Über die Ausgestaltung des Evaluationssystems (2) mit der Schnittstelle und der Kommunikationseinheit (111, 112, 115) kann erreicht werden, dass direkt das zu evaluierende SDS (2) automatisch oder zumindest halbautomatisch getestet und ausgewertet werden kann. Ein vorgängiges Abbilden des zu evaluierenden SDS (2) in einem Modell ist dabei nicht notwendig. Ebenfalls ist nicht notwendig, dass das SDS (2) großenteils bereits fertig gestellt ist, sondern implementierte Teile des SDS (2) können direkt getestet und ausgewertet werden. Dies ermöglicht ein verhältnismäßig realitätsnahes einfaches Testen und Auswerten von SDS (2) aus beliebigen Anwendungsgebieten beziehungsweise Domänen. Zudem kann mit einem solchen Evaluationssystem (1) auch ermöglicht werden, dass SDS (2) und auch Teile davon frühzeitig während deren Entwicklung und kontinuierlich während des Einsatzes getestet und ausgewertet werden.