SYSTEM FOR INTERACTIVELY VISUALIZING AND EVALUATING USER BEHAVIOR AND OUTPUT

The present invention discloses CrowdScape, a system that supports the human evaluation of complex crowd work through interactive visualization and mixed initiative machine learning. The system combines information about worker behavior with worker outputs and aggregate worker behavioral traces to allow the isolation of target worker clusters. This approach allows users to develop and test their mental models of tasks and worker behaviors, and then ground those models in worker outputs and majority or gold standard verifications. La présente invention concerne CrowdScape, un système qui supporte l'évaluation humaine de travaux de foule complexes par visualisation interactive et apprentissage de machine à initiative mixte. Le système combine des informations sur le comportement des travailleurs aux rendements des travailleurs et agrège les traces de comportement des travailleurs pour permettre d'isoler des groupes des travailleurs cibles. Cette approche permet aux utilisateurs de développer et de tester leurs modèles mentaux de tâches et de comportements des travailleurs, puis de baser ces modèles sur des rendements de travailleurs et des vérifications de majorités et de règles d'or.