EVALUATING A WORKER IN PERFORMING CROWD SOURCED TASKS AND PROVIDING IN-TASK TRAINING THROUGH PROGRAMMATICALLY GENERATED TEST TASKS

Systems and methods for evaluating a worker in performing crowd sourced tasks and providing in-task training are disclosed. In one aspect, embodiments of the present disclosure include a method, which may be implemented on a system, for selecting a job distributed through a job distribution platform for workers to work on, for use to generate a test task, the job being associated with a known correct result, associating a manipulated result, known to be an incorrect result for the job, with the job to generate the test task, and/or presenting the job with the manipulated result as the test task to a worker for evaluation of work quality of the worker. The job distribution platform crowd sources tasks online to workers to work on via their respective computing devices. L'invention concerne des systèmes et des procédés pour l'évaluation d'un employé effectuant des tâches en externalisation ouverte et la fourniture d'une formation en cours de travail. Selon un aspect, les modes de réalisation de l'invention comprennent un procédé pouvant être mis en oeuvre sur un système, pour sélectionner un travail devant être accompli par des employés et qui est distribué par une plateforme de distribution de travail aux fins de générer une tâche d'essai, ledit travail étant associé à un résultat correct connu; associer au travail un résultat manipulé, reconnu être un résultat incorrect pour le travail, pour générer la tâche d'essai; et/ou présenter à un employé le travail associé au résultat manipulé, comme tâche d'essai, pour évaluer la qualité du travail de l'employé. La plate-forme de distribution du travail externalise en ligne des tâches attribuées à des employés qui les effectuent au moyen de leurs appareils informatiques respectifs.