A primer on partially observable Markov decision processes (POMDPs)

Partially observable Markov decision processes (POMDPs) are a convenient mathematical model to solve sequential decision‐making problems under imperfect observations. Most notably for ecologists, POMDPs have helped solve the trade‐offs between investing in management or surveillance and, more recently, to optimise adaptive management problems. Despite an increasing number of applications in ecology and natural resources, POMDPs are still poorly understood. The complexity of the mathematics, the inaccessibility of POMDP solvers developed by the Artificial Intelligence (AI) community, and the lack of introductory material are likely reasons for this. We propose to bridge this gap by providing a primer on POMDPs, a typology of case studies drawn from the literature, and a repository of POMDP problems. We explain the steps required to define a POMDP when the state of the system is imperfectly detected (state uncertainty) and when the dynamics of the system are unknown (model uncertainty). We provide input files and solutions to a selected number of problems, reflect on lessons learned applying these models over the last 10 years and discuss future research required on interpretable AI. Partially observable Markov decision processes are powerful decision models that allow users to make decisions under imperfect observations over time. This primer will provide a much‐needed entry point to ecologists. Resumen Los procesos de decisión markovianos parcialmente observables (POMDPs por sus siglas en inglés), son modelos matemáticos usados para resolver problemas de decisiones secuenciales con observaciones imperfectas. Para los ecólogos, los POMDPs son útiles para mantener un balance entre la inversión para el control y administración, y para la vigilancia. Y, más recientemente, para optimizar problemas de control adaptativo (AM por sus siglas en inglés). A pesar del incremento de aplicaciones en ecología y administración de recursos naturales, los POMDPs son todavía poco conocidos. La complejidad de las operaciones matemáticas, el poco acceso a programas informáticos desarrollados por la comunidad de inteligencia artificial y la falta de material introductorio son probablemente las principales razones de ello. Proponemos difundir el uso de los POMDP mediante este manual, que incluye un conjunto de casos de estudio derivados de la literatura en conservación y ecología, y un repositorio digital de problemas modelados como POMDPs. También explicamos los pasos requerido