ONLINE SAMPLING ANALYSIS

Methods, systems and computer program products generating diverse and representative set of samples from a large amount of transaction data are disclosed. A data sampling system receives transaction records. Each transaction record has multiple text segments. The system selects a subset of transaction records that contain least frequently appeared text segments. The system determines a respective vector representation for each selected transaction record. The system can measure similarity between transaction records based on the vector representations. The system assigns the selected transaction records to multiple clusters based on the vector representations and designated dimensions of importance. The system identifies one or more anchors that include transaction records on boundaries between clusters. The system filters the subset of transaction records by removing transaction records that are close to the anchors. The system then provides the filtered subset as a representative set of samples to a sample consumer. L'invention concerne des procédés, des systèmes et des produits programmes d'ordinateur qui génèrent un ensemble divers et représentatif d'échantillons à partir d'une grande quantité de données de transaction. Un système d'échantillonnage de données reçoit des enregistrements de transaction. Chaque enregistrement de transaction comporte de multiples segments de texte. Le système sélectionne un sous-ensemble d'enregistrements de transaction qui contiennent des segments de texte apparus moins fréquemment. Le système détermine une représentation vectorielle respective pour chaque enregistrement de transaction sélectionné. Le système peut mesurer une similarité entre des enregistrements de transaction sur la base des représentations vectorielles. Le système attribue les enregistrements de transaction sélectionnés à de multiples groupes sur la base des représentations vectorielles et des dimensions d'importance définies. Le système identifie un ou plusieurs éléments d'ancrage qui comprennent des enregistrements de transaction sur des limites entre des groupes. Le système filtre le sous-ensemble d'enregistrements de transaction par élimination des enregistrements de transaction qui sont proches des éléments d'ancrage. Le système fournit ensuite le sous-ensemble filtré sous la forme d'un ensemble représentatif d'échantillons à un consommateur type.