A string prefix dependent dictionary structure based on hashing and indexing
eإن القواميس مكون رئيسي في معظم أنظمة معالجة اللغة الطبيعية و هذه الطريقة تعتمد على الفهرسة و دالة هاش لتسريع عملية البحث في القواميس فهي عبارة عن عملية إعادة هيكلة لقاموس يحتوي على حوالي 300,000 كلمة بواسطة دمج دالة هاش مع جدول فهرسة حيث توفر دالة الهاش وصولا عشوائيا اعتمادا على الحروف الأولى من ال...
Gespeichert in:
Veröffentlicht in: | Majallat Jāmiʻat Bābil 2016, Vol.24 (2), p.299-308 |
---|---|
Hauptverfasser: | , |
Format: | Artikel |
Sprache: | ara ; eng |
Online-Zugang: | Volltext |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | eإن القواميس مكون رئيسي في معظم أنظمة معالجة اللغة الطبيعية و هذه الطريقة تعتمد على الفهرسة و دالة هاش لتسريع عملية البحث في القواميس فهي عبارة عن عملية إعادة هيكلة لقاموس يحتوي على حوالي 300,000 كلمة بواسطة دمج دالة هاش مع جدول فهرسة حيث توفر دالة الهاش وصولا عشوائيا اعتمادا على الحروف الأولى من الكلمة، في حين تحتفظ الفهارس بعنوان بداية الحزمة التي تحتوي على الكلمة المشار إليها بدالة الهاش مع طول تلك الحزمة، كما أن جدول الفهرسة مؤسس على مستويين كلاهما معتمد على التشابه بين الكلمات. إن الطريقة المقترحة مثالية و لكنها ليست منتظمة.
Dictionaries are fundamental components, typically, of every Natural Language Processing system.
We proposed a hashing-indexing method to speed up looking up process inside dictionaries. It is a
reconstruction of English dictionary of about 300,000 lexical entries using a combination of hash
function and an indexing table. This hash function achieves random access according to tokens
prefixes, index table keeps track of where the packet referred by the hash key is starting and how long
it is. The hash function is perfect but not uniform; indexing is based on two levels, both are stated
depending on similarity among tokens. |
---|---|
ISSN: | 1992-0652 2312-8135 |