सूचकांक शब्द निकालने का उपकरण

पाठ छोटे अक्षरों में बदलता है, अक्षर और संख्या वाले शब्द अलग करता है और छोटी अंग्रेज़ी सामान्य शब्द सूची हटाता है। शब्द में कम से कम 4 UTF-16 कोड इकाइयाँ और लगातार दो-शब्द पदबंध के हर शब्द में कम से कम 3 चाहिए। यह शब्द-भेद विश्लेषक नहीं; परिणाम भाषा और शब्द विभाजन पर निर्भर है।