DEVELOPMENT OF THE ALGORITHM OF KEYWORD SEARCH IN THE KAZAKH LANGUAGE TEXT CORPUS

Abstract

Питання семантичного аналiзу тексту займає осо- бливе мiсце в комп'ютернiй лiнгвiстицi. Дослiдники даної областi мають пiдвищений iнтерес до розробки алго- ритму, використання якого дозволить пiдвищити якiсть обробки корпусу тексту та ймовiрнiсне визначення змiсту тексту. Результати дослiдження застосувань методик, пiдходiв, алгоритмiв для семантичного аналiзу тексту у комп'ютернiй лiнгвiстицi в мiжнароднiй i казахстанськiй науцi призвели до розробки алгоритму пошуку ключових слiв в текстi казахською мовою. Першим етапом алго- ритму було складання еталонного словника ключових слiв для корпусу тексту українською мовою. Вирiшенням цiєї проблеми стало застосування алгоритму Портера (стем- мера) для корпусу текстiв казахською мовою. Реалiзацiя стеммера дозволила видiлити унiкальнi основи слiв i отри- мати еталонний словник, який згодом проiндексували. Наступний крок – це збiр навчальних даних iз корпусу текстiв. Для обчислення ступеня семантичної близькостi мiж словами кожному слову присвоюється вектор вiдпо- вiдних йому словоформ еталонного словника, в результа- тi якого виходить пара – ключове слово i вектор. I остан- нiм кроком алгоритму є навчання нейронних мереж. При навчаннi застосовується метод зворотного поширення помилок, що дозволяє провести семантичний аналiз кор- пусу тексту i отримати ймовiрнiсну кiлькiсть слiв, близь- ку до очiкуваної кiлькостi ключових. Цей процес дозволяє автоматизувати обробку текстового матерiалу шляхом створення цифрових навчальних моделей ключових слiв. Алгоритм використовується для розробки нейрокомп'ю- терної системи, що буде проводити автоматичну перевiр- ку текстових робiт учнiв онлайн курсiв. Унiкальнiстю алгоритму пошуку ключових слiв є застосування навчан- ня нейронної мережi для текстiв казахською мовою. У Казахстанi вченими в областi комп'ютерної лiнгвiсти- ки було проведено ряд дослiджень на основi застосування морфологiчного аналiзу, лемматизацiї та iнших пiдходiв i реалiзованi лiнгвiстичнi iнструменти (в основному слов- ники-перекладачi). Область застосування навчання ней- ронних мереж для синтаксичного аналiзу казахської мови залишається вiдкритим питанням в казахстанськiй науцi. Розроблений алгоритм передбачає вирiшення однiєї з проблем в отриманнi ефективного семантичного аналiзу тексту казахською мовою