Abstract:
Питання семантичного аналiзу тексту займає особливе мiсце в комп'ютернiй лiнгвiстицi. Дослiдники даної
областi мають пiдвищений iнтерес до розробки алгоритму, використання якого дозволить пiдвищити якiсть
обробки корпусу тексту та ймовiрнiсне визначення змiсту
тексту. Результати дослiдження застосувань методик,
пiдходiв, алгоритмiв для семантичного аналiзу тексту у
комп'ютернiй лiнгвiстицi в мiжнароднiй i казахстанськiй
науцi призвели до розробки алгоритму пошуку ключових
слiв в текстi казахською мовою. Першим етапом алгоритму було складання еталонного словника ключових слiв
для корпусу тексту українською мовою. Вирiшенням цiєї
проблеми стало застосування алгоритму Портера (стеммера) для корпусу текстiв казахською мовою. Реалiзацiя
стеммера дозволила видiлити унiкальнi основи слiв i отримати еталонний словник, який згодом проiндексували.
Наступний крок – це збiр навчальних даних iз корпусу
текстiв. Для обчислення ступеня семантичної близькостi
мiж словами кожному слову присвоюється вектор вiдповiдних йому словоформ еталонного словника, в результатi якого виходить пара – ключове слово i вектор. I останнiм кроком алгоритму є навчання нейронних мереж. При
навчаннi застосовується метод зворотного поширення
помилок, що дозволяє провести семантичний аналiз корпусу тексту i отримати ймовiрнiсну кiлькiсть слiв, близьку до очiкуваної кiлькостi ключових. Цей процес дозволяє
автоматизувати обробку текстового матерiалу шляхом
створення цифрових навчальних моделей ключових слiв.
Алгоритм використовується для розробки нейрокомп'ютерної системи, що буде проводити автоматичну перевiрку текстових робiт учнiв онлайн курсiв. Унiкальнiстю
алгоритму пошуку ключових слiв є застосування навчання нейронної мережi для текстiв казахською мовою. У
Казахстанi вченими в областi комп'ютерної лiнгвiстики було проведено ряд дослiджень на основi застосування
морфологiчного аналiзу, лемматизацiї та iнших пiдходiв i
реалiзованi лiнгвiстичнi iнструменти (в основному словники-перекладачi). Область застосування навчання нейронних мереж для синтаксичного аналiзу казахської мови
залишається вiдкритим питанням в казахстанськiй науцi.
Розроблений алгоритм передбачає вирiшення однiєї з
проблем в отриманнi ефективного семантичного аналiзу
тексту казахською мовою
