Көру қабілеті әлсіз адамдарға арналған AI дауыстық көмекші: Нақты уақытта объектілерді анықтау және қашықтықты бағалау

Abstract

Көру қабілеті әлсіз адамдар үшін қоршаған ортада қозғалу айтарлықтай қиындық тудырады. Бұл мақалада YOLOv12 негізіндегі объектілерді анықтау жүйесі мен тереңдікті бағалау моделін қолдана отырып, кеңістіктік хабардарлықты арттыратын дауыстық көмекші ұсынылған. YOLOv12 навигацияға қатысты 8 жаңа объект класын қосу арқылы кеңейтілді, олар: терезе, ашық есік, жабық есік, баспалдақ, қақпақ (люк), жаяу жүргіншілер өткелі, лифт және қоршау. Тереңдікті бағалау MiDaS (DPT-Large) моделі арқылы жүзеге асырылады, ол қашықтықты дәл қабылдауды қамтамасыз ету үшін арнайы калибрленді. Ал дауыстық кері байланыс Text-to-Speech технологиясы арқылы жүзеге асырылады. Жүйе нақты уақыттағы визуалды деректерді өңдейді, объектілерді анықтап, олардың тереңдігін бағалайды және дыбыстық кері байланыс береді, бұл көру қабілеті әлсіз пайдаланушыларға қоршаған ортада қауіпсіз қозғалуға мүмкіндік береді.