Skip to content
MevinssPublic

About

Assistive navigation prototype using YOLOv8 for object detection, distance estimation and prioritized voice alerts.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

blind-nav — исследовательский прототип ассистивной навигации

Проект объединяет распознавание объектов, локальную оценку риска, пешеходную маршрутизацию и голосовые подсказки. Вычисления выполняются на ноутбуке; приложение Expo передаёт кадры и получает результаты.

Программа находится на стадии инженерной проверки. Прохождение тестов не доказывает безопасность самостоятельной навигации. Сравнительное преимущество метода и качество на реальных маршрутах ещё нужно измерить.

Запуск на этом компьютере

Окружение находится в .venv. Оно использует установленный Python 3.11 и его PyTorch CPU через --system-site-packages; это не полностью герметичное окружение. Снимок проверенных версий сохраняется отдельно.

Из папки проекта в PowerShell:

.\.venv\Scripts\python.exe -m pytest -q
.\.venv\Scripts\python.exe tools\smoke_test.py
.\.venv\Scripts\python.exe tools\run_server.py

Последняя команда запускает локальный сервер на 127.0.0.1:8765. GET /health отдельно показывает готовность обработки, звука, глубины и маршрутизатора. По умолчанию используется YOLOv8n на CPU, русский язык и режим помещения; глубина отключена явно.

Для подключения телефона в той же сети:

.\.venv\Scripts\python.exe tools\run_server.py --host 0.0.0.0

В другом терминале:

cd app
npm start

В приложении укажите адрес ноутбука в общей сети. Наличие звука и работу камеры нужно проверить на физическом телефоне. Для казахского голоса используйте --lang kk. Для внешнего маршрута предусмотрен --outdoor; граф OSM предварительно строится командой python tools/demo_route.py. --depth включает отдельную модель глубины и требует дополнительных зависимостей и весов.

Установка в новом окружении

python -m venv .venv
.\.venv\Scripts\python.exe -m pip install -r requirements-runtime.txt

Для глубины: requirements-depth.txt. Для одних тестов ядра: requirements-core.txt. Веса YOLO и Piper не входят в Git; необходимые файлы на этом компьютере находятся в data/models. Старый requirements.txt сохранён как исторический расширенный список.

Данные и обучение

Исходные изображения и аннотации сохранены в data/datasets/kz_hazards. Новая версия hazards_grouped_v1 содержит те же 3 258 изображения, но группы одного источника не пересекают выборки. Прямоугольники и полигоны приведены к формату детекции. Подробный манифест хранит группы, старые/новые выборки и SHA-256 изображений и итоговых аннотаций.

Создать новую версию (существующая папка никогда не перезаписывается):

.\.venv\Scripts\python.exe tools\prepare_dataset.py --output data/datasets/hazards_grouped_v2

Класс obstacle представлен лишь двумя исходными видеосессиями; в независимой validation-части его нет. Поэтому обычное обучение для публикационной оценки пока заблокировано. Пилотный запуск возможен явно, результаты будут помечены как предварительные:

.\.venv\Scripts\python.exe tools\train_detector.py --exploratory --device cpu --epochs 2 --cache none --name pilot

Пилот не заменяет валидацию. Исторические mAP не относятся к новой выборке. Скрипт проверяет содержимое датасета по манифесту перед запуском. Веса каждого нового эксперимента остаются в его каталоге runs и не заменяют модель работающего приложения.

Статья

План исследований и следующие шаги. Архитектура описывает замысел и интерфейсы; её проектные утверждения нужно сверять с кодом и экспериментами. Исторические отчёты в docs/article/RESULTS_* сохранены для прослеживаемости и не являются текущим подтверждением качества.

Научная гипотеза: совместный учёт локального риска, глобального маршрута и стабильности подсказок улучшает навигационную помощь при ограниченном голосовом потоке. Подтвердить её должны сравнения и абляции на независимых записях; одного применения YOLO для заявления новизны недостаточно.

Происхождение

Сохранённый README связывал проект с работой Каржаубай Ж.С. (ЕНУ им. Л.Н. Гумилёва, руководитель Назырова А.Е.) и указывал автора текущего проекта Сәбит Абзал. Перед подачей статьи авторство, вклад, лицензии кода и датасетов следует подтвердить у авторов исходных материалов.

Состав репозитория

В Git опубликованы исходный код, приложение Expo, тесты, документация, снимок OSM и синтетический маршрут. Личные GPS-записи, QR-код устройства, виртуальное окружение, веса моделей и исходные изображения датасета не опубликованы. Описанные выше локальные данные нужно подготовить отдельно после клонирования. Для голосов выполните python tools/fetch_voices.py; для первого запуска с автоматической загрузкой стандартного YOLO используйте python tools/run_server.py --model yolov8n.pt.

Предыдущая версия репозитория сохранена в ветке backup/before-blind-nav-2026-10-06. Существующая лицензия MIT сохранена; лицензии внешних моделей, библиотек и данных проверяются отдельно.

About

Assistive navigation prototype using YOLOv8 for object detection, distance estimation and prioritized voice alerts.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages