Проект объединяет распознавание объектов, локальную оценку риска, пешеходную маршрутизацию и голосовые подсказки. Вычисления выполняются на ноутбуке; приложение Expo передаёт кадры и получает результаты.
Программа находится на стадии инженерной проверки. Прохождение тестов не доказывает безопасность самостоятельной навигации. Сравнительное преимущество метода и качество на реальных маршрутах ещё нужно измерить.
Окружение находится в .venv. Оно использует установленный Python 3.11
и его PyTorch CPU через --system-site-packages; это не полностью
герметичное окружение. Снимок проверенных версий сохраняется отдельно.
Из папки проекта в PowerShell:
.\.venv\Scripts\python.exe -m pytest -q
.\.venv\Scripts\python.exe tools\smoke_test.py
.\.venv\Scripts\python.exe tools\run_server.pyПоследняя команда запускает локальный сервер на 127.0.0.1:8765.
GET /health отдельно показывает готовность обработки, звука, глубины
и маршрутизатора. По умолчанию используется YOLOv8n на CPU, русский язык
и режим помещения; глубина отключена явно.
Для подключения телефона в той же сети:
.\.venv\Scripts\python.exe tools\run_server.py --host 0.0.0.0В другом терминале:
cd app
npm startВ приложении укажите адрес ноутбука в общей сети. Наличие звука и
работу камеры нужно проверить на физическом телефоне. Для казахского
голоса используйте --lang kk. Для внешнего маршрута предусмотрен
--outdoor; граф OSM предварительно строится командой
python tools/demo_route.py. --depth включает отдельную модель глубины
и требует дополнительных зависимостей и весов.
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install -r requirements-runtime.txtДля глубины: requirements-depth.txt. Для одних тестов ядра:
requirements-core.txt. Веса YOLO и Piper не входят в Git; необходимые
файлы на этом компьютере находятся в data/models. Старый
requirements.txt сохранён как исторический расширенный список.
Исходные изображения и аннотации сохранены в
data/datasets/kz_hazards. Новая версия hazards_grouped_v1 содержит
те же 3 258 изображения, но группы одного источника не пересекают
выборки. Прямоугольники и полигоны приведены к формату детекции.
Подробный манифест хранит группы, старые/новые выборки и SHA-256
изображений и итоговых аннотаций.
Создать новую версию (существующая папка никогда не перезаписывается):
.\.venv\Scripts\python.exe tools\prepare_dataset.py --output data/datasets/hazards_grouped_v2Класс obstacle представлен лишь двумя исходными видеосессиями;
в независимой validation-части его нет. Поэтому обычное обучение
для публикационной оценки пока заблокировано. Пилотный запуск возможен
явно, результаты будут помечены как предварительные:
.\.venv\Scripts\python.exe tools\train_detector.py --exploratory --device cpu --epochs 2 --cache none --name pilotПилот не заменяет валидацию. Исторические mAP не относятся к новой
выборке. Скрипт проверяет содержимое датасета по манифесту перед запуском.
Веса каждого нового эксперимента остаются в его каталоге runs и не
заменяют модель работающего приложения.
План исследований и следующие шаги.
Архитектура описывает замысел и интерфейсы; её проектные
утверждения нужно сверять с кодом и экспериментами. Исторические отчёты
в docs/article/RESULTS_* сохранены для прослеживаемости и не являются
текущим подтверждением качества.
Научная гипотеза: совместный учёт локального риска, глобального маршрута и стабильности подсказок улучшает навигационную помощь при ограниченном голосовом потоке. Подтвердить её должны сравнения и абляции на независимых записях; одного применения YOLO для заявления новизны недостаточно.
Сохранённый README связывал проект с работой Каржаубай Ж.С. (ЕНУ им. Л.Н. Гумилёва, руководитель Назырова А.Е.) и указывал автора текущего проекта Сәбит Абзал. Перед подачей статьи авторство, вклад, лицензии кода и датасетов следует подтвердить у авторов исходных материалов.
В Git опубликованы исходный код, приложение Expo, тесты, документация,
снимок OSM и синтетический маршрут. Личные GPS-записи, QR-код устройства,
виртуальное окружение, веса моделей и исходные изображения датасета не опубликованы.
Описанные выше локальные данные нужно подготовить отдельно после клонирования.
Для голосов выполните python tools/fetch_voices.py; для первого запуска
с автоматической загрузкой стандартного YOLO используйте
python tools/run_server.py --model yolov8n.pt.
Предыдущая версия репозитория сохранена в ветке
backup/before-blind-nav-2026-10-06. Существующая лицензия MIT сохранена;
лицензии внешних моделей, библиотек и данных проверяются отдельно.