Skip to content

About

Локальный LLM-движок для Android: llama.cpp (dotprod+i8mm+KleidiAI) в APK без Gradle — настройки запуска, рассуждения, фото/документы, LAN-API, мониторинг железа

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

12 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

LFM3 Android

Локальный LLM-движок для Android: LiquidAI LFM3 (и её VL-версия) работает на телефоне без интернета, с настройками запуска, вложениями, сетевым доступом и мониторингом железа.

Внутри — llama.cpp, собранный под arm64 универсально: несколько ISA-вариантов (dotprod/i8mm/SVE, KleidiAI) выбираются по железу в рантайме. APK собирается без Gradle: aapt2 + javac + d8 + apksigner.

Проверено на Samsung Galaxy S22 Ultra (SM-S908E, Snapdragon 8 Gen 1, Adreno 730, 12 ГБ, Android 16) и POCO X3 NFC (M2007J20CG, Snapdragon 732G, Adreno 618, 6 ГБ, Android 15) — дефолты подбираются профилем устройства, движок один (ISA выбирается в рантайме).

Скриншоты

Чат Модели и запуск
чат модели
Рассуждения Мониторинг
рассуждения мониторинг

POCO X3 NFC (профиль ROME виден в мониторинге, кластеров два — без PRIME и DDR):

Чат Мониторинг X3
чат X3 мониторинг X3
Документ обработан целиком Не влезает → отказ с цифрами Разбито на части
ответ по docx не влезает по частям

Что умеет

  • Чат со стримингом, отдельный сворачиваемый блок рассуждений, счётчик токенов в секунду.
  • Модели: список .gguf внутри приложения, импорт из любого места через системный Проводник, удаление, авто-подключение mmproj для VL-моделей.
  • Запуск: контекст 8k…256k, потоки 3/4/6/8, KV-кэш f16/q8_0/q4_0, Flash Attention, слоты 1/2/4, mmap, температура сэмплинга.
  • Рассуждения (chat_template_kwargs, применяются без перезапуска): enable_thinking, preserve_thinking, reasoning_budget_tokens, лимит ответа.
  • Вложения: документы целиком (docx/xlsx/pptx/odt/epub/pdf/txt — без обрезки, с точным подсчётом токенов) и фото (1280 px, JPEG base64 — нужна VL-модель).
  • Доступ по сети: bind 0.0.0.0, порт, API-ключ, показ готового URL. OpenAI-совместимый API — с ПК работает curl, любой клиент.
  • Мониторинг: температуры (CPU-пакет/DDR/батарея), частоты LITTLE/BIG/PRIME против максимума (видно троттлинг), RAM, load, живой лог движка.
  • Агентский режим (чип «агент» в шапке): модель вызывает инструменты сама — web_search, curl, ping, ls, cat, shell, ssh_add/ssh_list. Обход до 8 шагов, карточки вызовов сворачиваются. Агент умеет сам сохранять новые SSH-серверы (пароль виден только приложению, модель — только alias).
  • История чатов: кнопка «🗂 история» — прошлые диалоги сохраняются на телефоне, открываются в один тап, текущий диалог не теряется при перезапуске.
  • Крупный интерфейс: все кнопки, поля и переключатели увеличены (v3.0).

Агент (поиск / страницы / SSH)

Чип агент включает режим инструмента: запрос уходит модели с нативным списком tools (OpenAI-совместимо, LFM3 отвечает структурой tool_calls), приложение исполняет вызов и возвращает результат модели. Каждый вызов виден свёрнутой карточкой (запрос + вывод).

Инструменты:

инструмент аргументы что делает
web_search query DuckDuckGo Lite, запасной Bing; топ-6 ссылок с описанием
net_fetch url страница целиком → текст до 4000 символов
ssh_exec alias, cmd команда по SSH (JSch), вывод stdout/stderr до 3 КБ, таймаут 25 с

SSH-серверы заводятся в настройках (имя, хост, порт, пользователь, пароль). Пароль видит только Java-мост: модели передаётся лишь имя (alias), поэтому учётки не попадают ни в промпт, ни в историю чата. Хосты лежат в приватных prefs приложения.

Ограничения версии 1: один текстовый проход без вложений (документы/фото — в обычном режиме), лимит 8 вызовов за вопрос, поиск зависит от доступности DuckDuckGo/Bing.

Документы: без обрезки

Абзац «первые 12 000 символов» из прошлых версий удалён. Правило теперь одно: файл либо попадает в промпт целиком, либо отклоняется с точной причиной.

формат как читается
txt, md, csv, json, xml, yaml, html, log, код как текст; кодировка определяется (BOM, UTF-8, windows-1251), двоичные файлы отсекаются по служебным байтам
docx word/document.xml → абзацы, табы, таблицы
xlsx sharedStrings + листы, строки через таб
pptx текст слайдов по порядку
odt / ods / odp content.xml
epub все xhtml-главы
pdf pdf.js 3.11 (UMD, в assets) — текстовый слой постранично; сканы без OCR честно отклоняются
doc, xls, ppt, rtf отклоняются с подсказкой пересохранить в новый формат

Перед отправкой текст прогоняется через /tokenize самого движка (не оценка «на глаз»), и чип вложения показывает: docx, абзацев 5, символов 160 · 61 ток. · влезает, свободно 6 144.

Если не влезает — чип красный: 56 251 символов · 20 258 ток. · НЕ ВЛЕЗАЕТ, свободно 6 144, отправка блокируется с сообщением, и предлагается кнопка «разбить на N частей». После неё файл обрабатывается последовательно: каждая часть уходит отдельным вызовом (~70% свободного окна), в чате видно часть 3 из 5 — извлекаю факты…, а финальный ответ строится по выжимке всех частей с пометкой «обработан ПОЛНОСТЬЮ».

Пределы, о которых приложение говорит прямо: файл больше 32 МБ и старый бинарный Office не читаются вовсе — это отказ, а не тихая обрезка.

Замеры (S22 Ultra, LFM3-1.7B QAD-Q4_0, -t 4)

сборка промпт генерация
обычная NDK-сборка 14,5 t/s 9,6 t/s
dotprod+i8mm 69,7 t/s 14,5 t/s
+ KleidiAI (эта) 100,7 t/s 23,1 t/s

Живой чат в приложении: 72–87 t/s промпт, 18–19 t/s генерация, RSS 2,36 ГБ при 32k контекста.

Зрение (LFM3-VL-2B-QAD-Q4_0 + mmproj-LFM3-VL-2B-Q8_0): скриншот 420×900 распознан за 11,1 с, промпт 43 t/s, выдача 23,6 t/s.

Бюджет рассуждений (LFM3-VL-2B):

режим reasoning-токенов время ответа
без лимита 169 23,8 с
reasoning_budget_tokens: 64 43 8,8 с
enable_thinking: false 0 0,4 с

Сборка

Нужны JDK 21, Android SDK (platforms;android-34, build-tools;34.0.0) и собранный под Android llama.cpp:

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
# универсальный движок: несколько ISA-вариантов внутри одной libggml-cpu.so,
# выбор по железу в рантайме (i8mm на 8 Gen 1, dotprod на SM6150, базовый — остальное)
cmake -B build-uni -DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake \
      -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-29 -DCMAKE_BUILD_TYPE=Release \
      -DGGML_NATIVE=OFF -DGGML_CPU_ALL_VARIANTS=ON -DGGML_CPU_KLEIDIAI=ON \
      -DGGML_OPENMP=OFF -DLLAMA_CURL=OFF
cmake --build build-uni --target llama-server -j

Для одного устройства быстрее точная сборка (-DGGML_CPU_ARM_ARCH="armv8.2-a+dotprod+i8mm+bf16+fp16" для 8 Gen 1 / armv8.2-a+dotprod+fp16 для SM6150) — универсальная стоит ~5% на Samsung.

export JAVA_HOME=/path/to/jdk-21
export ANDROID_SDK=/path/to/sdk
export LLAMA_BUILD=/path/to/llama.cpp/build-android/bin
bash scripts/build_apk.sh

Скрипт соберёт build/LFM3.apk и сам создаст отладочный keystore.

Профили устройств

Приложение одно, но дефолты подобраны под каждое железо (Bridge.deviceProfile(), по Build.SOC_MODEL; остальное — по объёму ОЗУ: ≥10 ГБ → 4t/32k, меньше → 2t/8k):

SoC Устройство ОЗУ нити контекст
SM8450 (8 Gen 1) Galaxy S22 Ultra 12 ГБ 4 32768
SM6150 (SD 732G) POCO X3 NFC 6 ГБ 2 8192

Активный профиль виден в мониторинге («профиль SM6150»). Кластеры и термозоны определяются автоматически по cpuinfo_max_freq и /sys/class/thermal — на 2+6 показывает LITTLE+BIG, на 1+3+4 все три; где нет ddr-датчика или читаемого scaling_max_freq (SM6150) — UI не падает, а скрывает/не показывает троттлинг.

POCO X3 NFC (SM6150, dotprod-сборка), -pg 512,128, t/s:

-t pp512 tg128
2 44,3 10,6
3 30,3 8,7
4 40,1 8,6
6 38,2 8,5

Три грабли SM6150: без флага dotprod базовый NEON даёт 10 т/с (×4 разницы); -t 3 проваливается (ядро A76 остаётся одно); llama-bench master — -pg 512,128 -r N, старый синтаксис -nr больше не принимается.

Модель

adb install -r build/LFM3.apk
# gguf кладём во внутреннюю папку приложения, а не на /sdcard
adb push LFM3-1.7B-QAD-Q4_0.gguf /data/local/tmp/m.gguf
adb shell "run-as com.fastchip.lfm3 sh -c 'mkdir -p files/models; cat /data/local/tmp/m.gguf > files/models/LFM3-1.7B-QAD-Q4_0.gguf'"

Либо в самом приложении: ⚙ → «Импорт .gguf».

Модели: LFM3-1.7B-GGUF, LFM3-VL-2B-GGUF (+ mmproj для зрения).

API

Движок слушает 127.0.0.1:8080 (или 0.0.0.0 при включённом сетевом доступе):

curl http://<ip>:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "Привет"}],
  "chat_template_kwargs": {"enable_thinking": false},
  "reasoning_budget_tokens": 64
}'

Инженерные заметки

Три вещи, без которых это не работало:

  1. Foreground-сервис обязателен. Иначе Android замораживает приложение вместе с дочерним процессом, как только гаснет экран: порт слушается, запросы висят. Лечится startForeground + PARTIAL_WAKE_LOCK.
  2. Модель нельзя держать на /sdcard. mmap через FUSE уводит процесс в D-state и запросы перестают обслуживаться. Только внутренняя память приложения.
  3. d8 из build-tools 34 падает с внутренним NPE на анонимных классах — колбэки пишутся лямбдами или статическими вложенными классами.
  4. JSch в dex без Gradle. Классы libs/jsch.jar распаковываются в build/classes и дехаются вместе со своими; d8.bat при этом не годится дважды (NPE на байткоде jsch даже без $, плюс лимит командной строки cmd.exe на сотни путей) — сборка зовёт свежий standalone R8 (r8-8.5.35.jar) прямо через java.

Ограничения: NPU Hexagon v69 не используется (в llama.cpp ядра HTP только с v73), GPU OpenCL ускоряет лишь промпт (52 t/s) и замедляет генерацию (7 t/s против 23 t/s у CPU), после 30 минут нагрузки prime-ядро упирается в 1,84 ГГц и выдача падает до ~6 t/s.

POCO X3 NFC: 6 ГБ ОЗУ (контекст по умолчанию 8k; 32k с q8_0 KV+FA влезает), Adreno 618 не использовался — CPU с KleidiAI быстрее OpenCL-пути, у Hexagon v68 ядер HTP в llama.cpp нет, после ~30 минут нагрузки A76 троттлится — видно в мониторинге.

Лицензия

MIT. llama.cpp — MIT, модели LFM3 — по лицензии Liquid AI.

About

Локальный LLM-движок для Android: llama.cpp (dotprod+i8mm+KleidiAI) в APK без Gradle — настройки запуска, рассуждения, фото/документы, LAN-API, мониторинг железа

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages