Повторяющиеся действия со смартфоном могут помочь оценить, переживает ли человек стрессовый день. Разработанный в Корейском институте передовых технологий KAIST фреймворк на основе машинного обучения показал точность до 75,9% — выше, чем у подхода, который учитывает статистику использования приложений.
Прежние исследования чаще анализировали экранное время, число запусков приложений, продолжительность и частоту их использования, а также особенности набора текста. Но при смене приложений или их интерфейсов такие показатели меняются, что затрудняет сопоставление результатов. Новая система SHIRBT-MMF вместо этого распознаёт, что именно человек делает на смартфоне: пишет, читает, смотрит видео или совершает платежи. Описание технологии опубликовано в журнале Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
«Мы рассматривали смартфон не просто как устройство для измерения времени использования, а как пространство повседневной жизни, где общение человека, поиск информации и финансовые операции выполняются многократно», — пояснил профессор Ли Ый-джин, руководивший исследованием.
Исследователи назвали такие действия «рутинными поведенческими задачами при взаимодействии человека со смартфоном» (Smartphone Human Interaction Routine Behavior Tasks — SHIRBT). Система выявляет повторяющиеся переходы между экранами в течение нескольких дней, а затем с помощью большой языковой модели присваивает им поведенческие метки, например «переписка в мессенджере», «просмотр веб-страниц», «финансовый платеж» или «чтение и написание электронной почты».
В испытаниях система более чем в 95% случаев одинаково классифицировала одно и то же действие в разных приложениях для почты, браузерах и мессенджерах. Для защиты приватности она не сохраняет текст или содержание сообщений: фиксируются только поведенческие сведения — например, был ли введён текст и как часто, — и переходы между экранами. Данные о получателях сообщений и собеседниках во время звонков сохраняются в виде хэша, который нельзя расшифровать.
Команда проанализировала данные 26 студентов и офисных работников в возрасте 20–30 лет. У 16 участников краткосрочной группы имелись данные в среднем за 30,5 дня, у 10 участников долгосрочной группы — в среднем за 105,1 дня. На основе ежедневных самооценок стресса и 29 типов повторяющихся действий исследователи построили персональные модели, различавшие дни со стрессом и без него.
Лучшая модель достигла средней точности 75,9% в краткосрочной группе и 73,8% в долгосрочной. Это на 5,5 и 3,5 процентного пункта соответственно выше результата традиционного подхода, основанного на статистике использования приложений. Даже при анализе только двух действий — переписки в мессенджере и финансовых платежей — точность оставалась выше, чем у методов, отслеживающих время в приложениях.
Авторы рассчитывают, что дальнейшая работа с собранными данными поможет улучшить модель и снизить нагрузку, связанную со сбором информации. В будущих исследованиях планируется расширить выборку по возрасту, профессиям и операционным системам: в нынешнем исследовании использовались только смартфоны на Android.