Приложение, которое опишет окружающую вас среду
Компания Microsoft выпустила новое приложение, которое использует алгоритм компьютерного зрения для того, чтобы описать окружающий мир для людей с ослабленным зрением. Пока это приложение работает только на телефонах iPhone и только в США.
Программный продукт, получивший название Seeing AI, предлагает пользователю направить камеру на человека или продукты и рассказывает ему более подробно об этом объекте. Когда приложение смотрит на человека, то может сказать, кто это, если данные о нем содержатся в контактах телефона. А также о том, какие эмоции он сейчас испытывает. Если оно не может идентифицировать человека, то просто сообщает о том, сколько ему предположительно лет.
С другой стороны, когда телефон направлен на продукт, то Seeing AI может проинформировать пользователя о том, что это. Причем делает это, прочитав штрихкод на упаковке.
Кроме этого, приложение может читать и сканировать документы, причем может распознавать и знак доллара, что очень полезно для слабовидящих и невидящих пользователей, которым трудно различить между собой похожие счета. При необходимости приложение командует пользователю повернуть камеру влево или вправо, чтобы цель попала в зону видимости.
И самое интересное, что все это делается на самом устройстве без необходимости подключаться к облачной системе. За счет этого результат пользователь получает буквально за доли секунды, независимо от того, есть подключение к Интернет или нет.
Правда, для получения более мощной, экспериментальной функциональности - типа описания всей окружающей сцены или распознавания рукописного письма - приложению все-таки потребуется подключиться к облаку.
Приложение для всего этого использует нейронные сети, т.е. те же самые технологии, что и автономные автомобили, дроны и т.п.
Источник: mHealthSpot