Система Smart AR позволяет виртуальным объектам и персонажам становиться частью окружающей реальности. Она подходит для смартфонов и портативных игровых консолей.

В отличие от многих аналогов Smart AR не использует GPS-навигацию и специальные маркеры для того, чтобы определить, куда в реальном мире поместить виртуальный объект и как он должен перемещаться. Вместо этого применяется техника распознавания объектов.

Вначале Smart AR идентифицирует объект из компьютерной игры или приложения, ориентируясь на его контуры. Система также отслеживает его передвижения и ориентацию в виртуальном пространстве. Одновременно строится приблизительная трехмерная карта помещения на основе разницы в моментальных снимках, которые делаются под разными ракурсами при движении камеры мобильного устройства.

В результате 3D-модель компьютерного персонажа может, например, "прохаживаться" по столу в комнате пользователя в ответ на его действия и команды. Разумеется, для этого нужно смотреть на стол через экран портативной консоли или смартфона.

Sony уже экспериментировала с технологией во время работы над системой визуальной маркировки объектов с помощью двухмерных штрих-кодов CyberCodes. Эта разработка также предназначалась для приложений дополненной реальности.

Заместитель руководителя токийской Исследовательской лаборатории интеллектуальных систем Sony Такаюки Йосигахара заявил, что Smart AR будет интегрирована в портативные игровые системы следующего поколения — такие как Next Generation Portable.