Я экспериментирую с наложением объектов дополненной реальности на сквозное изображение с задней камеры в Unity.
Кто-нибудь экспериментировал с наложением объектов с точным отслеживанием? Я настроил шкалу движения, чтобы получить приличные результаты, но вращение по-прежнему неточно, а дрейф — большая проблема.
Мне повезло с образцом дополненной реальности, который поставляется с последним танго. по моему опыту, это работает так, как вы предполагали, где, если вы добавляете элементы в сцену единства, они синхронизируются с движением, обнаруженным устройством.
Я считаю, что функция отслеживания и синхронизации улучшилась с тех пор, как вы изначально задали этот вопрос, потому что я заметил улучшение с тех пор, как месяц или около того получил свой танго-девкит. примерно через неделю вышло обновление с немедленным улучшением.
Я обнаружил, что некоторые сцены отслеживаются лучше, чем другие, кажется, помогает наличие дополнительных декораций для отслеживания. в моем рабочем пространстве, довольно загроможденной квартире, он хорошо отслеживается, но в соседней идентичной квартире, которая в настоящее время свободна и пуста, он также не отслеживается. это также может быть результатом жалюзи, висящих в моем блоке, которые не висят в свободном блоке, отфильтровывая дополнительное инфракрасное излучение.
Я экспериментирую с размещением 3D-объектов поверх ввода в реальном времени с цветной камеры Tango.
Одна из проблем заключается в том, что аппаратная цветная камера «указывает» в (странном) направлении. До сих пор я не мог получить вектор направления от API. Ваша виртуальная камера для рендеринга сцены нуждается в этом вращении для правильного рендеринга 3D-объектов.
Примеры дополненной реальности плагина Tango для Unity: https://developers.google.com/tango/apis/unity/unity-simple-ar
Они решают эту проблему с помощью матрицы, которая вращает 3d камеру.
Его можно найти в сценарии Unity «TangoARPoseController» (C#), который при подключении к камере Unity поворачивает ее так, чтобы она смотрела на сцену в правильном направлении. Матрица получается в методе SetCameraExtrinsics этого скрипта.
К сожалению, когда я применяю матрицу к моей сцене единства, она не дает идеального наложения (на самом деле это довольно плохо). Но у меня есть другие источники ввода позиции, которые могут быть здесь проблемой.
Однако до сих пор я не уверен, что матрица, используемая в примерах, достаточно хороша для точного наложения AR. Может быть, это просто подходит для демонстрационных целей. Но это должно стать хорошей отправной точкой для дальнейшего расследования.
Мы говорим об отображении «веб-камеры» на заднем плане, а не о скайбоксе?
Взгляните на мой репозиторий GhostHunter. Он включает в себя шейдер и скрипт для отображения задней камеры «за» игровыми объектами (например, скайбоксом). Его можно использовать с Tango, и это лучше, чем техника «отображение на сетке», которую я видел, как другие.
https://github.com/NVentimiglia/Augmented-Reality-Ghost-Hunter
