Материальные системы визуализации слияния реального и виртуального миров.

Когда наблюдатели взаимодействуют с объектом, они, как правило, участвуют в комплексе поведения, который включают активные манипуляции и динамический просмотр. Эти модели поведения позволяют наблюдателям, увидеть, как выглядит объект с разных точек зрения и в разных условиях освещения.

Это обеспечивает богатую визуальную информацию об объекте: форме и свойствах материала. Современные компьютерные графические методы дают возможность показывать реалистичные изображения сложных объектов из интерактивных курсов. Это привело к большому прогрессу в таких областях, как цифровое кино, компьютерные игры, медицинская визуализация и визуализация культурного наследия, архивного дела.

Однако, в стандартных графических системах, наблюдатель всегда на один шаг позади от объекта. То есть, изображения объекта, как правило просматривают на экране, и взаимодействие, как правило, опосредованное через интерфейс устройства, такие как клавиатура или мышь.Мы развиваем материальные системы визуализации, которые позволяют естественно взаимодействовать с виртуальными объектами.

Материальные визуальные системы основаны на современных мобильных устройствах, таких как ноутбуки и планшетные компьютеры -это, как правило, включают в себя сенсорные экраны, цифровые камеры, акселерометры, гироскопы, и графическое оборудование, кроме традиционных мониторов и устройств ввода. У нас разработано пользовательское программное обеспечение, которое использует эти компоненты и позволяют ориентировать устройства и позиции наблюдателя что бы отслеживать всё в реальном времени.

Используя эту информацию, реалистичные изображения 3D-объектов сложной формы и свойств материала осуществляется с экрана, и наклон или перемещение в передней части устройства создает реалистичные изменения в виде поверхности. Материальные системы визуализации, таким образом создают виртуальные объекты, которые можно наблюдать и манипулировать так же естественно, как реальными, с дополнительным преимуществом, что свойства объектов могут быть изменены под контролем пользователя.

На сегодняшний день, мы разработали четыре системы: tangiBook, наша первая реализация концепции на портативном компьютере; tangiView, изысканная реализация на планшетном устройстве; tangiPaint, цифровая система живописи, что позволяет пользователям напрямую создавать картины с богатой поверхностью и свойствами материалов; и phantoView, данная реализация, позволяет принимать концепции материальной визуализации в стерео 3D.

В tangiBook система наклона дисплея

 

 

 

 

 

 

 

 

Рис. 1. В tangiBook система наклона дисплея (верхний ряд) или движется перед ней (в нижнем ряду) производит реалистичные изменения в внешний вид оштукатуренной поверхности.
Возможности tangiBook системы показано на Рис. 1, который показывает, 3D модели живопись маслом, оказываемые на ноутбук в режиме реального времени. Изображения в верхнем ряду показывают, как наклон экрана, производящий реалистичные изменения в поверхностных тенях и бликах. Изображения в нижней строке отображают соответствующие изменения, которые происходят, когда наблюдатель движется относительно экрана/живописи. Взятые вместе, реалистичный рендеринг и прямое взаимодействие возможности системы обеспечивают визуальность, похожую на взаимодействие с реальной живописью.

 tangiView-осуществляет концепцию материальной визуализации на планшетном устройстве

 

 

 

 

 

 

 

 

Рис. 2. tangiView-осуществляет концепцию материальной визуализации на планшетном устройстве. Природный форм-фактор и сенсорный экран, чтобы облегчить непосредственное взаимодействие.
Хотя возможности tangiBook являются новыми и привлекательными, «таблетки» обеспечивают гораздо лучший, форм-фактор для развития материальных систем визуализации, потому что они легче и их очертания, больше похожи на почти плоскую поверхность, они используются для эмуляции. tangiView на систему для Apple iPad (см. Рис. 2). Все визуализации и отображения возможностей те же, что и в tangiBook системе, но tangiView также включает в себя touch-интерфейс и улучшает её гибкость, обеспечивая изображения в формате, основанным на 3D моделировании поверхности, которой могут быть доступны функции используемые стандартными фоторедакторами.

 tangiPaint-с «пальцем на табличку» пользователи могут создавать цифровые картины

 

 

 

 

 

 

 

 

Рис. 3. tangiPaint-с «пальцем на табличку» пользователи могут создавать цифровые картины «маслом», которые имеют богатые 3D текстуры поверхности и свойства материала. Наклоном планшета можно изменять освещение на картине, чтобы выявить все её особенности.
Учитывая сенсорные возможности планшетных устройств, наши усилия были сосредоточены на захватывающих возможности создания материального содержания, а не только просмотр существующих моделей. Эта новая система известна как tangiPaint (см. Рис. 3). tangiPaint позволяет пользователям создавать виртуальную картину «маслом» рукой на сенсорном экране. Пользователи могут выбрать различные текстуры «полотна», чтобы рисовать и может работать " красками " и " щетками", которые производят реалистичные картины со сложными вариациями на поверхности: цвет, блеск и текстуру.
Эти 3D системы визуализации были хорошо приняты, но частый вопрос, который возникает могут ли системы быть использованы для взаимодействия с 3D-объектами. Чтобы исследовать этот вопрос, мы разработали систему, которая называется phantoView, которая поддерживает прямое взаимодействие с цифровыми моделями 3D-объектов. Уникальной особенностью phantoView является его использование со специальным видом стереоскопического оборудования известного как phantogram, 2D-изображение, которое появляется, как 3D, создает убедительный стереоскопическую визуализацию объектов.

 В phantoView системах -3D модели объектов

 

 

 

 

 

 

 

 

 phantoView систему в действии

 

 

 

 

 

 

 

 

Рис. 4. В phantoView системах -3D модели объектов, загрузка в систему осуществляется в режиме реального времени, как в phantograms на дисплей планшета. Загруженный объект кажется, сидит на поверхности «таблетки». Вращение планшета относительно вертикальной оси позволяет рассмотреть объект с разных ракурсов.
Рис. 4 показывает phantoView систему в действии Для начала, объектная модель загружается со стандартного волнового фронта объекта (OBJ-файл). В phantogram, объект затем представляется на экране в реальном времени. Чтобы увидеть объект с разных точек зрения, пользователь просто вращает планшет вокруг вертикальной оси. Любое движение, двумя пальцами изменяет размер и высоту объекта и освещения, и одним пальцем переключение между загруженными моделями объекта.
Подводя итоги хотелось сказать ,что компьютерной графике и возможности современных мобильных устройств достаточно чтобы создать полнофункциональное цифровое представление 3D объекта, которое можно просматривать и манипулировать им так же естественно, как реальным. Хотя в системах, описанных здесь ещё не всё так гладко но, мы будем продолжать работать над развитием этой технологии, создавая более высокий уровень визуализации, моделирования и методы взаимодействия
www.tangibleimagingsystems.com.
По материалам http://spie.org/.