Spark AR Studio: basics

Recently I started studying Spark AR Studio and want to tell you about my experience with this program. I hope, it helps someone, who, like me, are interested in AR and wants to create his own mask on Instagram.

Download and minimum program requirements

For work, you need to download the program on the official website. 

Minimum system requirements for installing the program:
Operating system: Windows 10 (64 bit) or macOS 10.14+.
Processor: Intel Intel Core i3 2.5 GHz, AMD AMD Bulldozer / Jaguar / Puma / Zen set SSE4. 1 set of instructions.
RAM: 4 GB.
Display: screen resolution 1280× 768 or higher.
Graphics: Intel HD Graphics 4000 / NVIDIA GeForce 710 / AMD Radeon HD 6450 and higher.

Interface overview

When you open the program, the first thing you see are examples of masks that you can open, view, and edit.

You can return to this later, but in the meantime, we create a new project using "Create Project" button and go to the main interface of Spark AR Studio. It consists of three areas:

1. The Scene, Layers, and Assets panels are displayed on the left side. This is where the mask structure is created.
2. In the center - the general view, Scene. It shows all changes and effects. At the top right is a small screen of the phone, which also shows, how the mask looks on the face or in space at the moment. You can change the phone model and view. Spark AR has several looped videos with people's faces to make fitting your mask easier. You can also try on a mask on your face by connecting a webcam. You can switch between faces (as well as your computer's webcam) using "Video" button on the panel at the left edge of the screen.
3. On the right side there is a panel, where you can edit textures, objects, and make plastics by changing various properties.

There are lessons in English on the official website. I have already learned the basic concepts, without which creating masks is impossible, and I want to share them with you.

Face Tracker detects the position and orientation of the face of person, using the mask. This is the basis of any effect that appears on the face. To add it to the screen in the Scene panel click "Add Object" button, find "Face Tracker" item in the list, select it, and click "Insert". FaceTracker0 appears on the panel. The area in center displays coordinate axes centered on the center of the face.

Face Mesh is a 3D model that responds to changes in facial expression, tracked by FaceTracker. This is what you change, using materials to create a mask. To add Face Mesh, right-click on faceTracker0 in the Scene panel and select "Face Mesh".

For Face Tracker and Faсe Mesh, the principle of parent and child elements works, i.e. all changes to the parent element are applied to the child. To view all the child elements of Face Tracker, click the arrow on the left of it in the Scene panel.

Materials are the changes that are made to Face Mesh. To add Material, select "Face Mesh" in the Scene panel. Next, in the panel on the right (inspector) find the item "Materials" and click on "+".

The created Materials are displayed in the Assets panel, where you can rename them.

Face Paint is the Materials mode that is best suited for creating face masks. To switch to this mode, click on the created Material in the Assets panel. In the drop-down menu of  inspector's "Shader Type" item, select "Face Paint".

Texture - image for the mask. To add an inspector in "Texture" item, select the file with the mask image, and then it appears on the face.

Working with the basics of Spark AR Studio seemed easy, so I plan to continue studying and make posts on this topic.

Have you worked in this program before?

Недавно я начала изучение Spark AR Studio и хочу рассказывать о своем опыте работы с этой программой. Я надеюсь, что это поможет тем, кто, как и я, заинтересовался AR и захотел создать свою маску в Instagram. 

Скачивание и минимальные требования программы

Для работы необходимо скачать программу на официальном сайте. 

Минимальные системные требования к установке программы: 

Операционная система: Windows 10 (64 bit) либо MacOS 10.14+. 

Процессор: Начиная с Intel Core i3 2.5Ghz, либо AMD Bulldozer/Jaguar/Puma/Zen с SSE4.1 instruction set. 

Оперативная память: 4GB. 

Дисплей: Screen resolution of 1280×768 or higher. 

Графика: Intel HD Graphics 4000 / Nvidia GeForce 710 / AMD Radeon HD 6450 и выше. 

Обзор интерфейса

Открыв программу, первое, что мы видим - примеры масок, которые можно открыть, посмотреть и отредактировать.

К этому вы сможете вернуться позже, а пока мы создадим новый проект с помощью кнопки Create Project и перейдем к основному интерфейсу Spark AR Studio. Он состоит из трех областей:

1. В левой части важные панели Scene, Layers и Assets. Здесь создается структура маски.
2. В центре — общий вид, сцена. На ней показываются все изменения и эффекты. Справа вверху расположен маленький экран телефона, который также демонстрирует, как выглядит маска на лице или в пространстве в текущий момент. Модель телефона и вид можно изменять. В Spark AR встроено несколько зацикленных видео с лицами людей, чтобы было проще примерять свою маску, также можно примерить маску на свое лицо, подключив веб-камеру. Переключение между лицами (а также веб-камерой компьютера) происходит с помощью кнопки Video на панели в левом краю экрана.
3. В правой части располагается панель, на которой можно редактировать текстуры, объекты, делать пластику с помощью изменения различных свойств.

На официальном сайте есть уроки на английском языке. Я уже успела ознакомиться с основными понятиями, без которых создание масок невозможно, и хочу поделиться ими с вами.

Face Tracker определяет позицию и ориентацию лица человека, использующего маску. Это основа любого эффекта, который появляется на лице. Чтобы добавить его на экран на панели Scene нажмите на кнопку "Add Object", найдите в списке пункт "Face Tracker", выберите его и нажмите "Insert". На панели появится faceTracker0. В области, на которой видно сцену, появятся осит координат с центром в центре лица.

Face Mesh - это 3D модель, которая реагирует на изменение выражения лица, отслеживаемого Face Tracker. Именно ее вы будете изменять с помощью materials, создавая маску. Чтобы добавить face mesh кликните правой кнопкой мыши на faceTracker0  на панели Scene и выберите "Face Mesh".

Для Face Tracker и Face Mesh работает принцип родительского и дочернего элементов, т.е. все изменения родительского элемента применяются к дочернему. Чтобы посмотреть все дочерние элементы face tracker кликни на стрелочку слева на панели Scene.

Materials - это те изменения, которые вносятся в Face Mesh. Чтобы добавить Material выберите "Face Mesh" на панели Scene. Далее в панели справа (инспектор) найдите пункт "Materials" и нажмите на "+". 

Созданные Materials отображаются на панели Assets, там же их можно переименовывать.

Face Paint - режим Materials, который лучше всего подходит для создания масок на лице. Для перехода в этот режим кликните по созданному Material на панели Assets. В выпадающем меню пункта "Shader Type" инспектора выберите "Face Paint".

Texture - изображение для маски. Для добавления в пункте Texture инспектора выберите файл с изображением маски, после чего она появится на лице. 

Работа с основами Spark AR Studio показалась несложной, поэтому я планирую продолжать изучение и делать посты на эту тематику. 

А вы уже работали в этой программе?