산업 현장의 이해와 기술이 녹아 있는 솔루션, AR Guidance

 증강현실(AR)의 본질은 눈으로 보는 현실의 모습에 가상의 디지털 콘텐츠를 겹쳐 보여줌으로써 쉽게 이해를 돕고 빠르게 커뮤니케이션 할 수 있도록 도와주는 데에 있습니다. 본 아티클은 증강현실의 본질을 글로벌 업계 최초로 건설기계 장비 유지에 도입한 HD현대인프라코어의 AR 가이던스를 소개합니다. 

 AR 가이던스는 복잡한 건설 장비의 고장이 발생하였을 때 장비의 고장 위치를 이해하기 쉽도록 3D 모델링을  증강현실을 통해 제공합니다. 바닥에 오브젝트 형상을 불러오는 바닥 증강 방식을 통해 장비의 형상 정보 및 고장진단 정보를 확인할 수 있으며, 앱 형태로 제공되는 콘텐츠는 모바일, 태블릿 등의 기기로 사용이 가능합니다. 산업현장의 이해와 기술이 녹아있는, 고객들의 니즈에 맞춰있는 건설 기계 업계에서 상용화된 최초의 솔루션입니다. 

HD현대인프라코어의 Global Product Support팀이 문제 해결을 위해 어떻게 유니티를 활용했는지 살펴보세요. 

  HD현대인프라코어의 딜러 서비스 인원

건설 장비 사용자, 딜러¹⁾ 그리고 딜러 서비스 인원²⁾에게 모두 필요한 솔루션을 향한 고민

2019년 장비를 소유한 고객을 대상으로 인터뷰를 진행하면서 저희 장비를 사용하면서 필요한 것들과 불만 사항들을 수집하였습니다. 수집된 고객의 니즈를 빠르게 충족할 수 있는 방법을 찾기 위해 서비스 부문에서는 IT를 결합한 다양한 서비스 솔루션을 기획하였습니다. 그 중 하나가 장비의 정보를 고객이 쉽게 파악하게 할 수 있게 3D 모델링을 원하는 장소에 불러올 수 있는 증강현실(AR) 을 사용하는 것이었습니다.

3D 모델링과 함께 어떤 컨텐츠를 고객에게 제공하면 좋을지 고민을 하다가 고장진단가이드(Troubleshooting guide)의 내용과 모델링을 결합한 콘텐츠를 제작하게 되었습니다. 이 콘텐츠로 사용자는 장비의 기본 형상 정보부터 고장이 발생하였을 때 어떤 절차를 통해 고장진단을 하여야 하는지에 대한 가이드를 습득할 수 있습니다.

1) 딜러 – 딜러사를 지칭하는 말로 장비 판매 및 유지보수 계약을 맺은 회사(해당 지역) 

2) 딜러 서비스 인원 – 딜러사에서 보유하고 있는 장비 서비스 담당 인원

직면했던 문제

 건설 기계의 내부는 복잡한 와이어와 유압 호스, 파이프 라인으로 이루어져 있어 내부 정보를 파악하기 쉽지 않아 고장 위치를 파악하는 데 많은 시간이 소요됩니다. 본사의 전문가의 경우, 장비 3D 모델링을 통해 장비의 내부와 부품 정보를 쉽게 파악할 수 있는 반면, 딜러 혹은 딜러 서비스 인원 은 제한된 접근으로 정보 활용이 어려웠습니다. 

 예를 들면, 저희 장비에는 크게 유압, 전장 시스템 회로도, 엔진의 구성도가 있습니다.  딜러 서비스 인원이 장비의 구조와 로직을 파악하기 위해 .dwg 기반의 시스템 회로도를 확인하는데, 이 회로도 구조를 통해 로직을 파악해도 실제 장비에서 주요 부품의 위치를 찾아내는 데에는 많은 시간이 소요됩니다. 숙련되지 않은 딜러 서비스 인원은 더욱 많은 시간을 할애하게 됩니다.

 
 딜러는 딜러 서비스 인원이 빠르게 업무에 투입하고 서비스를 전문적으로 제공할 수 있는 수단이 필요했고 딜러 서비스 인원은 기존 텍스트 기반의 서비스 머티리얼보다 더욱 직관적으로 장비 정보를 이해할 수 있는 콘텐츠 제공이 필요했습니다. 이를 위해서는 제공된 정형화 된 정보보다는 쉽게 체득할 수 있는 직접적인 제어를 통해 사용자가 원하는 정보를 얻을 수 있는 솔루션이 필요하다고 판단하였습니다. 

 이러한 현장의 어려움을 바탕으로, 주요 부품의 위치 표시, 부품의 상세 정보로 이어지는 기능 등 기본적인 요소에 대한 콘텐츠에 대한 니즈를 AR 가이던스를 시범 운영기간 동안 확인할 수 있었습니다.

Unity를 통해 만난 기술과 건설기계

 시작할 당시 증강현실을 활용한 게임으로는 대중적이고 다양한 게임이 많았으나 건설기계 시장에서는 유니티를 도입한 사례는 많지 않았습니다. 다만 점차 유니티에 대해 알아갈수록 전세계에 많은 유니티 크리에이터가 있고, 그들이 제공하는 정보와 유니티에서 제공하는 튜토리얼, 매뉴얼 등 다양한 머티리얼을 통해 쉽게 시작할 수 있다고 판단했습니다. 

 게임 혹은 다른 다양한 비게임 분야에서의 유니티 활용 사례를 많이 참고하며 타 산업에서도 활발하게 사용되고 있는 유니티의 기술을 건설기계 산업에서도 활용할 수 있다는 판단을 내렸습니다. 

AR Guidance 구성 요소

 AR 가이던스는 크게 증강 방식의 사용 유/무에 따라 가이던스와 3D 모델뷰어라는 두 가지 모듈로 구성되어 있습니다.

가이던스

 
 AR Guidance 사용 이미지

 가이던스는 장비의 3D모델링을 보여주며 증강기술을 통해 장비 고장진단을 위한 가이드를 사용자에게 제공합니다. 세 가지 콘텐츠를 통해 사용자가 직접 장비의 고장을 확인하고 해결할 수 있습니다. 

• 센서 시그널 모니터링 (Sensor Signal Monitoring) - 장비 상태 파악
• 고장 진단 (Troubleshooting) - 오류 코드 (Fault code)가 발생한 하자 현상에 대해 원인 및 고장진단 가이드 제공
• 시운전 기준 가이드(Performance Test) - 고장진단 및 장비 수리 이후 장비가 올바르게 수리가 되었을 때 올바른 장비 성능이 나오는지를 측정하기 위한 가이드를 제공하고 성능값을 입력 및 전송

3D 모델뷰어

AR 기술을 사용하지 않는 3D모델 뷰어는 더 가볍게 3D 모델링을 컨트롤하고 이 후 단계에서 시스템 회로도와 각 부품의 연관을 지으면서 많은 정보를 부여하자는 의도에서 시작했습니다. 이를 통해 서비스를 처음 시작하는 사람도 장비를 쉽고 편리한 방법으로 이해하는 것을 목표로 했습니다. 

개발의 시작과 문제의 해결

 이 프로젝트는 콘텐츠 내용을 정리하여 제공하는 것으로 시작됐습니다. 다만 산업 전반의 기술에 대한 경험을 바탕으로 어떠한 콘텐츠를 제공하여 사용자의 니즈를 풀어나가야 할 지는 파악이 됐지만 유니티를 통해 어떻게 구현할 수 있는 지, 어떤 기능을 활용할 수 있을 지에 대한 사전 지식은 부족했습니다. 이 부분은 초기부터 함께 프로젝트를 시작하고 진행해 온 기술원의 담당자와 개발 인원들이 많은 지원을 해주었고, 유니티에서 제공하는 여러 교육 프로그램과 경기도 콘텐츠 진흥원에서 제공하는 교육을 통해 부족한 부분의 갭을 줄여나갈 수 있었습니다. 

데이터 매니지먼트

 
Sensor Signal Monitoring 구동 이미지

 센서 시그널 모니터링 시스템을 구현할 때에는 3D 모델링 상에서 위치와 상태 값을 보여주기 위해서는 장비로부터 너무 많은 데이터를 불러와 충돌을 일으킬 수 있어 데이터의 분류와 선택이 필요했습니다. 

 각 기종별로 데이터를 하나씩 확인해가며, 증강된 3D 모델링과 연결을 할 데이터와 그렇지 않은 것들을 구분하는 것은 어려운 작업이었습니다. 또한 윈도우 기반의 진단 프로그램의 모델을 가져와 모바일 앱 형태로 변환을 하며 장비 상태 신호를 받아오는 연결을 하는 과정에서 발생하는 오류들을 수정하는데 시간이 많이 들었습니다. 장비 진단 프로그램이 윈도우로만 개발이 되어서 모바일 기반의 진단 프로그램에 대한 니즈는 지속적으로 발생했습니다. AR 가이던스에서 윈도우 기반의 진단 프로그램의 일부 기능인 센서 시그널 모니터링을 가져와 증강 시킨 장비의 3D 모델링과 함께 보여 준다면 장비 상태 정보를 명확하게 사용자에게 제공할 수 있다고 생각했습니다.

우선 3D PDM(Product Data Management)로부터 가져온 3D 모델링 데이터 중 장비 정보를 전달할 수 있는 최소한의 구성을 제외하고 삭제했습니다. 또한 콘텐츠를 구조화함으로써 각 콘텐츠에서 불러오는 중복된 데이터의 용량을 줄여나갔고 이 부분에 큰 공을 들였습니다. 

고장 진단

 
Trouble Shooting Guide 구동 이미지

오류 코드(Fault code) 발생에 따라 커넥터 PIN 번호, 색상, 흐름도 등 세세한 정보를 제공하며 와이어와 커넥터 형상과 함께 3D 모델링 증강을 통해 고장 진단을 제공하는 Troubleshooting 콘텐츠는 AR 가이던스의 메인이 되는 콘텐츠입니다. 이 콘텐츠가 개발이 됨으로써 오류 코드에 대한 와이어 배선 고장진단에 대한 콘텐츠 기준이 수립되었습니다.  

거친 현장에서 진행하는 안정적인 성능 검사

 
 Performance Test 구동 이미지

 건설 기계는 주로 척박한 작업환경에서 작동을 합니다. 이런 환경에서 모바일 디바이스를 기반으로 AR 기술을 활용하는 것이기 때문에 3D 모델링이 안정적으로 증강이 되어 장비 정보를 확인할 수 있게 하기 위해 신경을 썼습니다. 또한 원소스 멀티유즈를 통해 비교적 적은 용량으로도 콘텐츠를 구성하여 데이터 다운로드 속도나 실행 속도를 빠르게 하는 것을 목표로 두었습니다.

 특히 수리 완료 후 정확한 검증을 위해서 장비의 모든 동작에서 성능 검사를 실행해보아야 합니다. 성능 검사의 경우 정확한 데이터 추출을 위해 성능 검사 조건과 절차를 준수해야 합니다. 다만 텍스트 기반으로 제공이 되는 시험 운전 기준은 이러한 성능 검사 조건과 절차를 가이드하기에는 다소 명확하지 않은 부분이 있습니다. 또한 날씨, 작업자의 컨트롤 방식 등 정확한 데이터를 추출하기 어렵게 만드는 변수가 많습니다. 따라서 3D 모델링을 통해 각 단계별로 시험 조건과 절차를 따라가며 성능 검사를 할 수 있도록 가이드를 제공하여 올바른 장비 성능 데이터를 받을 수 있는 콘텐츠를 제공하였습니다. 

AR Guidance 도입 후 달라진 것들

긍정적인 사용자 반응

 AR 가이던스의 경우, 사용자의 편의성과 콘텐츠 생성의 안정성을 가장 우선 시 하였습니다. 사용자가 쉽고 편리하게 장비 정보를 얻을 수 있도록 복잡하지 않은 구조를 선택하고, 사용자의 국가와 사용 환경에 맞춰 안정적으로 앱을 사용할 수 있도록 용량을 최소화하였습니다. 

 그 결과 유럽 서비스 인원을 대상으로 AR 가이던스 베타버전을 런칭하였을 때 많은 호평을 받으며 가치 있는 피드백도 많이 받을 수 있었습니다. 실제로 주요 부품 정보에 대한 콘텐츠 구현을 요청받았으며, 이 요청은 추후 3D 모델 뷰어 콘텐츠를 개발하는 초석이 되었습니다. 

 다만 피드백 수집 과정에서 다양한 국가를 대상으로 피드백을 받다 보니 피드백 간의 상충되는 사항들이 발생하거나 개발 의도를 벗어난 내용의 요구사항도 있었습니다. 이런 대립되는 의견과 개발 시 고려했던 사항에서 벗어난 피드백에 대해 무조건 배제하기 보다는 개발 의도와 반영할 수 없는 사유에 대해 설명하려고 노력하였습니다. 메일로 설명하기 보다는 가급적 딜러/딜러 서비스 워크샵이나 출장 방문을 통해 직접 설명을 하여 이해를 도왔고, 이 과정에서 또 다른 유의미한 아이디어나 피드백을 수집할 수 있었습니다. 

건설기계 제조 회사를 보는 새로운 시각

 AR 가이던스는 건설기계 기술 지원 서비스에 대한 인식이 달라지는데 일조하였습니다. HD현대인프라코어에서는 기존의 서비스의 형태에서 벗어나 디지털이 활용된 다양한 서비스를 제공하고 프리미엄 서비스 전략으로 기술지원을 진행하고 있습니다. AR가이던스 솔루션을 통해 보다 혁신적인 디지털 서비스를 제공해 고객 만족도를 높였으며, 기업 이미지 제고에도 도움이 되고 있습니다.

효율적인 문제 해결

 문서 기반의 서비스 가이드에 의존했던 것과 달리 AR 가이던스를 활용하여 장비의 고장 정보를 좀 더 쉽고 명확하게 파악하고 고장 가이드를 확인할 수 있어 딜러 서비스 인원의 서비스 소요 시간을 단축하였으며, 딜러 서비스가 직접 해결하지 못하는 문제에 본사 서비스가 지원을 하는 경우에도 딜러 서비스에게 AR 가이던스를 통해 제공된 정보로 인해 장비 고장 정보에 대한 소통 시간이 단축이 되는 효과를 보았습니다.

향후 AR 가이던스의 미래 

 첫 번째 목표는 글로벌 서비스 인원의 사용률을 80% 이상으로 끌어올리는 것입니다. 현재 글로벌에서 판매하고 있는 장비를 모두 구현하지 않았기 때문에 사용률 증대를 위해서는 구현된 대상 장비의 확대가 가장 먼저 이루어져야 합니다. 글로벌 서비스 인원의 만족도를 더 끌어올리기 위해 서비스 리드 타임을 지표화하여 소통 시간을 얼마나 감소했고 빠르게 사용자를 만족시켰는 지 확인하는 것도 하나의 목표입니다. 

 두 번째로는 기본적인 모바일 환경을 벗어나 AR 글래스를 적용하는 것입니다. 개발 시작 당시 가장 쉽게 인터랙션이 가능한 디바이스가 모바일이었기에 모바일부터 적용하기 시작하였습니다. AR 가이던스 공급의 최종 목표는 AR 글래스 적용이고 이 목표 달성을 위해 지금도 시중에 출시된 여러 디바이스에 AR 가이던스 솔루션을 적용해보고 있습니다. 

 세 번째로는 AR 기반으로 장비의 고장진단 정비에 대한 콘텐츠를 개발을 지속적으로 하면서 VR 기반으로도 콘텐츠를 개발할 예정에 있습니다. 

 현업에서는 장비의 고장을 기준으로 사전 서비스와 사후 서비스라는 개념이 있습니다. 이 두 가지 서비스 영역에 맞춰, 사전 서비스에서 VR을 활용하여 장비 주기 점검과 올바른 장비 작동을 가이드할 수 있는 VR 솔루션을 제공할 예정입니다. 또한 사후 서비스에서도 장비 주기 점검과 장비의 올바른 작동을 가이드할 수 있는 VR 솔루션을 제공하고자 합니다. 

 사후 서비스에는 AR 가이던스를 활용하여 장비의 고장진단 가이드를 제공하여 서비스 시간을 줄여 장비 업타임을 증대하는 계획을 가지고 있습니다. 이에 따라 AR 가이던스는 기존의 모바일로 제공하는 형태가 아닌 AR글래스를 활용하여 양손을 자유롭게 하여 정비를 하면서 활용할 수 있는 형태로 제공을 할 것입니다.

 이 과정에서 유니티의 역할이 중요하다고 느껴집니다. 유니티 코리아를 통해 문제를 해결하거나 많은 유니티 크리에이터 커뮤니티를 통해 기존 개발 사례를 참고하는 등, 문제에 직면했을 때 다양한 소통을 통해 해결할 수 있었습니다. 마케팅에서 제공하는 백서, 튜토리얼, 웨비나 등 다양한 유니티 솔루션이 여러 방식으로 유니티 크리에이터에게 제공되기 때문에 간편한 방법으로 정보를 습득할 수 있어 앞으로가 기대됩니다. 또한 메이드 위드 유니티 코리아 어워드 2023의 Best Simulation 부문에 AR 가이던스가 노미네이트 된 것에 대해 팀 모두가 기쁘게 생각하고 있습니다. 다음에 기회가 있다면 다른 유니티 크리에이터와 현장에서 많은 소통을 할 수 있을 것을 기대하고 있습니다. 

 AR 가이던스는 HD현대인프라코어와 같이 발전하고 있습니다. 건설기계 장비는 배기규제에 따라 장비의 세대(generation)가 변화합니다. HD 현대인프라코어에서는 꾸준히 새로운 세대 장비를 개발 진행중에 있고, 이 장비를 대상으로도 AR 가이던스 콘텐츠 개발을 지속적으로 이루어질 예정입니다. 지속적인 개발을 통해 다음 세대(generation)는 도입 시작부터 AR 가이던스를 통해 고장진단 가이드를 함께 제공을 하여 활용도를 증대시킬 수 있다는 기대를 가지고 있습니다. 다양한 차세대 장비를 개발하고 있으며, 이 장비 또한 AR 가이던스에서 구현하여 관련 콘텐츠 개발을 지속적으로 이뤄나갈 예정입니다.