재난재해대응 특수목적기계의 운전 교육을 위한 실감 시뮬레이터 개발

1. 서 론

지진이나 지반 붕괴, 태풍, 홍수 등의 자연재해와 건물 붕괴 등의 사고 시, 인명 구출을 위한 초동대응이 중요하다. 매몰된 인명을 구출하기 위해 붕괴 잔해물을 빠르고 안전하게 처리해야 하는데 현재 붕괴 잔해물 처리에 활용되고 있는 굴삭기는 재난 환경과 같은 비정형 환경에서 다양한 작업을 수행하기 어렵다.^1,10) 이러한 문제를 해결하기 위해 재난대응용 기계가 개발되고 있으며, HITACHI社의 ASTACO, Tmusk社의 T-52가 대표적인 예이다.^2,3) 그리고 국내에서도 재난 대응을 위한 특수목적기계를 개발하고 있는 상황이다.^4,5,9)

Fig. 1은 국내에서 개발된 특수목적기계의 3D 모델이다. 다기능어태치먼트를 가진 7-DOF(Degree of freedom) 양팔 작업기와 자세 제어가 가능한 4-DOF의 네 다리를 가진 하부체로 구성되고 각 다리는 독립적으로 구동되는 크롤러가 장착되었다. 특수목적기계의 주요 목표 작업은 파쇄, 절단, 옮기기 작업으로 7-DOF를 가진 양팔을 기존 중장비와 같이 단순 레버로 조작하기에는 한계가 있다. 특수목적기계는 캐빈 내에 위치한 상지 웨어러블 형태의 스마트 조작기로 탑승자의 직감적인 양팔 움직임으로 작업기를 조작할 수 있게 개발되어졌다.^5,6)

Fig. 1

3D model of disaster-responding special purpose machines

특수목적기계는 기존의 건설 기계와는 다른 새로운 개념의 기계로 실제 장비에서 운전 교육 훈련을 수행하기 전에 3D 가상 환경 기반의 실감형 시뮬레이터에서 사전 교육을 하는 것이 안전하고 효과적이다. 기존의 운전 교육 훈련을 위한 실감형 시뮬레이터는 가상환경 기반의 몰입형 가시화 기술, 가상 환경과 상호작용을 위한 인터렉션 기술, 모션 플랫폼 기술을 기반으로 개발되었으며, 자동차 운전 교육, 해상, 항공, 레저, 국방 등 다양한 응용 분야에서 교육 훈련 대상 기기에 특화하여 개발되었다.⁷⁾ 또한 특수목적기계의 운전 교육 시뮬레이터도 마찬가지로 관련 기술을 기반으로 기기에 특화하여 개발할 필요가 있다. 따라서 본 논문은 특수목적기계의 운전 교육을 안전하고 효과적인 방법으로 수행하기 위한 가상 재난환경 기반의 실감형 시뮬레이터를 제안한다.

먼저 특수목적기계의 주행 연습 및 주요 목표 작업인 파쇄, 절단, 옮기기 작업의 훈련을 위한 운전 교육 시나리오를 제안한다. 이에 따라 주요 목표 작업을 구사하기 위한 다이내믹 객체를 포함하는 가상 재난환경을 제안한다. 그리고 중력보상메커니즘 기반의 경량형 모션 플랫폼, 특수목적기계의 스마트 조작기 및 좌석으로 구성된 시뮬레이터의 하드웨어를 제안한다. 마지막으로 제안하는 특수목적기계의 운전 교육 시뮬레이터의 효과를 검증하기 위해 재난 대응 전문가를 대상으로 적용 테스트를 수행하였다.

2. 가상 재난 환경 대응 교육 콘텐츠

2.1 특수목적기계 운전교육 시나리오

특수목적기계의 운전 교육에 재미와 흥미를 유도하며 학습 효과를 전달하기 위해 단계적으로 미션을 수행하며 진행하는 시나리오를 제안한다.

제안하는 시나리오는 Fig. 2와 같이 작업 튜토리얼과 주행 시나리오, 작업 시나리오로 구성하였다. 작업 튜토리얼은 특수목적기계의 인터페이스를 통해 기본적인 동작을 습득할 수 있게 구성하였다. 스마트 조작기와 패달을 통해 특수목적기계의 기본 주행 기능을 습득할 수 있는 전진, 후진, 방향 전환, S자 주행으로 이루어진 평지 주행 미션과 양팔 작업기의 주요 작업인 자르기, 파쇄, 옮기기 작업을 습득할 수 있는 기초 작업 미션으로 구성하였다.

Fig. 2

Training scenario for disaster-responding special purpose machines

주행 시나리오는 재난환경 내에서 평지, 험지, 경사도, 단차 구간 및 장애물을 극복하며 목적지에 도달하는 험지 극복 주행 미션을 통해 주행 기능을 습득할 수 있게 하였다.

작업 시나리오는 붕괴 잔해물을 파쇄, 절단, 옮기기 작업을 통해 인명을 구출하는 미션으로 구성하였다. 이를 통해 교육자가 단계적으로 미션을 완료하면서 재미와 흥미를 느껴가며 자연스럽게 특수목적기계의 운전이 숙달되도록 유도하였다. 각 미션은 작업 경과 시간, 정지 위치 준수, 주변 객체와의 동체 충돌, 어태치먼트의 조작 횟수를 카운트하여 교육 종료 시에 결과를 출력하여 조작에 대한 숙련도를 평가할 수 있도록 하였다.

2.2 가상 재난 환경 구현

특수목적기계를 위한 운전 교육 시나리오의 구현을 위해 백화점 붕괴 사고 현장을 3D 모델로 재현하였다. Fig. 3은 재현한 가상 재난환경 3D 모델로 가상 환경의 현존감을 높이기 위해 붕괴 현장을 사실적으로 표현한 것을 볼 수 있다.

Fig. 3

Virtual disaster environment

가상 물리 환경 제작 도구인 Unity 3D를 사용하여 3D 가상 물리 환경을 구축하였다. 목표 기능인 파쇄, 절단, 옮기기 작업의 사실적인 운전 교육을 위해 건물 붕괴 현장의 콘크리트 구조물, 철골, 기둥 등의 붕괴 잔해를 물리엔진 기반으로 동적(Dynamic) 객체로 구현하여 특수목적기계와 상호작용이 가능하게 하였다. 동적 객체를 이용하여 험지 주행 시의 주행로 확보 및 매몰자 구출을 위한 시나리오의 미션을 구현하였다.

3. 실감형 시뮬레이터 플랫폼 개발

특수목적기계의 운전 교육 콘텐츠를 적용하기 위한 시뮬레이터의 하드웨어 구성은 그림 Fig. 4와 같다. HMD를 기반으로 시뮬레이터 탑승자가 실제 특수목적기계에 탑승한 것과 같은 시야를 구현하여 현실감을 높였다.

Fig. 4

Simulator system for special purpose machine

효율적인 운전 교육을 위해 특수목적기계에 탑재된 좌석, 스마트 조작기 및 풋 페달과 동일한 하드웨어를 시뮬레이터에 적용하였다. 스마트 조작기는 손목관절 3-DOF를 포함하여 총 7-DOF를 가진다.⁶⁾ 스마트 조작기의 순기구학(Forward kinematics)을 통해 스마트 조작기의 끝 지점의 위치와 자세를 구하고, 이를 특수목적기계에 맞게 스케일링한 후 특수목적기계의 7축 작업기의 역기구학(Inverse kinematics) 알고리즘을 통해 특수목적기계의 각 관절각을 도출한다. 각 관절각은 가상환경상의 특수목적기계의 관절각에 전달되어, 탑승자의 팔 동작에 따라 특수목적기계 양팔 작업기를 직감적으로 조작할 수 있게 하였다. 그리고 Fig. 4와 같이 풋 페달을 밟는 양으로 특수목적기계의 주행 속도와 회전 속도를 결정하여 가상환경 상의 특수목적기계를 구동한다. 이때 환경에 따라 바뀌는 특수목적기계의 높이와 자세각을 모션 플랫폼에 전달하여 모션 플랫폼을 구동한다.

모션 플랫폼의 사양은 Table 1과 같으며, 모션 플랫폼은 3자유도 병렬 메커니즘과 Yaw 방향의 회전부로 구성되어 있다. Roll, Pitch, Yaw 및 수직 방향의 모션을 지원하고 Yaw는 슬립링을 적용하여 무한회전이 가능하다. Yaw의 무한회전은 가상환경 내의 특수목적기계의 방향을 모션 플랫폼에 그대로 반영할 수 있기 때문에 현존감을 증대시킬 수 있다. 중력 방향에 대한 움직임의 목표 가속도는 중력가속도와 같은 1G로 불규칙한 지면에 대한 충격과 낙하 효과를 체감할 수 있도록 하였다.⁸⁾

Table 1

Specifications of motion platform8)

모션 플랫폼은 Fig. 5와 같이 병렬 메커니즘 중앙에 하중 보상 메커니즘을 고안하였다. 상부체 무게(W)를 극복하기 위한 수직 방향에 대한 필요 힘(F_s)은 식 (1)과 같다.

Fig. 5

Motion platform with load compensation mechanism

여기서, K_s는 스프링 상수, δ는 스프링 압축 변위를 나타낸다. 스프링력에 의해 모터 링크 시스템의 필요 힘을 낮출 수 있으므로 모터의 토크 사양을 낮출 수 있다. 이를 통해 모션 시뮬레이터를 경량화하고 단상 220 V에서 구동되게 하였다.⁸⁾

Fig. 6은 특수목적기계의 운전교육을 위한 실감형 시뮬레이터 플랫폼과 교육 콘텐츠의 연동 결과를 나타내고 있다. 시뮬레이터 상의 특수목적기계의 자세가 모션 플랫폼을 통해 재현되는 것을 확인하였고 HMD의 시야가 3D 가상환경 상의 운전자 시야와 일치됨을 확인하였다. 특수목적기계의 양팔 작업기를 웨어러블 형태의 스마트 조작기로 직감적으로 조작하여 Fig. 6과 같이 시나리오 상의 절단, 파쇄, 옮기기 작업이 가능함을 확인하였다. 그리고 작업 경과 시간, 정지 위치 준수, 주변 객체와의 동체 충돌, 어태치먼트의 조작 횟수를 카운트하여 교육 종료 시에 결과가 Fig. 7과 같이 출력됨을 확인하여 실감형 시뮬레이터와 교육 콘텐츠가 정상적으로 구동함을 확인하였다.

Fig. 6

Operation test of the simulator system for special purpose machine

Fig. 7

Result of the driving training test

4. 운전교육 시뮬레이터 적용 테스트

본 논문에서 제안하는 특수목적기계의 운전교육 시뮬레이터에 대한 효과를 검증하기 위하여 6명의 재난대응 전문가를 대상으로 특수목적기계 운전 교육 시뮬레이터의 적용 테스트를 Fig. 8과 같이 수행하였다.

Fig. 8

Driving training test against disaster response specialists

테스트는 안내 단계, 시뮬레이터 체험 단계, 설문지 작성단계로 총 3단계로 진행하였다. 시뮬레이터 체험은 개인별 조작 능력에 따라 약 10~20분 동안 수행하였다. 테스트를 수행한 후에 10분 동안의 휴식을 취한 후 설문 조사를 수행하였다. 설문지는 가상 재난환경의 현실감, 실제 장비에 탑승한 듯한 현존감, 교육을 통한 특수목적기계 이해도, 교육의 만족도, 교육의 효과, 교육의 난이도에 대해 총 6문항으로 구성하였다.

시뮬레이터 체험에 대한 설문 결과는 Fig. 9와 같다. 설문 결과에 따르면 교육에 대한 현실감에 대해서 100%의 긍정으로 평가되었고, 현존감도 마찬가지로 100%의 긍정으로 평가되어 가상 환경 콘텐츠 및 하드웨어에 대해 긍정적으로 평가되었다. 그리고 특수목적기계에 대한 이해도, 교육의 만족도 및 효과에 대하여 긍정적으로 평가하여 본 논문에서 제안하는 특수목적기계 운전 교육 시뮬레이터의 적용 가능성을 확인하였다. 설문 대상 인원의 33%가 난이도가 높은 것으로 평가하였는데, 이러한 결과는 대상자들이 운전에 대한 숙련도가 낮기 때문인 것으로 파악되었으며, 이러한 문제는 향후 운전 교육 시뮬레이터의 높은 교육 효과로 숙련도를 높일 수 있을 것으로 기대되어진다.

Fig. 9

Questionnaire results by disaster response specialists

5. 결 론

재난 환경과 같은 비정형 환경에서 붕괴 잔해물을 빠르고 안전하게 처리하기 위해 개발된 특수목적기계는 기존의 건설 기계와는 다른 새로운 개념의 기계로 조작 훈련을 위한 교육용 시뮬레이터의 필요성이 제기된다. 본 논문에서는 특수목적기계의 운전 교육을 위한 가상재난환경 및 운전 교육 콘텐츠를 제안하고 HMD와 모션 플랫폼을 포함한 실감 시뮬레이터를 제안하였다. 모션 플랫폼은 특수목적기계에 탑재된 좌석, 스마트 조작기 및 풋 페달과 동일한 하드웨어를 적용하고 하중 보상 메커니즘을 적용하였다.

본 논문에서 제안하는 특수목적기계의 운전 교육 시뮬레이터에 대한 효과를 검증하기 위하여 재난 대응 전문가를 대상으로 특수목적기계 운전 교육 시뮬레이터의 적용 테스트 후 설문 조사를 수행하였다. 테스트 결과, 본 논문에서 제안하는 시뮬레이터가 특수목적기계 운전 교육에 긍정적으로 평가가 되어 특수목적기계의 운전 교육에 도입될 가능성을 제시하였다.

Acknowledgments

본 논문은 행정안전부 재난안전산업육성지원 사업의 지원을 받아 수행된 연구(과제번호: 20010079) 및 산업통상자원부의 재원으로 산업핵심기술개발사업의 지원을 받아 수행되었습니다. (10053028, 재난 재해 대응 특수목적기계 표준화 및 시험평가기술 개발)

References

• S. S. Oh, J. H. Ham. H. J. Jang, S. Y. Lee and J. H. Suh, 2017, "A Study on the Disaster Response Scenarios using Robot Technology", In Proceedings of URAI 2017, pp. 520-523.
• A. Ishii, 2006, "Operating System of a Double-Front Work Machine for Simultaneous Operation", In Proceedings of Int. Symp. Automation and Robotics in Construction, pp. 539-542. [https://doi.org/10.22260/ISARC2006/0101]
• T. Nishida, S. Kurogi, K. Yamanaka, W. Kogushi and Y. Arimura, 2007, "Development of Pilot Assistance System with Stereo Vision for Robot Manipulation", Intech Open Access Publisher, pp. 287-302. [https://doi.org/10.5772/6149]
• J. S. Cho, S. S. Park, J. T. Kim, B. Y. Park, J. H. Bae, D. H. Lee, G. Y. Lee, Y. H. Jin and S. D. Park, 2016, "Design of Dual Arm Manipulator for a Disaster-Responding Special Purpose Machinery", Journal of Drive and Control, Vol. 13, No. 4, pp. 95-101.
• H. G. Kim, Y. H. Choi, J. W. Park, H. J. Lee, J. H. Hwang and Y. S. Lee, 2019, "Test Scenario in Simulatored Desaster Environment for Performance Evaluation of a Disaster-Responding Special Purpose Machinery", In Proceeding of KSFC 2019, pp. 35-36.
• B. K. Lee, S. C. Lee and C. S. Han, 2020, "Development for an Exoskeleton-Type of Master Device to Improve Operation Convenience", Thesis for the Doctor of Philosophy, Hanyang University.
• J. H. Youn, C. Y. Oh and H. S. Choi, 2016, "Education for Boat Operator’s License Test using Tangible Simulator and Smart Evaluation System", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, pp. 111-120. [https://doi.org/10.14257/AJMAHS.2016.03.39]
• B. K. Lee and C. S. Han, 2020, "Design of a 7-DOF Upper-Limb Exoskeleton Robot based on Performance Index", Journal of the Korean Society for Precision Engineering, Vol. 37, No. 9, pp. 653-658. [https://doi.org/10.7736/JKSPE.020.022]
• J. W. Lee, G. D. Bae, Y. H. Choi, Y. B. Kim and J. H. Suh, 2019, "A Basic Study on Robot Position Estimation in Indoor Environment using Deep Nerual Network based on the Gamera and LiDAR Sensors", Journal of the Korean Society for Power System Engineering, Vo.23, No. 4, pp. 49-54. [https://doi.org/10.9726/kspse.2019.23.4.049]
• M. Jun, K. H. Seo and J. H. Suh, 2019, "Research Trends on Disaster Response Robots", Journal of the Korean Society for Precision Engineering, Vol. 36, No. 4, pp. 331-337. [https://doi.org/10.7736/KSPE.2019.36.4.331]