![The Korean Society for Power System Engineering](/images/basic/pubreader_back.gif)
AI 비전 적용을 통한 LED 중형 등명기의 광도 자동제어 연구
초록
항로표지는 해양 사고 예방과 선박의 안전한 항해를 지원하는 시설로, 야간에는 불빛으로 항로 정보를 제공해야 한다. 그러나 해무가 발생하면 등명기의 광도가 감소하고, 항로 표지의 역할이 제한된다. 해무를 측정하는 장비는 바다에 설치된 다리와 같이 사고가 잦은 지역에만 제한적으로 설치되어 있다. 그러나 최근에는 딥러닝을 기반으로 한 안개 제거 기술을 통해 간단한 장비로도 실시간 해무 농도를 감지하는 것이 가능해졌다. 본 연구에서는 프레넬 렌즈를 사용하지 않고 빛을 평행하게 만드는 원리인 포물선 반사체(parabolic reflector)를 도입한 등명기에 딥러닝 기술을 활용하여 해무를 측정하고, 측정된 해무 데이터를 활용하여 광도를 자동으로 조절할 수 있는 등명기를 연구하였다. 이를 위하여 FFA-NET 기반의 딥러닝을 이용하여 해무를 측정하여, 등명기의 광도조절에 응용하였다.
Abstract
Navigation aids, which what prevent navigational accident and secure safe sailing, must provide visual information by its lighting at night. However, sea fog reduces the luminous range of marine lanterns, which limits their functionality as navigation aids, the measurement instruments for sea fog detection have been installed in few site. Therefore, to enhance their visibility in various weather conditions, development of new LED marine lantern with self-controlling system is necessary. In this study, we applied deep learning methods in LED marine lantern with double reflecting structure, to design an advanced marine lantern capable of autonomously adjusting its brightness. The suitability of the advanced marine lantern was assessed using sea fog measurement technology developed by FFA-NET based on deep learning methods.
Keywords:
AI Vision, Marine Lantern, Navigation Aids, Fog Detector키워드:
AI 비전, 해상용 등명기, 항로표지, 안개감지기1. 서 론
항로표지는 해양사고를 예방하고 선박의 안전항해를 지원하는 시설이다. 형상표지는 등대, 등표, 도등, 등부표 등이 주간에는 형상과 도색으로, 나타낸다. 광파 표지는 야간에 불빛으로 항행 정보를 제공하는 지표이며, 항로표지의 요건을 충족해야 한다. 2022년 대한민국 해양경찰청의 통계에 따르면, 황사, 미세먼지, 비, 눈, 그리고 해무로 인해 해상 안전사고가 발생했다. 특히 해무는 사고의 중요한 원인으로 작용하여 등명기의 가시성을 저해한다. 지난 5년 동안 대한민국에서는 해무로 인한 선박 사고와 피해가 각각 2,478건과 437척이 발생하였으며, 사고 건수는 증가하고 있다.
현재, 딥러닝 기반의 안개 제거 깁법을 통해서 간단한 장비로도 실시간 해무 감지가 가능하다.1) 하지만 해상용 등명기는 주/야간에 따라 자동으로 켜고 끄며, 안개가 짙어지면 등명기가 동작한다. 짙은 해무 속에서는 무인 등대나 방파제 등명기의 광달 거리가 급격히 줄어들어 해상 교통 안전에 상당한 위험을 초래할 수 있다. 따라서 해무 상황에서도 센서를 통해 가시성을 보장할 수 있는 항로표지 시스템을 설치하는 것이 필수적이다. 현재의 해상 등명기는 제한된 배터리 전력을 소비하며 시각 범위에 관계 없이 동일한 광도를 유지한다.2) 다시 말해, 맑은 날에는 비효율적인 전력 손실이 발생하고 안개 날에는 맑은 날보다 더 낮은 가시성이 유지된다.
기존의 해상용 등명기는 빛을 평행하게 만들기 위해 프레넬 렌즈를 사용하고 있으며, 볼록렌즈를 정교하게 절삭하여 곡률을 제작하는 기술이 까다로워 제작비용이 상대적으로 높은 단점을 가지고 있다.3) 따라서 프레넬 렌즈를 사용하지 않고 평행 광을 만들 수 있는 포물선 반사체(parabolic reflector)의 원리를 도입하여 제작비용을 줄이고 적은 수의 LED 칩을 사용하여 에너지 효율이 우수한 등명기를 개발하였다.4) 해무 탐지 및 광도조절 기술을 중형 등명기에 적용시키기 위해 광학설계프로그램(Lighttools)을 이용하여 시뮬레이션을 진행하였다.
본 논문에서는 카메라 센서를 통해 해상 안개 이미지를 촬영하고, 임베디드 보드에서 기반으로 하는 딥러닝(Convolutional Neural Network, CNN) 기반 디헤이즈 기술(FFA-Net, Dehazenet)을 사용하여 안개 제거 이미지를 획득했다.5) 해상 안개 농도를 결정하기 위해 PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Measure)를 안개 제거 전후 이미지에 적용하여 수치 값을 도출하였다.6) 개발된 알고리즘과 임베디드 시스템을 사용하여 고유한 이중 반사판 구조를 갖춘 새로운 해상 등명기를 개발했다.7)
본 연구에서는 개발된 등명기의 자동 광도 조절 시스템을 대한민국 건설기술연구원 기상재현센터(KICTMREC)에서 테스트하였으며, 해상 안개 농도가 인위적으로 제어되어 시야 거리 및 해안 안개 레벨에 따른 밝기 제어를 확인하였다.
2. 광학설계 및 시뮬레이션
Fig. 1은 본 연구에서 사용된 이중반사형 등명기의 개념도이다. 이 그림에서는 포물선 반사판과 원뿔 반사판을 활용한 중형 LED 해상용 등명기의 광학 시스템을 설계하였다. 중형 LED 해상용 등명기의 광학 시스템은 포물선 반사판의 중심이 Z축을 향하도록 배치되어 있으며, LED 광원은 포물선 반사판의 초점에 위치하고 있다. 초점에서 발생한 빛은 포물선 반사판에 반사되어 빛이 Z축에 평행하게 진행하며, 광원 아래의 원뿔 반사판에 반사되어 빛이 Z축과 수직인 X-Y 평면을 따라 진행하여 평행광을 생성한다.4)
이 연구에서는 크기가 다른 3종류의 Cree사 LED 모델인 XLamp CMT2890, XLamp CMA2550, XLamp CMT1945를 사용하였으며, 광속은 모두 5,000 lm으로 일정하게 설정하였다. LED 칩의 PCB 크기를 48 mm로 고정시키고, 반사판의 직경을 200∼280 mm로 변화시켜 시뮬레이션을 진행했다. 중형 등명기 중 하나인 11 NM 등명기 기준에 따르면, 광도는 3,040 cd 이상이어야 하며 배광각은 ±1.5∼±8°를 만족해야 한다.8)
Fig. 2는 LED 크기에 따른 배광각 및 광도이다. Fig. 2에서 LED 크기가 가장 작은 XLamp CMT1945의 경우, 반사판 직경에 따른 광도는 높게 나왔지만 배광각이 5.5° 이하로 형성되어 11NM 등명기 기준을 만족하나, 실제 등명기 제작 공차를 고려하여 배광각의 여유를 ±1.5° 이상 주어야 제작이 가능하다. 따라서 XLamp CMA2550의 LED를 사용하고 반사판 240 mm일 때 가장 우수한 결과를 보였다.
3. 등명기 방열 분석
Fig. 3은 등명기의 방열분석 시물레이션한 결과이다. LED 칩의 온도분포는 외기 온도 21℃ 기준에서 칩셋 부근 유체 온도 72℃, 이후 열대류로 상승하면서 52℃까지 온도 하강하는 것을 볼 수 있다. 외기 온도 21℃에서 히트싱크 주변 온도가 65℃로 상승하며, 방수 방진으로 밀폐된 내부의 온도가 52~72℃로 형성되어 광원이 정상 동작할 수 있는 범위에 있음을 확인하였다.
4. 딥러닝 기반 해무 측정 기법
Dehazenet은 합성곱 신경망을 기반으로 하며, Maxout 단위의 레이어를 특징 추출에 사용하여 거의 모든 안개 관련 특징을 생성할 수 있다. Dehazenet에는 Bilateral Rectified Linear Unit(BReLU)라는 새로운 비선형 활성화 함수를 사용하였다.9,10) 이 기술은 안개(해무)가 제거된 이미지의 품질을 향상시키며, 전달 레이블이 적용된 이미지 패치를 활용하여 CNN 아키텍처의 학습 시간을 줄일 수 있다. 이는 NVIDIA Jetson Nano 임베디드 보드에서 사용되었다.
Fig. 4는 Dehazenet의 구조도이다. 해무 농도 값을 정의하기 위해 이미지 품질을 수학적으로 측정해야 하며, 이를 위해 PSNR과 SSIM을 사용하였다. PSNR은 이미지의 선명도를 나타내며, 해무 레벨이 변할 때 PSNR은 직접적으로 해무 농도를 나타낸다. 또한 정확도를 향상시키기 위해 SSIM도 적용되었으며, 이는 선택한 맑은 이미지와 해무 환경에서의 이미지 간의 유사성을 나타낸다.
해무 농도를 결정하기 위해 원본 해상도 이미지와 해무가 제거된 이미지를 비교하여 숫자 값을 도출했다. PSNR과 SSIM은 이미지 품질 측정 방법으로 사용되었고, 수치 도출을 위해 사용된다. PSNR은 신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타내며, 주로 이미지 품질 손실 정보를 평가할 때 사용된다. 식 (1)은 PSNR의 계산 공식이다.
(1) |
MAXI는 이미지의 최댓값으로, 8비트 흑백 이미지의 경우 255가 된다. 식 (2)는 평균 제곱 오차(MSE)이다.
(2) |
I는 크기가 (m x n)인 회색 이미지이며, K는 I에 노이즈가 있는, 즉 왜곡된 이미지이다. 식 (1)에서, 분모에 MSE가 있기 때문에 MSE가 작을수록 PSNR이 커진다. 따라서 좋은 품질의 이미지는 상대적으로 큰 PSNR을 갖게 되고, 품질이 낮은 이미지는 상대적으로 작은 PSNR을 갖게 된다. PSNR은 품질 손실 정보를 평가하는 데 적합한 방법이지만 종종 원본과 왜곡된 이미지 간의 수치적 차이로 이미지 품질을 평가하기 때문에 사람들이 느끼는 것과 일치하지 않는 품질 지표를 얻게 된다. 예를 들어, 두 이미지가 유사한 PSNR 값을 갖지만 지각된 품질이 다를 수 있다. PSNR의 이러한 한계를 극복하기 위해 SSIM도 사용되었다. SSIM은 수치적 오류가 아니라 인간의 시각적 품질 차이를 평가하는 방법으로, 명도, 대비 및 구조를 통해 평가된다.11)
SSIM을 이용한 시각적 품질 차이 평가에 전제되는 것은 원본 이미지 x와 왜곡된 이미지 y가 있다는 것이며, SSIM은 두 이미지의 채도, 대비 및 구조를 비교하고 세 가지 항목을 결합하여 이미지 x와 y의 상관 계수를 얻는다. 이미지 손실 평가 및 유사성 측정을 통해 두 가지 방법을 사용하여 정확한 해무 농도 값을 유도하고 비교할 수 있다.10) 카메라로 촬영된 이미지와 인공 지능을 이용하여 해무의 농도에 따라 안개를 제거하였다. 개발된 프로그램에서 Fig. 5와 같이 안개가 제거된 모습을 확인할 수 있다.
5. AI 비전 및 등명기 제작
Fig. 6의 a)는 연구를 위해 중형 LED 해상용 등명기, b)는 AI비전 인베이디드 보드, c)는 실시간으로 환경을 촬영할 카메라이다. d)는 AI비전과 중형 LED 해상용 등명기와 연결된 모습이다. AI 비전은 CPU 및 GPU를 활용하여 딥러닝 연산이 가능한 NVIDIA Jetson Nano 보드를 사용하였다. AI 비전은 ELP 카메라에 연결되어 실시간으로 현장 데이터를 수신할 수 있으며, 중형 LED 해상용 등명기가 연결되어 광도를 자동으로 제어할 수 있다. 테스트는 카메라와 해상용 등명기를 연결하여 진행하였다. 각 센서의 동작을 확인한 후 해상용 등명기의 광도가 해무가 낀 여러 사진을 임의로 입력하였을 때 광도가 제어되는 것을 확인하였다.
![Fig. 6 Fig. 6](/xml/39856/KSPSE_2024_v28n1_44_f006.jpg)
a) Medium-sized LED marine lantern, b) NVIDIA Jetson Nano embedded board, c) The ELP USB webcam, d) The connection between a medium-sized LED marine lantern and AI vision
제작된 중형 LED 해상용 등명기의 배광각은 항로표지기술원 시험검사소에서 측정거리 25 m 소형 배광 시험기인 ASG 3.0으로 측정한 결과, -3.0~1.9°로 측정되었다. Fig. 7은 해상용 등명기의 소비전력에 따른 광도이다. 소비전력이 20 W 4,022 cd, 31.2 W 6082.1 cd, 44.2 W 7,998 cd, 72 W 11,962 cd로 측정되었다.
20 W의 소비전력으로도 11 NM 등명기의 광도 기준을 만족시키며, 11 NM 등명기 기준의 최대 전력으로 등명기를 동작 시 기준광도의 약 4배를 낼 수 있는 것을 확인하였다.
6. AI 비전 등명기 실증 테스트
본 연구에서는 내장 보드를 갖춘 AI비전 중형 LED 해상용 등명기를 구축했다. 더 나아가 이 시스템은 카메라와 인공 지능을 사용하여 해무 농도에 따라 빛의 강도를 제어할 수 있다. 이를 Fig. 8과 같이 연천 SOC 실증연구센터에서 길이 200 m, 넓이 32.8 m, 폭 16.2 m인 터널에서의 안개실험을 이용하여 연구한 중형 LED 해상용 등명기의 성능을 확인하였다.
이 연구에서 개발한 AI비전은 최소 0에서 최대 120,000까지의 설정 범위를 가진다. 등명기의 광도(cd)를 PSNR 및 SSIM 값으로 적용하기 위하여 수치를 네 개의 범위로 나누었다(0~34,000, 34,000~45,000, 45,000~50,000, 50,000~120,000). 이러한 알고리즘을 적용함으로써 등명기는 PSNR 및 SSIM 값이 높을수록 밝기가 높은 광도로 자동 제어되었다.
Fig. 9는 AI 비전이 적용된 등명기(왼쪽)와 기존 등명기(오른쪽)를 a) 시정 좋음, b) 시정 100 m, c) 시정 50 m, d) 시정 10 m 이하일 때 200 m 및 100 m 거리에서 찍은 등명기의 불빛 사진이다. 사진에서 볼 수 있듯이 시정이 좋을 때에는 광도가 유사했지만 시정이 점차 나빠짐에 따라 AI 비전 등명기의 광도가 증가하는 것을 확인할 수 있으며 시인성이 좋아짐을 확인하였다.
7. 결 론
본 연구는 특히 해무에 의한 등명기의 시인성 저감과 관련하여 광도 제어 시스템에 대한 많은 가능성과 의미를 갖고 있다. 이는 중형 LED 해상용 등명기뿐만 아니라 대형 등대 등에도 사용될 수 있으며, 해무가 많이 발생하는 상황에서 자동으로 광도를 제어할 수 있는 이점을 가지고 있음을 확인하였다.
Acknowledgments
본 연구는 2023년 해양수산부 재원으로 해양수산과학기술진흥원의 지원을 받아 수행되었습니다.
Author contributions
J. S. JOO; data aquistion & Project Administration. H. K. Yang; Supervision.
References
-
Y. D Kim, J. M. Kwak, Y. H. Seo and H. J. Choi, 2017, “Acceleration for removing sea-fog using graphic processors and parallel processing”, Journal of Advanced Navigation Technology, 21(5), 485-490.
[https://doi.org/10.12673/jant.2017.21.5.485]
- H. K. Yang, 2017, “Technology trends and technology tevelopment of marin lantern”, In Proceedings of the Korean Institute of Navigation and Port Research Conference, Korean Institute of Navigation and Port Research, 220-221.
-
C. H. Seok, J. J. Heung, P. S. Nam, P. C. Woung and K. Y. Wan, 2004, “Performance evaluation by simulation for the angular luminous intensity distributions of marine lanterns using a tilting aspherical Fresnel lens and a C-8 type light bulb”, Korean Journal of Optics and Photonics, 15(6), 511-518.
[https://doi.org/10.3807/KJOP.2004.15.6.511]
-
J. S. Joo, D. S. Lee, H. J. Park and H. K. Yang, 2018, “Novel optical design of a marine LED lantern using a double reflector Instead of a conventional fresnel lens”, New Phys.: Sae Mulli, 472-476.
[https://doi.org/10.3938/NPSM.68.472]
-
X. Qin, Z. Wang, Y. Bai, X. Xie and H. Jia, 2020, “FFA-Net: Feature fusion attention network for single image dehazing”, In Proceedings of the AAAI conference on artificial intelligence, 34(07)11908-11915.
[https://doi.org/10.1609/aaai.v34i07.6865]
-
B. Cai, X. Xu, K. Jia, C. Qing and D. Tao, 2016, “Dehazenet: An end-to-end system for single image haze removal”, IEEE transactions on image processing, 25(11), 5187-5198.
[https://doi.org/10.1109/TIP.2016.2598681]
-
J. An, K. Son, K. Jung, S. Kim, Y. Lee, S. Song and J. Joo, 2023, “Unhancement of marine lantern’s visibility under high haze using AI camera and sensor-based control system”, Micromachines, 14(2), 342.
[https://doi.org/10.3390/mi14020342]
- Korea Standards and certification, “LED lantern for aids to navigation – safety and performance requirements”, Bulletin, 2021-09-24.
- D. Berman and S. Avidan, 2016, Non-local image dehazing. In Proceedings of the IEEE conference on computer vision and pattern recognition 1674-1682.
-
L. A. Tran, S. Moon and D. C. Park, 2022, “A novel encoder-decoder network with guided transmission map for single image dehazing”, Procedia Computer Science, 204, 682-689.
[https://doi.org/10.1016/j.procs.2022.08.082]
-
A. Hore and D. Ziou, 2010, “Image quality metrics: PSNR vs. SSIM”, In 2010 20th international conference on pattern recognition, IEEE, 2366-2369.
[https://doi.org/10.1109/ICPR.2010.579]