U²-Net을 적용한 굴 부피 추정 시스템과 스쿠핑-엔클로징 그리퍼를 활용한 굴 선별 자동화 시스템 개발

1. 서 론

굴(Oyster), 마른 굴, 냉동 굴, 훈제 굴 등 다양한 굴 관련 식품은 한국과 미국, 일본을 포함한 여러 국가에서 소비되고 있다. 그러나 최근 어촌 지역의 인력 부족으로 공급 물량을 충분히 확보하지 못하고 있으며, 이는 관련 산업의 경쟁력을 약화하는 주요 원인이 된다. 따라서 굴 공정 자동화 기술 개발이 필요하다.

자동화하고자 하는 굴 공정은 전처리, 선별, 가공, 포장으로 총 4단계로 나뉜다. 그중, 선별 과정은 현재까지도 숙련된 작업자의 경험에 의존하여 굴의 크기를 분류하여 이송하고 있다. 그렇기에 작업자의 숙련도에 따라 크기 분류 정확도, 작업량의 차이가 발생한다. 따라서 굴 공정 자동화 과정 중 굴 크기 선별 및 트레이(Tray) 이송 과정의 자동화를 위한 연구가 필요하다.¹⁾

이 연구에서는 굴 선별 공정 자동화에 대한 기초 연구개발을 수행하고자 한다. 이 연구에서 제안하는 굴 선별 공정 자동화 시스템은 굴 크기 선별 시스템과 굴 이송 시스템으로 2가지 공정으로 분류한다.

먼저, 굴 크기 선별 시스템은 이미지 기반 분류 시스템으로 굴 크기의 대 (大)·중 (中)·소 (小)로 분류한다. 이러한 시스템에 관해서 C. Hackney의 연구에서는 굴의 크기 분류를 위해 기하학적 및 물리적 특성에 따른 측정을 다뤘다.²⁾ P. Zhan과 R. M. Lane의 연구에서는 굴의 형태를 분석하여 품질을 평가하고 자동으로 분류하는 시스템을 구성했다.^3,4) C. Crapo의 연구에서는 머신 비전 시스템(Machine vision system)을 통한 부피 및 무게 분류 시스템을 제시하였다.⁵⁾ 이 외의 식품군에서 유사 연구로, 카메라 두 대를 사용하여 불규칙한 형상 과일의 치수 및 부피를 높은 정확도로 추정하는 방법을 제시하였다.⁶⁾ 이 연구에서는 기존 연구의 토대로 부피 추정을 위한 최소한의 RGB 카메라 2대를 활용하여 U²-Net⁷⁾을 적용한 굴 선별 시스템을 구축하였다.⁸⁾

다음으로, 이 연구에서 제안하는 굴 이송 로봇 시스템은 컨베이어 벨트(Conveyor belt)와 협동 로봇(Collaborative robot), 그리퍼(Gripper)로 구성된다. 특히, 굴 이송 로봇 시스템에서는 그리퍼의 형상 설계는 핵심 요소이다. 굴은 모양과 크기가 일정치 않으며, 표면은 매끄러워 일반적인 다지형 그리퍼는 컨베이어 벨트에서부터 파지가 어렵고, 물체가 손상, 탈락할 수 있는 문제점이 존재한다.⁹⁾ 이 외에 소프트 그리퍼^10,11)나 진공 그리퍼¹²⁾(Vacuum gripper) 또한 같은 문제를 공유한다.

이 연구에서는 컨베이어 벨트에서부터 굴을 파지할 수 있는 스쿠핑(Scooping) 그리퍼¹³⁾의 장점과 식품의 탈락을 막을 수 있는 엔클로징(Enclosing) 그리퍼¹⁴⁾의 장점을 합친 스쿠핑-엔클로징 그리퍼를 활용한다.¹⁵⁾ 이 그리퍼는 스쿠핑 플레이트(Scooping plate)와 실리콘 메시(Silicone mesh)으로 구성된 그리퍼를 적용하여 이송 시스템을 구성한다.

이렇게 구성된 두 시스템은 ROS(Robot Operating System)으로 통합하여 하나의 굴 선별 공정 자동화 시스템을 구축한다.

이 연구의 기여는 다음과 같다.

굴 크기 선별 시스템에는 RGB 카메라 2대를 활용하여 U²-Net기반 굴 선별 시스템을 적용한다. 이 알고리즘은 측면 카메라와 상단 카메라의 데이터를 U²-Net을 통해 배경과 분리, 이후 통합하여 굴의 크기와 자세를 추정하고, 추정된 굴의 부피를 사전에 정의된 임계값(Threshold)에 따라 선별한다.

굴 이송 로봇 시스템은 컨베이어 벨트와 협동 로봇, 스쿠핑-엔클로징 그리퍼를 적용한다. 이 그리퍼는 역 아치 형상으로 설계되었으며, 컨베이어 벨트로부터 굴을 파지하기 위한 스쿠핑 플레이트와 파지 후 굴의 탈락을 방지하기 위한 실리콘 메시으로 구성된다.

제안된 두 시스템은 ROS를 통해 통합된다. 전체적인 자동화 시스템은 굴 부피 추정 시스템에서 발행하는 ROS 토픽(Topic)을 기반으로 데이터를 수집·관제하고, 이를 활용하여 로봇을 제어해 사전에 준비된 트레이로 굴을 이송하는 방식으로 운용한다.

이 논문은 2장에서 U²-Net 기반 굴 부피 추정 시스템을 소개하며, 3장에서는 스쿠핑-엔클로징 그리퍼를 소개한다. 4장에서는 앞서 고안한 두 시스템을 통합하기 위한 전략을 소개하며, 반복 실험을 통해 입증한다. 5장에서는 이 논문의 결론과 개선점 및 향후 연구에 대해 논의한다.

2. U²-Net기반 굴 선별 시스템

본 연구에서 적용한 U²-Net기반 굴 부피 추정하여 선별하는 시스템이다. 이 시스템은 평면에서의 면적, 중심 점 좌표, 자세를 추출하기 위한 상단 카메라와 굴 부피를 추정하기 위한 측면 카메라로 구성되며, 전체적인 알고리즘은 Fig. 1과 같다. 이 시스템은 I) Image Processing, II) Volume Estimation으로 구성된다.

Fig. 1

Proposed oyster sorting system

2.2 Volume estimation

굴 부피 추정은 상단 카메라와 측면 카메라에서 저장한 이미지를 통해 추정한다. 하지만, 컨베이어 상에 놓여 있는 굴의 자세는 Fig. 2와 같이 매번 다를 수 있다. 이 연구에서는 식 (1)와 같이 상단 카메라에서 추출한 최대 길이 L과 비틀린 자세 각도 θ를 토대로 측면 카메라에서의 길이 l을 보정한다.

$\[ l=L\times \mathrm{c}\mathrm{os}\left(\theta \right) \]$

(1)

Fig. 2

Determine side width form object attitude

굴의 자세뿐만 아니라, 상단과 측면 카메라에서 바라본 굴의 크기는 카메라의 설치 위치마다 다르다. 이것을 보정하기 위해 이 연구에서는 더미 데이터를 활용하여 실제 물리적 단위(mm)와 픽셀 단위 사이의 비율로 scale factor를 구성한 후 최종 길이에 적용한다.

보정을 끝낸 데이터는 부피 추정을 위해 굴 이미지의 윤곽선을 추출하여 볼륨 추정 모델을 구성한다. 구성된 모델은 일정한 필셀 간격 h로 높이를 분할한다. 이렇게 분할된 모델은 Fig. 3과 같으며, 이 연구에서는 3D 모델 없이 넓이와 높이만으로 부피를 추정할 수 있으며, 연산속도에 이점이 있는 Disc method를 통해서 굴의 부피를 추정한다.¹⁶⁾ Disc method를 적용하기 위해 상부 카메라에서 측정한 면적이 일정한 비율로 감소한다고 가정한다. 상부 카메라에서 측정한 굴의 최대 면적 A, 측면 카메라에서 측정한 굴의 최대 면적 A에서 굴의 너비 L, 임의의 높이에서 굴의 면적 a, 임의의 높이에서 굴의 면적 a에서의 너비 l을 통해 식 (2)와 같이 도출한다.

$\[ a_l\approx A\times {\left(\frac{l}{L}\right)}^2 \]$

(2)

Fig. 3

Volume estimation model and disc method

각 디스크의 부피는 식 (3)과 같이 도출할 수 있다.

$\[ v_l=A{\left(\frac{l}{L}\right)}^{2}h \]$

(3)

$\[ V_{total}=\sum _{i=1}^n v_i=\frac{Ah}{L^2}\sum _{i=1}^n l_i^2 \]$

(4)

최종 추정된 굴 부피 V_total는 식 (4)와 같이 도출할 수 있다. 추정한 굴 부피는 시스템에 맞춰 사전에 도출한 임계값에 따라 대·중·소로 선별하여 자동화를 도모한다.

2.3 실험 결과

제안한 알고리즘을 검증하기 위해 Fig. 4와 같이 암실 장치를 구성하고, 컨베이어 벨트 위에 배치한다. 논문에 사용된 U²-Net은 사전 학습 모델을 사용하며, 부피 임계값은 시중에 유통되는 굴을 기반으로 사전 테스트를 걸쳐 임의로 선정하였다. 알고리즘 검증 실험은 임계값 도출에 사용된 굴을 제외한 대·중·소로 분류된 굴을 무작위로 실험 장치에 200회 투입하여 굴 부피를 분류하고 성공률 평가를 한다.

Fig. 4

Oyster size sorting experimental structure

실험결과는 Fig. 5와 Fig. 6과 같다. 실험은 총 200회 실험 중 190회가 성공하였다. 실패한 10회의 경우, 중·소 크기에서 7회, 대·중 크기에서 3회가 발생하였다. 이는 실패한 샘플의 크기 차이가 육안으로도 뚜렷이 구분되지 않아 임계값 인근에서 부피가 추정되면서 정확도가 떨어진 것으로 판단된다. 그러나 전체 정확도는 95%로, 명확한 크기 차이를 갖는 굴에 대해서는 매우 높은 선별 성능을 보이므로 이 연구에서 제안하는 방법이 유효하다고 볼 수 있다.

Fig. 5

Volume estimation algorithm result

Fig. 6

Volume estimation experiment result

3. 굴 이송 로봇 시스템

본 연구의 굴 이송 로봇시스템 Fig. 7와 같으며, 이 시스템은 컨베이어 벨트(Conveyor belt), 협동 로봇(Collaborative robot), 그리고 그리퍼(Gripper)로 구성된다.

Fig. 7

Oyster transport robot system

3.1 스쿠핑-엔클로징 그리퍼

생굴과 같은 유연식품은 변형성이 크고, 표면에 마찰이 적다. 또한 바닥과 밀착되어 있어 일반적인 그리퍼로 생굴을 안정적으로 파지하기 어렵다. 특히, 다지형 그리퍼를 이용할 시 바닥에서부터 파지가 어렵고, 이송 중 식품이 파손, 탈락할 가능성이 있다. 진공형 그리퍼의 경우, 흡착 과정 중 식품이 손상될 수 있다.

이러한 문제점을 개선하기 위해 본 연구에서는 스쿠핑-엔클로징 그리퍼를 제안한다.¹⁴⁾ 이 그리퍼는 Fig. 8과 같다. 그리퍼와 컨베이어 벨트 간의 접촉 시 발생하는 충격을 최소화하기 위해, 그리퍼는 역 아치(Reverse arch) 형상으로 설계하였으며, 충격 흡수를 위한 스프링 메커니즘이 추가로 적용하였다. 또한, 바닥에 밀착된 굴을 효과적으로 파지하기 위해 스쿠핑 그리퍼에서 착안한 스쿠핑 플레이트를 그리퍼 하단에 장착하였다. 이송 과정에서 굴의 탈락 및 손상을 최소화하기 위해 엔클로징 타입 구조를 채택하였으며, 이는 실리콘 메시를 통해 굴을 감싸는 방식으로 구성되어 파지 안정성과 식품 손상 억제에 효과적이다.

Fig. 8

Scooping-enclosing gripper structure

Fig. 9는 스쿠핑-엔클로징 그리퍼의 동작 과정을 나타낸다. 구조적 단순화를 위해 본 연구에서는 단일 엑추에이터(Actuator)로 구동되는 그리퍼를 제안한다. 이 그리퍼는 상단에 장착된 엑추에이터에 의해 직선 왕복운동을 수행한다. Fig. 9(a)는 그리퍼가 열린 상태에서 닫히는 과정을 보여 주며, 엑추에이터의 회전 운동이 직선운동으로 변환되어 그리퍼의 닫힘 동작을 유도한다. 이후 Fig. 9(b)와 같이 스쿠핑 플레이트가 완전히 맞닿을 때까지 그리퍼가 동작하여 파지 동작을 완료한다.

Fig. 9

Scooping-enclosing gripper control process: (a) gripper closing motion; (b) gripper close

3.2 실험 결과

고안한 그리퍼의 성능을 검증하기 위해, Fig. 10과 같이 굴을 포함한 비정형 유연 식품인 젤리, 떡, 두부를 대상으로 실험을 수행하였다. 식품군에 대해 5회씩 파지 및 이송 실험을 반복 수행하였으며, 성공 여부를 기준으로 평가하였다. 그 결과, 4가지 식품군 모두에서 파지가 성공적으로 이루어졌고, 이송 과정에서도 탈락 현상은 관찰되지 않았다. 또한, 이송 전후의 식품을 육안으로 관찰한 결과, 모든 식품군에서 형태 변형 없이 안정적으로 이송된 것을 확인하였다. 이 실험을 통해 이 굴을 이송하기 위한 그리퍼로 스쿠핑 그리퍼와 엔클로징 그리퍼를 결합하는 방법이 유효함을 입증하였다.

Fig. 10

Scooping-enclosing gripper experiment

4. 굴 선별 자동화 시스템

4.1 굴 선별 자동화 시스템 통합

고안한 U²-Net기반 굴 선별 시스템과 스쿠핑-엔클로징 그리퍼를 결합한 로봇 이송 시스템은 ROS에서 통합한다. ROS는 로봇 소프트웨어 개발을 위한 오픈소스 미들웨어 프레임워크로, 다양한 하드웨어 및 소프트웨어 모듈 간의 통신을 노드 간 통신 구조로 구성하여 이기종 시스템 간 통합과 데이터 수집 및 관제가 용이하다는 장점이 있다.¹⁷⁾

이 연구에서는 Ubuntu 22.04 LTS와 ROS2 Humble을 사용하여 굴 선별 자동화 시스템을 구축한다. Fig. 11은 제안하는 굴 선별 장동화 시스템의 시스템 통합 아키텍처로, 각 노드는 굴 선별 시스템부터 로봇 제어까지 순차적으로 제어되며, 각 노드에서 발행되는 topic 신호에 따라 제어한다. 이렇게 구성한 통합 시스템의 하드웨어는 Fig. 12와 같이 구성한다.

Fig. 11

Integrated system architecture

Fig. 12

Oyster sorting automation system structure

4.2 실험 결과

통합 시스템에 대한 연동성과 그에 따른 작업 성공 여부, 1회당 작업 시간을 산출하기 위해 실험을 진행한다. 실험은 무작위 순서로 대·중·소 크기의 굴 10개를 순차적으로 자동화 시스템에 인가한다. 총 5회 실시하며, 굴 선별 시스템에서의 모호함을 회피하기 위해 육안으로 명확히 구분 가능한 크기의 굴만 이용한다. 실험 절차는 Fig. 13과 같다. 절차는 총 8단계로 진행되며, Fig. 13(a)는 굴이 자동화 시스템으로 투입되는 과정이다.

Fig. 13

Oyster sorting automation system control process

Fig. 13(b)에서는 크기가 추정된 굴이 파지 위치로 이동을 하며, Fig. 13(c)에서는 굴을 파지하기 위해 로봇을 이동한다. Fig. 13(d)에서 로봇은 굴을 파지하며, Fig. 13(e) 과정에선 로봇을 트레이로 이송한다. Fig. 13(f)에서는 트레이까지 로봇이 움직이며, Fig. 13(g)에서는 파지 된 굴을 방출하여 트레이에 굴을 저장한다. 마지막으로 Fig. 13(h)에서 로봇은 준비 자세로 되돌아간다. 이러한 시퀀스를 계속 반복하며 5회 실험 결과, 로봇이 준비 자세에서 하나의 굴을 이송하고 다시 준비 자세로 복귀하기까지 평균 19.8초가 소요되었다. 굴 이송작업은 모두 성공적으로 탈락 없이 트레이에 정확히 이송되었다. 이 실험을 통해 본 연구에서 제안한 굴 선별 시스템과 이송 시스템이 효과적으로 통합되어 안정적인 자동화 작업을 수행함을 확인할 수 있다.

5. 결 론

본 연구는 굴 선별 시스템과 스쿠핑-엔클로징 그리퍼를 적용한 로봇 이송 시스템을 ROS 기반으로 통합한 굴 선별 자동화 시스템을 제안한다. 제안된 굴 선별 시스템은 상단 및 측면에 설치된 카메라를 활용하여 굴의 이미지를 획득하고, 이를 기반으로 U²-Net을 적용한 후, Disc method를 통해 굴의 부피를 추정하여 대·중·소로 분류한다. 선별 정확도는 총 200회 반복 실험을 통해 95%를 달성하였다.

예측된 굴을 크기별 트레이로 이송하기 위해, 스쿠핑-엔클로징 그리퍼를 장착한 로봇 이송 시스템을 활용한다. 이 그리퍼는 굴과 같은 비정형 유연 식품의 파지를 위해 설계되었으며, 바닥에 밀착된 물체를 파지하기 위한 스쿠핑 플레이트와, 이송 중 식품의 손상 및 탈락을 방지하기 위한 실리콘 메시 구조로 구성된다. 본 그리퍼의 파지 성능을 검증하기 위해 굴, 젤리, 떡, 두부를 대상으로 각각 5회씩 실험을 수행하였으며, 모든 경우에서 성공적인 파지가 이루어졌다.

굴 선별 자동화 시스템은 ROS를 통해 각 모듈을 통합하였으며, 제어 시퀀스는 노드별로 분리하고 topic 기반 통신 방식으로 구성된 통합 관제 시스템을 구현하였다. 전체 시스템은 8단계의 자동 동작 시퀀스로 설계되었으며, 성능 평가를 위해 대·중·소 크기의 굴을 무작위 순서로 선택하여 총 10개의 굴을 시스템에 순차적으로 투입하고, 이를 5회 반복하여 실험을 수행하였다. 그 결과, 하나의 굴을 이송하는 데 평균 19.8초가 소요되었으며, 모든 굴이 정확히 분류되어 지정된 트레이에 성공적으로 저장되었다.

본 연구는 ROS 기반의 통합 시스템 설계, 유연 식품 파지용 그리퍼 개발, 자동 선별 알고리즘 구현을 포괄적으로 다루었으며, 향후 굴 선별 자동화 처리 기술 개발의 기초 자료로 활용될 수 있다는 점에서 의의를 가진다.

향후에는 굴 선별 인식 정확도 향상을 위해 굴 크기 규격화 및 알고리즘 고도화, 로봇 작업 속도 향상, 그리퍼 유지보수성 개선 설계 등 다양한 방향으로 시스템을 고도화할 계획이다.

Acknowledgments

이 논문은 2025년도 해양수산부 재원으로 해양수산과학기술진흥원의 지원을 받아 수행된 연구임(KS211536, 수산식품 스마트 가공 기술개발).

References

• Korea Institute of Marine Science & Technology Promotion(KIMST), 2021, Development of smart processing technology for sea foods: 2021 annual report.
• K. C. Diehl, T. W. Awa, R. K. Byler, M. F. Van Gelder, M. Koslav and C. R. Hackney, 1990, “Geometric and physical properties of raw oyster meat as related to grading”, Transactions of the ASAE, 33(4), 1270-1274. [https://doi.org/10.13031/2013.31467]
• D. J. Lee, X. Xu, R. M. Lane and P. Zhan, 2004, “Shape analysis for an automatic oyster grading system”, Two-and Three-Dimensional Vision Systems for Inspection, Control, and Metrology II, 5606, 27-36. [https://doi.org/10.1117/12.571783]
• G. Xiong, D. J. Lee, K. R. Moon and R. M. Lane, 2010, “Shape similarity measure using turn angle cross-correlation for oyster quality evaluation”, Journal of food engineering, 100(1), 178-186. [https://doi.org/10.1016/j.jfoodeng.2010.03.043]
• S. Damar, Y. Yagiz, M. O. Balaban, S. Ural, A. C. M. Oliveira and C. A. Crapo, 2007, “Prediction of oyster volume and weight using machine vision”, Journal of Aquatic Food Product Technology, 15(4), 3-15. [https://doi.org/10.1300/J030v15n04_02]
• H. M. Tran, K. T. Pham, T. M. Vo, L. Tonthat, T. T. M. Huynh and S. V. T. Dao, 2023, “Physical Characteristics Estimation for Irregularly Shaped Fruit Using Two Cameras”, IEEE Statistical Signal Processing Workshop, 165-169. [https://doi.org/10.1109/SSP53291.2023.10207992]
• X. Qin, Z. Zhang, C. Huang, M. Dehghan, O. R. Zaiane and M. Jagersand, 2020, “U2-Net: Going deeper with nested U-structure for salient object detection, Pattern Recognition”, 106, 107404. [https://doi.org/10.48550/arXiv.2005.09007]
• M. Kang, S. Kim and J. Suh, 2024, “Development of a Raw Oyster Volume Estimation System Based on U²-Net”, Journal of Institute of Control, Robotics and Systems, 30(10), 1110-1121. [https://doi.org/10.5302/J.ICROS.2024.24.0176]
• I. Nate, Z. Wang and S. Hirai, 2023, “Passive robotic gripper using a contact-based locking mechanism”, 2023 IEEE International Conference on Robotics and Automation, 10303-10309. [https://doi.org/10.1109/ICRA48891.2023.10160922]
• J. H. Low, P. M. Khin, Q. Q. Han, Yao, Y. S. Teoh, Y. Zeng, S. Li, J. Liu, Z. Liu, P. Valdivia y Alvarado, I.-M. Chen, B. C. K. Tee and R. C. H. Yeow, 2022, “Sensorized reconfigurable soft robotic gripper system for automated food handling”, IEEE/ASME Transactions on Mechatronics, 27(5), 3232-3243. [https://doi.org/10.1109/TMECH.2021.3110277]
• C. B. Teeple, J. Werfel and R. J. Wood, 2022, “Multi-Dimensional Compliance of Soft Grippers Enables Gentle Interaction with Thin, Flexible Objects”, 2022 IEEE International Conference on Robotics and Automation, 728-734. [https://doi.org/10.1109/ICRA46639.2022.9812324]
• Y. S. Seo, J. Y. Lee, C. Park, J. Park, B. K. Han, J. S. Koh, U. Kim, H. Rodrigue, J. Bak and S. H. Song, 2023, “Highly shape-adaptable honeycomb gripper using orthotropic surface tension”, IEEE Transactions on Industrial Electronics, 71(3), 2662-2675. [https://doi.org/10.1109/TIE.2023.3265032]
• Z. Wang, H. Furuta, S. Hirai and S. Kawamura, 2021, “A scooping-binding robotic gripper for handling various food products”, Frontiers in Robotics and AI, 8, 640805. [https://doi.org/10.3389/frobt.2021.640805]
• T. K. Lien, 2013, “7-Gripper technologies for food industry robots”, Robotics and automation in the food industry, Woodhead Publishing Limited, 143-170. [https://doi.org/10.1533/9780857095763.1.143]
• S. Jo, S. Kim and J. Suh, 2025, “Development of Scooping-Enclosing Gripper for Unstructured Flexible Food”, Journal of Korea Robotics Society, 20(2), 303-309. [https://doi.org/10.7746/jkros.2025.20.2.303]
• M. Rashidi, M. Gholami and S. Abbassi, 2009, “Cantaloupe volume determination through image processing”, Journal of Agricultural Science and Technology, 11(5), 623-631.
• S. Macenski, T. Foote, B. Gerkey, C. Lalancette and W. Woodall, 2022, “Robot Operating System 2: Design, architecture, and uses in the wild”, Science Robotics, 7. [https://doi.org/10.1126/scirobotics.abm6074]