관리번호

2022-서비스로봇-일반-18

산업

기술

분류

중분류Ⅰ

중분류Ⅱ

과제유형

■ 원천기술   □ 혁신제품

로봇/자동화기계

융합유형

□ 산업고도화형 □ 사회문제해결형  □ 신산업창출형  ■ 해당없음

해당여부

□ IP연계  □ 표준연계  □ 디자인연계  □ BI연계  □ 경쟁형  □ 복수형    □ 국가핵심기술  □ 서비스형  □ 안전과제  □ 탄소중립  □ 국제공동    □ BM형  □ 원스톱형  □ 챌린지형  □ 통합형  □ 실증형

R&D

샌드박스유형

■ R&D 샌드박스(일반)  □ R&D 샌드박스(지정)

과제명

지속적 학습을 통해 효율성과 트렌드, 디자인 등을 반영하여 제품 진열이 가능한 인공지능 디피 로봇 기술

품목코드

(HSK10)

류

호

소호

통계부호

(TRL :  [시작] 3단계 〜 [종료] 5단계)

8

4

7

9

5

0

9

0

0

0

1. 개념 및 정의

ㅇ 마트, 멀티브랜드숍, 편의점 등의 제품들을 대상으로 인공지능을 활용하여 소비트렌드, 지역 특성, 날씨 등을 고려하여 다양한 제품 배치 형태를 생성하고 이를 이용하여 제품 진열을 계획하여 제품들을 배치하며 지속적으로 학습 운용할 수 있는 로봇 기술 개발

- 진열대상의 대량 제품 인식을 위한 다시점 기반 대규모 물체 검출 및 분류 기술

- 전문가 시연 학습과 효율성, 트렌드, 디자인 등을 고려한 제품 진열계획 기술

- 제품 진열 계획을 고려한 물체 파지 및 배치 기술

* 수요기업 현장 실증을 통한 레퍼런스 확보 필수

2. 연구목표 및 내용

□ 최종 목표

ㅇ 지속적 학습을 통해 효율성과 트렌드, 디자인 등을 반영하여 제품 진열이 가능한 인공지능 디피 로봇 기술 개발

- 고품질 3차원 제품 DB를 생생하고 이를 이용하여 진열 스타일을 생성하는 기술 개발

- 진열/배치를 고려한 제품 파지 및 정렬하여 배치할 수 있는 기술 개발

ㅇ 정량적 목표

핵심 기술/제품 성능지표		단위	달성목표	국내최고 수준	세계최고수준 (보유국, 기업/기관명)
1	Neural rendering을 이용한 정밀 형상 복원 (Chamfer-L1 distance)	m	0.75 이하	-	0.84 (홍콩, The Univ. of Hong kong)1)
2	제품 진열스타일 생성	종	6종 이상	-	-
3	제품 배치를 고려한 Affordance grasping 인식	score (AUC2))	90 이상	-	87.4 (중국, SCUT)3)

1) P. Wang et. al., “NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction”, NeurlIPS2021

2) AUC(Area Under the Curve): ROC (Receiver Operating Characteristic) 커브의 아래 영역으로 인공지능 모델의 정밀도-재현율 성능을 나타내는 지표

3) Shenheng Deng et. al. ,“ 3D AffordanceNet: A Benchmark for Visual Object Affordance Understanding”, CVPR2021

□  개발 내용

ㅇ NeRF* 등의 기술 기반 제품의 고품질 3차원 DB 생성 및 제품 인식 기술

- NeRF 등을 이용하여 다시점의 고화질/고정밀 3차원 제품 DB 생성 기술

- 대량의 제품 인식을 위한 대규모 물체 검출 및 분류 기술 개발

* NeRF(Neural Radiance Field) : 인공지능으로 다시점의 영상을 입력으로 물체의 고정밀/고화질의 3차원 형상 재구성 기술

ㅇ 효율성, 트렌드, 디자인 등을 고려한 제품 진열 계획 기술 개발

- 제품 진열 효율성, 소비 트렌드, 심미적 디자인 등을 고려한 제품 진열 스타일 생성 및 학습 기술 개발

- 고품질 3차원 DB를 활용한 가상 시뮬레이션에서 다양한 환경(도메인)에서 3D 제품 진열 및 배치 기술 개발

- VR 기술 등을 연동하여 진열전문가의 티칭 또는 시연을 통한 학습 기술 개발

ㅇ 제품 진열 계획을 고려한 물체 파지 및 배치 기술

- 투명/반짝임이 있는 제품 등의 진열을 고려한 affordance 인식 및 파지 기술 개발

- 제품을 파지하여 정렬하거나 배치 조작할 수 있는 long-horizon* 조작 학습 기술 개발

* long-horizon : 단순 pick & place의 short-term 조작이 아닌 여러 개의 sequential 태스크를 학습하고 수행할 수 있는 인공지능 에이전트

ㅇ 지속적 학습을 통해 제품 진열 및 배치 인공지능 학습 기술

- 수요기업 현장 실증을 통한 레퍼런스 확보 및 운용 기술 개발

□ TRL 핵심기술요소(CTE)

핵심 기술요소		최종단계	생산수준 또는 결과물	시험평가 환경
1	고품질 3차원 형상 재구성	5	제품에 대한 고품질 3차원 형상 재구성 기술	실험실
2	제품 진열스타일 생성	5	제품 진열스타일 생성 기술	실험실 또는 수요현장

3. 국내외 기술 동향

ㅇ 고품질 물체 3차원 재구성 기술 동향

- (NeRF) 제품(물체)의 3차원 형상 재구성을 위한 기존의 방식(단순 voxel 누적)에서 NeRF 기술을 제안하여 세계 최고의 고화질/고정밀의 3차원 형상 재구성 기술 개발함. (PSNR, SSIM 등 모두 우수)

* Ben Mildenhall et. al., “Representing Scenes as Neural Radiance Fields for View Synthesis”, ECCV 2020

- (Plenxels) 기존 NeRF의 기술의 단점인 속도(학습 시간 1day)를 개선하기 위해, Plenxels(Radiance Field without Neural Networks)을 제안하여 3차원 형상 재구성의 품질을 유지하면서 100배 이상 빠른 학습 속도, 15fps 렌더링 속도를 가진 기술 개발

* Sara Fridovich-Keil et. al.,  “Plenoxels: Radiance Fields without Neural Networks”, CVPR 2022

ㅇ 투명, 반짝임 물체 피킹 기술 및 제품 Affordance 인식 기술

- (Dex-NeRF) UC Berkeley에서 NeRF 기술을 이용한 투명 물체 피킹에 대한 선행 기술 개발. 6종 투명 물체(Tape Dispenser, Wineglass, Flask, Safety Glasses, bottle, Lion Figurine)에 대해 58/60 파지 성공률 달성. 단점으로 NeRF의 긴 학습 시간과 물체의 위치 변경시 재학습이 필요

* Jeffrey Ichnowski et. al., “Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects”,  Conference on Robot Learning (CoRL) 2021

- (Affordance) 3D AffordanceNet* 에서는 물체 3D 포인트클라우드에서 물체 어포던스를 추정할 수 있는 대규모 데이터 셋 공개와 인식 기술 개발 (23종 물체).

* Shenheng Deng et. al. ,“ 3D AffordanceNet: A Benchmark for Visual Object Affordance Understanding”, CVPR2021

ㅇ 리테일 환경 가상 시뮬레이션

- large-scale 리테일 환경 가상 데이터 셋 생성. 선반에 다양한 물체의 RGB 데이터, 물체 위치 데이터, instance 데이터와 레이아웃 등을 제공

* Cristina Mata et. al. ,“ StandardSim: A Synthetic Dataset For Retail Environments”,	arXiv:2202.02418 [cs.CV]

4. 지원 필요성

□ 기술적 지원필요성

ㅇ 제안 기술은 마켓 트렌드, 날씨, 지역 특성 등을 고려하여 효과적인 진열 방법을 인공지능을 통해 계획하고 로봇이 자율적으로 제품을 배치하는 기술로 개발성공시 인공지능 서비스 로봇 핵심 IP확보와 함께 무인마트/무인편의점 등 인력난·비대면 이슈로 수요가 증가하고 있는 미래형 무인점포 구현에 기여할 것

* 기존 대형마트, 편의점 관련 로봇 기술은 물품 유무의 재고 관리 중심

ㅇ 본 과제에서 제안하는 대량 제품의 고품질 3차원 형상 재구성 기술과 반짝이거나 투명한 물체의 affordance를 인식하여 조작하는 기술은 타 산업(제조/물류)에대해 기술적 파급효과가 크기 때문에 미국, 유럽 중심으로 선행 기술을 개발하고 있어 기술적 지원이 시급함

□ 경제적 지원필요성

ㅇ 코로나19 이후 온라인 시장규모가 확대되면서 오프라인 매장은 쇼룸 형태로 진화하고 있으며 온라인 구매에서 할 수 없는 고객의 경험을 제공하는 방향으로 체질 개선이 이루어지고 있음

*  ‘객단가보다 경험‘ 쇼룸으로 진화하는 오프라인 매장 ’ 조선비즈 기사(2022.1.3.)

ㅇ 상품진열을 재설계하는 것만으로 고객당 판매액이 15%* 이상 상승하는 등 매대 위치나 진열 방식은 소비자의 구매행위에 많은 영향을 미치는 것**으로 알려져 있으며, 특히 유통매장 마케팅에서는 상품을 즉각 체험하는 매장에서의 경험이 광고·판촉보다 구매에 더 큰 영향이 있는 것으로 분석되고 있음.

* 소비패턴, 트렌드에 맞춘 진열을 통해 소비자 1인당 구매금액이 이전대비 15.3% 향상 (‘마트 매대에 숨겨진 비밀’, 무등일보 경제, 2021.4.19.)

** 매장진열은 대형마트부터 소형슈퍼에 이르기까지 해당 카테고리매출과 상관관계 (전달영, “카테고리 매출성과에 영향을 미치는 카테고리 관리 전술들에 대한 실증연구,” 유통연구 12권 3호, 2007.)

□ 정부/정책적 지원필요성

ㅇ 효율성과 디자인, 마켓 트렌드 등을 반영한 디피 로봇 기술은 인공지능 로봇 핵심 IP확보를 통한 국내 로봇기술 경쟁력 제고 및 3차원 형상 재구성, 진열 계획, 투명 물체 affordance grasping 등의 선행 기술 확보

5. 활용방안 및 기대효과

□ 활용방안

ㅇ 효율성과 디자인 등을 고려한 제품 진열 로봇 기술을 활용하여 마트, 중소형 매장 등 제품 진열하고 판매하는 분야에 적용

ㅇ 고품질의 3차원 형상 재구성 기술을 통해 다양한 물체, 환경에 대한 3D 모델링, 디지털 트윈, 가상 환경 서비스 등의 다양한 서비스 산업 분야에 활용

ㅇ 반짝이거나 투명한 물체 인식 및 조작 기술 활용하여 기존에 사람이 수작업하는 물류, 제조 등에 활용

□ 기술적 기대효과

ㅇ 본 과제를 통해 트렌드, 날씨, 지역 특성 등을 고려한 효과적인 진열 방법 및 인공지능을 통해 계획하고 로봇이 자율적으로 제품을 배치하는 인공지능 서비스 로봇 핵심 IP확보에 기여

ㅇ 고품질 3차원 형상 재구성 기술과 반짝이거나 투명한 물체 조작 기술을 통해 제조, 물류 서비스에 대한 선행 기술 확보 및 확산

□ 경제적 기대효과

ㅇ 다양한 제품 진열 방식을 적용하여 트렌드와 효율적인 제품 배치로 변화하는 유통 시장 환경에 새로운 솔루션 제공

□ 기타 사회․문화적 측면의 기대효과 및 파급효과

ㅇ 유통산업 인력난 해소 및 근로 환경 개선

6. 지원기간/예산/추진체계

ㅇ 기간 : 45개월 이내 (1차년도 개발기간 : 9개월, 2차년도 : 12개월, 3차년도 : 12개월)

ㅇ 정부출연금 :  ‘23년 8억원 이내(총 정부출연금 40억원 이내)

ㅇ 주관기관 : 제한없음

ㅇ 기술료 징수여부 : 징수