문서 둘러보기
ReferItGame
ReferItGame은 사진 속 대상을 언어로 설명하고 다른 참여자가 그 대상을 찾는 게임으로 지시 표현을 수집하는 연구다. 표현 생성과 대상 선택을 연결해 주석의 수집과 검증을 함께 수행한다.
SNLI-VE
SNLI-VE는 영상을 전제로 주어진 문장의 함의, 모순, 중립을 판단하는 시각적 함의 데이터셋이다. SNLI의 문장과 Flickr30k의 영상을 연결해 언어 추론을 시각 정보로 확장한다.
Visual Genome
Visual Genome은 영상의 물체와 속성, 관계를 조밀하게 주석한 시각 언어 데이터셋이다. 개별 물체를 인식하는 것에서 나아가 영상 속 대상들의 상호작용을 학습하도록 구성했다.
KVQA
KVQA는 영상 속 이름 있는 개체에 대한 세계 지식을 활용하는 시각 질의응답 데이터셋이다. 여러 개체와 관계를 지식 그래프에서 연결해 답을 찾는 추론을 다룬다.
OK-VQA
OK-VQA는 영상에 보이는 내용만으로 충분히 답할 수 없어 외부 지식을 요구하는 시각 질의응답 벤치마크다. 시각 정보와 배경지식을 함께 활용하는 모델을 평가한다.
NLVR2
NLVR2는 한 쌍의 실제 사진에 대해 자연어 문장이 참인지 판단하는 시각 언어 추론 데이터셋이다. 수량과 비교, 관계를 조합하는 영어 문장을 통해 사진과 언어의 공동 이해를 평가한다.
VCR 시각 상식 추론
VCR은 영상에 대한 질문에 답하고 그 답을 정당화하는 근거까지 선택하는 시각 상식 추론 과제다. 물체 인식을 넘어 행동과 목표, 상황을 해석하는 능력을 평가한다.
CLEVR
CLEVR는 구성적 언어 이해와 기초 시각 추론을 진단하기 위한 데이터셋이다. 질문별 함수형 프로그램과 장면 정보를 활용해 단순 정답률만으로는 드러나지 않는 추론 능력을 분석한다.
VizWiz
VizWiz는 시각장애인이 휴대전화로 찍은 영상과 녹음한 질문에서 출발한 시각 질의응답 데이터셋이다. 답을 생성하는 것뿐 아니라 주어진 영상으로 질문에 답할 수 있는지도 평가한다.
GQA
GQA는 장면 그래프에서 생성한 질문과 그 의미를 나타내는 프로그램으로 구성적 시각 추론을 평가하는 데이터셋이다. 답의 분포와 질문 편향을 조절하고 정답률 이외의 성질도 분석한다.
VQA 데이터셋
VQA 데이터셋은 영상과 자연어 질문에 대해 자연어 답을 제공하는 시각 질의응답 연구 자료다. 일반적인 장면 설명보다 특정 부분과 문맥을 자세히 이해해야 하는 질문을 포함한다.
ST-VQA
ST-VQA는 장면 속 문자의 의미를 시각 정보와 함께 이용해 질문에 답하는 데이터셋이다. 글자를 읽는 능력과 그 내용을 문맥에서 해석하는 능력을 단계적으로 평가하도록 구성했다.
TextCaps
TextCaps는 영상 속 글자를 읽고 문맥에 맞게 설명에 포함하는 캡션 생성 데이터셋이다. 글자를 인식하는 능력과 영상에서 중요한 내용을 선택해 문장으로 표현하는 능력을 함께 평가한다.
InfographicVQA
InfographicVQA는 인포그래픽의 글자와 배치, 그래픽, 시각화 정보를 함께 이용해 질문에 답하는 데이터셋이다. 단순히 문구를 찾는 문제뿐 아니라 기초 추론과 산술이 필요한 질문을 포함한다.
TextVQA
TextVQA는 영상 속 문자를 읽고 영상과 질문의 문맥에서 추론해 답하는 능력을 평가하는 데이터셋이다. 같은 연구는 인식한 문자열을 답에 활용하는 LoRRA 모델도 제시했다.
ChartQA
ChartQA는 차트의 시각적 특징과 논리·산술 관계를 이용해 질문에 답하는 능력을 평가하는 벤치마크다. 사람이 쓴 질문과 차트 요약에서 생성한 질문을 함께 제공한다.
PlotQA
PlotQA는 실제 자료를 바탕으로 만든 그래프에서 값을 읽고 추론하는 질의응답 데이터셋이다. 고정된 답 목록이나 화면 속 문구만으로 답할 수 없는 실수값 질문을 포함한다.
PubTables-1M
PubTables-1M은 과학 논문의 약 백만 개 표에 구조와 위치 정보를 제공하는 표 추출 데이터셋이다. 표 탐지, 구조 인식, 기능 분석을 지원하고 정답 구조가 불필요하게 쪼개지는 문제를 정규화한다.
PubTabNet
PubTabNet은 표 영상과 대응하는 HTML 구조를 제공하는 표 인식 데이터셋이다. 과학 논문의 PDF와 XML을 자동으로 맞추어 만들었으며 표의 구조와 셀 내용을 함께 복원하는 연구에 사용한다.
FormNet
FormNet은 양식 문서의 공간 관계와 이웃 정보를 이용하는 정보 추출 모델이다. 문서를 일렬로 나열할 때 잃기 쉬운 구조를 어텐션과 그래프 합성곱으로 보완한다.
FUNSD
FUNSD는 잡음이 있는 스캔 양식에서 텍스트를 추출하고 구조화하는 문서 이해 데이터셋이다. 실제 양식 199개에 주석을 제공해 문자와 배치, 의미 단위 사이의 관계를 평가한다.
DocVQA
DocVQA는 문서 영상을 보고 질문에 답하는 능력을 평가하는 데이터셋이다. 문자 인식만으로 해결하기 어려운 문서 구조와 내용의 관계를 시각 질의응답 과제로 다룬다.
PubLayNet
PubLayNet은 과학 문서의 영상과 XML 표현을 자동으로 대응시켜 만든 문서 배치 분석 데이터셋이다. 문서 영상 안의 주요 구성 요소를 인식하는 모델의 학습과 평가를 지원한다.
UDOP
UDOP는 문서의 영상, 텍스트, 배치를 공통 표현으로 결합해 이해와 생성을 다루는 문서 AI 모델이다. 프롬프트 기반 시퀀스 생성으로 사전 학습과 여러 영역의 후속 과제를 연결한다.
DocFormer
DocFormer는 문서의 텍스트, 시각 특징, 공간 특징을 다중 모달 자기 어텐션으로 결합하는 문서 이해 모델이다. 모달 사이에서 공간 임베딩을 공유해 글자와 영상 토큰의 관계를 학습한다.
LayoutLM
LayoutLM은 스캔 문서의 텍스트와 배치를 함께 사전 학습하는 문서 이해 모델이다. 문장 내용뿐 아니라 글자가 놓인 공간적 관계와 시각 정보를 활용해 문서의 정보를 추출한다.
TrOCR
TrOCR은 영상과 텍스트의 사전 학습 트랜스포머를 활용하는 문자 인식 모델이다. 시각 정보를 이해하는 부분과 워드피스 단위의 텍스트 생성 부분을 트랜스포머로 구성해 함께 학습한다.
Donut 문서 이해 모델
Donut은 외부 문자 인식 엔진의 결과를 먼저 받지 않고 문서 영상을 이해하도록 학습하는 트랜스포머 모델이다. 문서 읽기와 이해를 분리한 처리에서 생기는 비용과 오류 전달을 줄이려는 접근이다.
Nougat
Nougat은 과학 문서의 시각 정보를 읽어 기계가 다룰 수 있는 마크업 언어로 바꾸는 비전 트랜스포머 모델이다. 특히 PDF에 담긴 수식과 문서 의미를 텍스트 형식으로 연결하는 문제를 다룬다.
Pix2Seq
Pix2Seq는 물체의 위치와 범주를 이산 토큰의 시퀀스로 표현하고 영상에서 그 시퀀스를 생성하도록 학습하는 물체 탐지 프레임워크다. 탐지를 관측한 픽셀에 조건을 둔 언어 모델링 문제로 다룬다.
Pix2Struct
Pix2Struct는 가린 웹 화면을 단순화한 HTML로 해석하는 과제로 사전 학습한 영상 텍스트 모델이다. 문서와 도표, 사용자 화면처럼 언어의 배치와 시각 요소가 함께 중요한 입력을 다룬다.
PaLI
PaLI는 영상과 텍스트 입력에서 텍스트를 생성해 여러 언어의 시각 언어 과제를 수행하는 모델이다. 사전 학습된 언어 모델과 비전 트랜스포머를 활용하고 두 구성 요소의 규모를 함께 확장한다.
UniT 다중 과제 트랜스포머
UniT는 시각 인식과 언어 이해, 다중 모달 추론을 모달별 인코더와 공유 디코더로 함께 학습하는 모델이다. 과제별로 모델 전체를 따로 조정하는 대신 공통 매개변수를 활용한다.
Kosmos-1
Kosmos-1은 텍스트와 영상이 함께 있는 자료로 처음부터 학습한 다중 모달 대규모 언어 모델이다. 지시와 문맥 속 예시를 통해 언어 이해뿐 아니라 시각 정보와 연결된 과제를 수행하도록 연구했다.
Unified-IO
Unified-IO는 영상, 지도, 마스크, 경계 상자, 언어처럼 다른 형식의 입출력을 이산 토큰의 시퀀스로 통일하는 모델이다. 하나의 트랜스포머 구조로 시각과 언어의 여러 과제를 공동 학습한다.
GIT 영상 텍스트 생성
GIT는 영상 인코더 하나와 텍스트 디코더 하나로 시각 언어 과제를 통합하는 생성 모델이다. 단일 언어 모델링 목표 아래 영상이나 동영상의 설명과 질의응답 등을 다룬다.
OFA
OFA는 여러 단일 모달 과제와 다중 모달 과제를 시퀀스 변환 학습으로 통합하는 프레임워크다. 사전 학습과 미세 조정 모두에서 지시를 활용해 과제별 전용 층의 필요를 줄인다.
EVE 시각 언어 모델
EVE는 영상과 텍스트를 공유 트랜스포머에서 처리하고 가린 신호를 복원하는 단일 과제로 사전 학습하는 모델이다. 모달을 고려한 희소 전문가 혼합 모듈로 각 입력에 필요한 정보를 다룬다.
Prismer
Prismer는 이미 사전 학습된 과제별 전문가 모델의 지식을 결합하는 시각 언어 모델이다. 대부분의 가중치를 고정하고 일부 구성 요소만 학습해 영상 언어 추론에 적응시키는 방식을 제시했다.
BridgeTower
BridgeTower는 개별 모달 인코더의 여러 상위 층을 모달 간 인코더의 각 층에 연결하는 시각 언어 모델이다. 마지막 층의 표현만 넘기는 대신 서로 다른 의미 수준의 정보를 단계적으로 융합한다.
VLMo
VLMo는 모달별 전문가와 공유 자기 어텐션을 갖는 트랜스포머로 이중 인코더와 융합 인코더를 함께 학습하는 모델이다. 검색과 결합 추론에 필요한 서로 다른 사용 방식을 한 사전 학습 구조로 지원한다.
Flamingo
Flamingo는 소수의 과제 예시를 문맥으로 제시해 영상과 동영상의 질문이나 설명 생성에 적응하도록 학습한 시각 언어 모델 계열이다. 사전 학습된 시각 모델과 언어 모델을 연결한다.
METER
METER는 영상과 언어를 끝에서 끝까지 학습하는 트랜스포머의 설계 선택을 비교하는 프레임워크다. 시각 인코더, 언어 인코더, 융합 방식과 학습 목적이 성능에 미치는 영향을 실험한다.
BLIP
BLIP는 영상 언어 이해와 문장 생성에 함께 전이하도록 사전 학습하는 프레임워크다. 캡션 생성기로 합성 캡션을 만들고 필터로 잡음이 있는 캡션을 걸러 웹 자료의 감독 품질을 개선한다.
CoCa
CoCa는 대조 학습과 캡션 생성을 함께 사전 학습하는 영상 텍스트 인코더 디코더 모델이다. 영상과 문장의 개별 표현을 맞추는 학습과 두 정보를 결합해 문장을 생성하는 학습을 한 구조에 넣었다.
SimVLM
SimVLM은 대규모 약한 감독과 하나의 접두 언어 모델링 목표로 영상 언어 사전 학습을 구성한 모델이다. 자료별로 여러 목적을 조합하던 학습 절차를 단순화하려는 접근이다.
VinVL
VinVL은 시각 언어 모델에서 영상 특징의 품질을 높이는 데 초점을 둔 연구다. 개선한 물체 검출기로 물체 중심의 표현을 만들고 이를 영상 언어 융합 모델의 입력으로 활용한다.
Oscar 시각 언어 모델
Oscar는 영상에서 검출한 물체 태그를 연결 고리로 사용해 영상과 텍스트 표현의 대응을 학습하는 모델이다. 시각 영역 특징과 문장만 결합할 때보다 의미 정렬을 쉽게 하려는 사전 학습 방식이다.
VisualBERT
VisualBERT는 텍스트 요소와 영상 영역을 자기 어텐션으로 연결하는 시각 언어 모델이다. 트랜스포머 층을 쌓은 구성에 영상 캡션 기반 사전 학습을 적용해 여러 이해 과제를 다룬다.
LXMERT
LXMERT는 물체 관계, 언어, 모달 간 연결을 담당하는 세 인코더로 영상과 언어의 결합 표현을 학습하는 모델이다. 시각 개념과 문장 의미의 대응을 사전 학습한 뒤 후속 추론 과제로 전이한다.
ViLBERT
ViLBERT는 영상과 텍스트를 별도의 흐름에서 처리하면서 공동 어텐션으로 연결하는 시각 언어 사전 학습 모델이다. 특정 과제에 종속되지 않는 결합 표현을 학습한 뒤 여러 과제로 전이한다.
ALBEF
ALBEF는 영상과 텍스트의 표현을 대조 학습으로 먼저 맞춘 뒤 모달 간 어텐션으로 융합하는 모델이다. 잡음이 있는 웹 자료의 학습에는 모멘텀 모델이 만든 의사 목표를 활용한다.
VLC 시각 언어 학습
VLC는 마스크 오토인코더를 바탕으로 영상과 캡션을 학습하는 시각 언어 모델이다. 영상 백본에 분류 정답이나 경계 상자 같은 저수준 사람 주석을 먼저 학습시켜야 한다는 가정을 검토했다.
UNITER
UNITER는 영상과 텍스트를 결합한 표현을 사전 학습해 여러 시각 언어 과제에 활용하는 모델이다. 전체 영상과 문장의 일치뿐 아니라 단어와 영상 영역의 세밀한 대응도 학습한다.
ViLT
ViLT는 시각 입력의 처리를 단순화해 영상과 언어를 함께 사전 학습하는 트랜스포머 모델이다. 합성곱 특징 추출이나 물체 영역 감독에 의존하던 시각 언어 모델의 구성을 줄이는 방향을 제시했다.
FLAVA
FLAVA는 영상과 언어 각각의 이해, 두 모달 사이의 대응, 두 정보를 함께 사용하는 추론을 하나의 사전 학습 체계로 다루는 모델이다. 개별 인코더와 융합 인코더를 함께 구성한다.
M3AE
M3AE는 영상과 언어에 하나의 인코더를 사용하고 가린 토큰을 예측해 표현을 학습하는 다중 모달 마스크 오토인코더다. 모달별 인코더나 대조 학습 없이 전이 가능한 표현을 얻는 방식을 연구했다.
MultiMAE
MultiMAE는 영상 패치와 입력 모달을 가리고 여러 종류의 출력을 예측하는 사전 학습 방법이다. RGB만 있는 경우와 다른 정보가 함께 주어지는 경우에 같은 사전 학습 모델을 활용하도록 설계했다.
Pri3D
Pri3D는 여러 시점의 RGB-D 자료로 학습한 기하 제약을 2차원 영상 표현에 반영하는 사전 학습 방법이다. 시점이 달라져도 유지되는 특징과 영상의 구조적 대응을 대조 학습으로 배운다.
Mask3D 사전 학습
Mask3D 사전 학습은 RGB와 깊이 영상의 일부 패치를 가리고 복원하도록 학습해 2차원 시각 표현에 3차원 구조 정보를 반영하는 방법이다. RGB-D 자료를 자기 지도 사전 학습에 활용한다.
비전 트랜스포머의 레지스터 토큰
비전 트랜스포머의 레지스터 토큰은 영상 패치와 별도로 모델의 내부 계산에 사용할 입력 토큰을 추가하는 기법이다. 정보가 적은 배경 패치가 계산 공간으로 쓰이면서 생기는 특징 지도 이상을 줄이려는 접근이다.
PRET 이동 계획
PRET는 언어 지시와 방향성을 가진 후보 경로의 대응 정도를 비교해 다음 이동 목표를 선택하는 방법이다. 탐색한 공간을 유향 그래프로 나타내고 경로를 방향별 시각 특징의 연속으로 표현한다.
SOLE 3차원 분할
SOLE은 자유로운 언어 지시에 따라 점군에서 물체 인스턴스를 구분하는 시각 언어 학습 방법이다. 의미 정보와 기하 정보를 함께 반영해 3차원 점군에서 의미와 연결된 마스크를 직접 생성한다.
NavTrust
NavTrust는 시각과 깊이 입력의 손상, 언어 지시의 변형이 이동 성능에 미치는 영향을 평가하는 벤치마크다. 정상 입력에서의 성공률만으로 드러나지 않는 취약성을 살펴본다.
VISITRON
VISITRON은 장면의 물체와 대화 이력을 연결하면서 이동하거나 대화를 이어 갈 시점을 판단하는 모델이다. 협력적 시각 대화 이동 과제인 CVDN을 위해 다중 모달 트랜스포머를 학습한다.
NavCoT
NavCoT는 다음 관측의 예상과 실제 후보의 대조를 거쳐 이동 행동을 고르는 언어 모델 기반 방법이다. 추론 단계를 정해진 형식으로 학습해 행동만 바로 생성하는 방식과 비교한다.
NavGPT
NavGPT는 시각 관측을 언어로 정리해 대규모 언어 모델이 이동 지시를 단계적으로 해석하도록 하는 방법이다. 이동 이력과 앞으로 탐색할 방향을 함께 제공해 다음 행동을 추론한다.
BEVBert
BEVBert는 지역의 거리 지도와 전역 위상 지도를 결합해 언어 이동용 표현을 사전 학습하는 모델이다. 중복되거나 불완전한 파노라마 관측을 공간적으로 모아 지시와 연결한다.
ETPNav
ETPNav는 이동 중 예측 경유점을 묶어 위상 지도를 만들고 연속 환경에서 언어 지시를 수행하는 방법이다. 긴 경로의 고수준 계획과 장애물을 피하는 저수준 제어를 분리한다.
Airbert
Airbert는 실내 영상과 설명에서 합성한 경로 지시로 이동 표현을 사전 학습하는 모델이다. 함께 제시한 BnB 자료와 순서 학습 손실을 이용해 새 환경의 적은 지시로도 적응하는 문제를 다룬다.
연속 이동의 경유점 예측
연속 이동의 경유점 예측은 고수준 방향 선택을 하는 시각 언어 에이전트를 연속 환경에 연결하는 방법이다. 매 단계 접근 가능한 후보 경유점을 만들고 기존 이동 정책이 그중에서 선택하도록 한다.
DUET 이동 모델
DUET는 전역 지도와 지역 관측을 서로 다른 규모로 인코딩해 언어 기반 이동을 계획하는 그래프 트랜스포머다. 긴 행동 계획과 세밀한 시각 언어 이해의 균형을 다룬다.
HAMT
HAMT는 지나온 파노라마 관측을 계층적으로 인코딩해 이동 결정에 사용하는 다중 모달 트랜스포머다. 지시와 현재 관측 및 긴 이력을 결합해 다음 행동을 예측한다.
재귀 VLN-BERT
재귀 VLN-BERT는 이동 이력을 유지하도록 재귀 기능을 넣은 시각 언어 BERT 모델이다. 부분적으로만 관측할 수 있는 환경에서 이전 경험을 반영한 어텐션과 행동 결정을 다룬다.
PREVALENT
PREVALENT는 영상과 텍스트 및 행동의 조합으로 이동용 표현을 사전 학습하는 에이전트다. 새 과제의 자료가 적을 때 준비된 시각 언어 표현을 기존 이동 체계에 연결해 적응을 돕는다.
FOAM 이동 지시 생성
FOAM은 이동 수행자의 학습 상태를 반영해 새 지시를 생성하는 화자 모델이다. 수행자 피드백으로 화자를 계속 갱신해 생성 자료가 실제 이동 학습에 더 적합하도록 한다.
환경 드롭아웃 이동 학습
환경 드롭아웃 이동 학습은 새로운 환경을 흉내 낸 관측과 합성 지시를 사용해 이동 정책의 일반화를 높이는 방법이다. 모방 및 강화 학습 뒤에 환경과 경로 및 지시의 새 조합으로 미세 조정한다.
Speaker-Follower 이동 모델
Speaker-Follower 이동 모델은 경로를 설명하는 화자 모델을 지시 수행자와 함께 활용하는 시각 언어 이동 방법이다. 새 지시를 합성하고 후보 행동이 주어진 말을 얼마나 잘 설명하는지 비교한다.
VLN-CE
VLN-CE는 연속적인 삼차원 환경에서 저수준 행동을 실행하며 자연어 이동 지시를 따르는 평가 설정이다. 미리 주어진 파노라마 이동 그래프에 기대는 가정을 줄이는 데 초점을 맞춘다.
CVDN
CVDN은 가상 주택에서 이동하는 사람과 길 안내를 돕는 사람의 대화를 모은 데이터셋이다. 목표 물체와 대화 이력에서 다음 이동을 추론하는 시각 대화 내비게이션을 연구한다.
Room-Across-Room
Room-Across-Room은 세 언어로 이동 지시와 시각 경험을 연결한 데이터셋이다. 단어와 사람의 가상 자세를 시간상 정렬해 지시의 어느 부분이 어떤 관측에 해당하는지 연구할 수 있게 한다.
리튬 이온 배터리 스웰링
배터리 스웰링은 내부 가스로 셀이 부푸는 현상이다. 충전선을 뽑아두는 습관만으로 예방을 보장할 수 없으며 노화와 열 등도 관련된다.
REVERIE
REVERIE는 자연어로 설명한 물체를 찾기 위해 낯선 실내 환경을 이동하고 대상을 식별하는 벤치마크다. 경로를 따라가는 능력과 지시가 가리키는 개체를 알아보는 능력을 함께 요구한다.
Room-to-Room
Room-to-Room은 실제 건물 영상에 기반한 가상 환경에서 자연어 이동 지시를 수행하는 데이터셋이다. R2R이라고도 부르며 시각 관측과 지시를 행동 시퀀스로 연결하는 연구에 사용된다.
CLIP-Nav
CLIP-Nav는 사전 학습 CLIP을 이용해 대상 물체를 설명한 자연어를 순차 이동 결정에 연결하는 방법이다. 자료별 미세 조정 없이 시각 언어 이동의 일반화를 연구한다.
CLIP on Wheels와 Pasture
CLIP on Wheels는 사전 학습 개방형 인식 모델을 추가 미세 조정 없이 물체 이동에 적용하는 비교 체계다. 함께 제시한 Pasture는 드문 물체와 속성 및 관계로 설명한 목표 찾기를 평가한다.
LGX 언어 유도 탐사
LGX는 언어로 구체적으로 설명한 목표 물체를 새로운 환경에서 찾는 탐사 방법이다. 언어 모델의 상식 추론으로 순차 이동을 정하고 시각 언어 모델로 목표를 검출한다.
ZSON
ZSON은 이미지 목표 이동으로 학습한 정책을 공통 의미 임베딩을 통해 언어 기반 물체 찾기에 옮기는 방법이다. 물체 목표 이동의 보상이나 시연을 직접 사용하지 않는 전이를 연구한다.
ESC 물체 탐색
ESC는 사전 학습 모델의 상식 지식을 부드러운 논리 제약으로 표현해 물체를 탐색하는 방법이다. 방과 물체의 관계를 추론하고 시각 관측에 연결해 다음 이동을 정한다.
VLFM
VLFM은 깊이로 만든 지도에서 탐사 경계를 찾고 시각 언어 모델의 가치 지도에 따라 다음 탐색 위치를 고르는 방법이다. 새 환경에서 물체 범주를 찾는 추가 학습 없는 이동을 연구한다.
Active Neural SLAM
Active Neural SLAM은 학습한 지도 및 위치 추정과 계층적 정책을 경로 계획기에 결합한 탐사 방법이다. 전체 관측에서 행동까지 한 번에 학습하기보다 역할을 나눠 경험 효율을 높이려 한다.
Neural SLAM 외부 기억
Neural SLAM 외부 기억은 센서 관측으로 전역 지도 표현을 배우도록 신경망의 기억 구조에 SLAM과 유사한 절차를 넣는 연구다. 긴 시간의 기억이 필요한 새로운 환경 탐사를 돕는 것을 목표로 한다.
PONI
PONI는 물체를 어디서 찾아볼지 정하는 기능과 특정 위치로 이동하는 기능을 분리한 내비게이션 방법이다. 위에서 본 의미 지도 자료만으로 탐색 위치를 고르는 잠재 함수를 학습한다.
목표 지향 의미 탐사
목표 지향 의미 탐사는 에피소드의 의미 지도를 만들고 목표 물체 범주에 맞춰 탐색하는 모듈형 이동 방법이다. 물체들 사이의 상대 배치에 관한 경험을 장기 탐색에 활용한다.
DD-PPO
DD-PPO는 무거운 시뮬레이션 환경에서 강화 학습을 여러 장비로 분산하는 방법이다. 중앙 서버 없이 동기적으로 정책을 학습하며 많은 경험으로 로봇 이동 정책을 훈련하는 데 사용됐다.
ObjectNav
ObjectNav는 탐사하지 않은 환경에서 특정 범주의 물체를 찾아 이동하는 과제다. 좌표로 목적지를 알려 주는 문제와 달리 물체가 무엇이며 어디에 있을지에 관한 지식을 활용해야 한다.
SPL 이동 평가 지표
SPL은 목표 도달의 성공 여부와 이동 경로의 효율을 함께 반영하는 내비게이션 평가 지표다. 성공한 시험이라도 최단 경로보다 많이 돌아가면 기여도가 낮아진다.
StarDist
StarDist는 현미경 영상에서 세포핵 같은 개체를 별 볼록 다각형으로 표현해 검출하는 방법이다. 서로 붙은 개체를 경계 상자보다 세밀한 형상으로 구별하려 한다.
Mini LED 백라이트와 LCD 패널
Mini LED는 백라이트, IPS와 VA는 액정 패널 방식이다. 로컬 디밍과 자체 발광의 차이 및 고주파 소음을 구분한다.
AI2-THOR
AI2-THOR는 가상 에이전트가 실내 공간을 이동하고 물체와 상호작용하는 시각 인공지능 연구 환경이다. 관측과 행동의 연속을 다루는 다양한 학습 및 계획 과제를 지원한다.