표에서 벡터 찾기
식별자가 0부터 V-1까지이고 벡터 차원이 d라면 기본 표는 V×d 행렬이다. 입력 번호가 i일 때 i번째 행을 출력한다. 번호 자체를 크기나 순서를 뜻하는 실수로 해석하는 것과는 다르다.
조회 예제
네 행이 각각 (1,0), (0,2), (-1,1), (3,4)인 표를 생각하자. 입력 번호열이 (3,1,3)이면 출력은 ((3,4),(0,2),(3,4))다. 같은 층을 한 번 호출할 때 같은 번호는 같은 행을 조회한다. 문맥에 따른 차이는 이후 처리나 별도의 문맥 표현에서 만들어질 수 있다.
크기와 매개변수
어휘 크기 5000, 벡터 차원 64인 기본 임베딩 표에는 320000개 값이 있다. 배치 크기 8, 번호열 길이 12라면 출력 형태는 8×12×64다. 벡터 차원을 늘리는 것과 어휘에 새 번호를 추가하는 것은 서로 다른 축을 바꾼다.
특수 번호와 학습 의미
0을 패딩용으로 예약한다면 실제 항목 번호와 구분하고 마스크 처리도 연결해야 한다. 마스크를 둔다고 출력 벡터가 반드시 영벡터가 되는 것은 아니다. 또한 벡터 사이의 거리가 의미 있는 유사도를 나타내는지는 학습 목적과 자료에 달렸으며 조회 표라는 형식만으로 보장되지 않는다.