양방향 문맥의 학습
과거 행동을 한 방향으로만 인코딩하면 이력 표현의 활용이 제한될 수 있다. BERT4Rec은 양쪽 문맥을 함께 조건으로 삼는 표현을 제안했다.
가린 항목의 예측
목표 항목이 문맥을 통해 간접적으로 보이면 학습이 자명해질 수 있다. 이를 피하기 위해 행동열의 일부 항목을 가리고 양옆 문맥으로 복원하는 빈칸 채우기 과제를 사용한다.
평가와 재현 조건
원 연구는 네 벤치마크에서 순차 모델을 비교했다. 2022년 재현성 연구는 기본 설정에서 결과를 재현하지 못했지만 충분히 오래 학습하면 원래 결과를 재현할 수 있음을 보였다. 구현과 학습 시간을 함께 확인해야 비교를 해석할 수 있다.