논문:
제목: "대화형 추천 시스템 개선을 위한 과거 상호 작용 데이터 활용"
주소: https://dl.acm.org/doi/ pdf/10.1145/3340531.3412098
이에 대해 Meituan에서 출판한 논문은 처음입니다. 이 논문은 Renmin University와 Meituan이 공동으로 연구한 CIKM에 관한 짧은 논문입니다. 대화형 추천을 하려고 합니다.
최근 대화형 추천 시스템(CRS)이 새로운 실용적인 연구 주제로 떠오르고 있습니다. 대부분의 기존 CRS 방법은 대화 데이터만으로 사용자에 대한 효과적인 선호도 표현을 학습하는 데 중점을 둡니다. 그러나 본 논문에서는 과거 상호작용 데이터를 활용하여 새로운 관점에서 CRS를 개선한다. 이를 위해 본 논문에서는 사전 학습 방법을 통해 항목 기반 선호 시퀀스(과거 상호 작용 데이터)와 속성 기반 선호 시퀀스(대화 데이터)를 통합하는 새로운 사전 학습 방법을 제안합니다.
전자상거래 플랫폼에서 지능형 에이전트의 급속한 발전으로 대화형 추천 시스템(CRS)은 대화를 통해 사용자에게 고품질 추천을 제공하려는 새로운 연구 주제가 되었습니다. 일반적으로 CRS는 대화 모듈과 추천 모듈로 구성됩니다. 대화 모듈은 다단계 상호 작용을 통해 사용자 선호도를 얻는 데 중점을 두고 있으며, 추천 모듈은 추론된 선호도 정보를 활용하여 사용자에게 적합한 제품을 추천하는 방법에 중점을 둡니다.
대부분의 기존 CRS는 "시스템에 사용자 응답이 필요함" 모델로 설계되었습니다. 각 대화 라운드 동안 CRS는 사용자의 선호도에 대한 질문을 제기하고 사용자는 개인화된 피드백으로 시스템에 응답합니다. 일반적으로 시스템 쿼리는 항목의 일부 속성(예: 좋아하는 영화 장르)을 기반으로 생성되며 사용자 피드백은 해당 속성에 대한 사용자의 특정 선호도(예: 액션 영화를 좋아합니다)를 반영합니다. 주류 접근 방식은 이러한 다단계 대화에서 사용자의 속성 기반 선호도를 추론할 수 있는 추적 모듈을 구성하는 것입니다. 이러한 방식으로 추론된 선호도는 추론된 속성의 시퀀스(예: 영화 CRS의 "장르 = 액션 → 감독 = 제임스 카메론")로 표시될 수 있습니다. 이 시퀀스가 있으면 몇 가지 방법을 사용하여 추천을 만들 수 있습니다. , 지식 그래프는 추천에 사용될 수 있습니다.
그러나 이러한 기존 CRS 연구에는 두 가지 주요 문제가 있습니다. 첫째, 라운드 수를 줄이기 위해 대화 자체의 정보가 매우 제한적입니다. 따라서 시스템이 사용자와 상호 작용하므로 속성 기반 추론 선호도에서 일부 유용한 속성이 손실될 수 있습니다. 둘째, 여러 속성을 필터링한 후에도 추천 항목이 충분하지 않을 수 있습니다. /p>
이제 위에서 언급한 두 가지 문제를 해결하기 위해 아이템 기반 방식과 속성 기반 방식을 결합해야 합니다. 과거 상호작용 아이템 방식은 사용자의 장기적인 관심을 반영하는 방식이고, 세션 속성은 사용자의 현재 관심, 즉 단기 관심을 반영합니다.
A: 앞서 언급한 것처럼 CRS 시스템에서는 사용자가 여러 차례 대화를 나눈 후에는 항목 속성 집합이 있습니다. A는 이 집합입니다.
=? 이는 A에 속하며 항목의 속성입니다. 속성 순서
, 대화 전 k번째 단계에서 사용자가 상호작용한 항목은 어디에 있습니까?
: 또한 각 항목 ik도 속성 값 세트와 연관되어 있다고 가정합니다. Aik으로 표현되는 링크는 전체 속성 세트 A의 하위 집합입니다.
작업 정의: CRS 모듈에 따르면 속성 기반 시퀀스를 먼저 수집한 후 클릭 시퀀스를 추천에 사용합니다.
이 작업의 정의와 관련하여 심층적인 이해는 다음과 같습니다. 먼저 속성 순서를 갖고 그 다음 주로 클릭 순서를 기반으로 권장 사항을 제시합니다. 속성 순서의 모델링은 하위 모듈 작업인 순서입니다. 추천이 주요 작업이고, 순서 추천 작업은 속성 순서에서 업데이트됩니다. 그런 다음 이 정보는 속성 순서가 업데이트되는 한 반복적으로 사용될 수 있습니다. 논문의 기본 모델은 Transformer로 만들어졌습니다. 항목 ID의 임베딩 매트릭스 외에도 이 부분에는 속성의 임베딩 매트릭스도 있습니다. 위치 벡터는 말할 것도 없습니다.
중간 작업은 Transformer 프로세스, self-attention 및 ffn입니다. 여기서 변환기 구조를 이해하지 못한다면 논문을 읽어보세요.
출력 부분은 후보 항목 i를 예측할 확률입니다.
그 중 ei는 i의 원래 임베딩 벡터이고, W는 매핑 행렬이며, 두 s는 변환기 구조에 의해 형성된 항목 및 속성입니다.
Bert에 익숙한 사람이라면 항목 순서의 항목을 마스크로 대체한 다음 이러한 마스크된 항목을 예측하는 마스크 언어 모델을 알고 있습니다.
그 중 fik는 항목 변환기 구조의 k 위치로부터의 벡터, SA는 친숙한 구조의 Aik 위치로부터의 벡터, W는 매핑 행렬, eik은 원본 항목이다 임베딩.
항목 기반 정보를 속성 기반 정보와 더 효과적으로 통합하기 위해 이 논문에서는 Aik을 대체하기 위해 무작위 네거티브 샘플링 속성을 사용하는 대체 마스크 방법도 채택합니다.
여기서 fik는 벡터입니다. trm 이후 대체된 항목의 W는 매핑 행렬, faj는 속성 trm의 벡터, 예측 확률은 aj가 대체되었는지 여부입니다.
LTR에서 쌍별 최적화 방법을 채택한다면 네거티브 샘플링 기술이 중요하며, 네거티브 샘플의 능력보다 포지티브 샘플의 확률이 더 크게 최적화되므로 네거티브 샘플이 필요하다. 샘플링 방법을 선택하면 전체 모델의 최적화가 향상됩니다.
MIP의 네거티브 샘플링 방식은 IR-GAN과 ELECT 두 논문에서 사용된 방식이다.
논문에서는 SASRec을 첫 번째 단계 쌍별 순위 모델로 선택했습니다. 이 모델은 논문에서 음성 샘플을 샘플링하는 데 사용되는 모델이기도 합니다. 네거티브 샘플링이 수행되는 방법은 다음과 같습니다. 먼저 쌍별 순위를 사용하여 모델을 생성기로 훈련하고 후보 항목의 확률 분포를 얻습니다. 이 확률 분포를 사용하면 순위가 높은 항목이 상위 항목과 다르기 때문에 네거티브 샘플링을 사용할 수 있습니다. 아주 가깝습니다. 이 모델을 선택한 이유에 대해 논문에서는 이 논문이 시퀀스 추천 작업에서 특히 좋은 성능을 발휘하기 때문에 순위 모델로 잘 작동한다는 것을 의미합니다. 생성기는 표준 GAN처럼 업데이트될 수 있지만 매개변수는 한 번만 학습합니다. 경험적으로 우리는 반복적인 업데이트가 제한된 개선을 제공한다는 것을 발견했습니다.
전체 훈련은 두 단계로 나누어집니다. 첫 번째는 두 가지 표현 학습 모델을 훈련하는 사전 훈련 단계입니다. 두 번째는 순위 손실을 학습하는 미세 조정 단계입니다. /p>