Aufmerksamkeitsfaktorisierungsmaschine mit Überprüfung

Wissenschaftliche Berichte Band 13, Artikelnummer: 13454 (2023) Diesen Artikel zitieren

278 Zugriffe

1 Altmetrisch

Details zu den Metriken

In Empfehlungssystemen enthalten Benutzerbewertungen zu Artikeln umfangreiche semantische Informationen, die die Präferenzen und Artikelmerkmale der Benutzer ausdrücken können. Bestehende auf Bewertungen basierende Empfehlungsmethoden verwenden jedoch entweder das statische Wortvektormodell oder können lange Sequenzmerkmale in Bewertungen nicht effektiv extrahieren, was zu einer eingeschränkten Fähigkeit des Benutzermerkmalsausdrucks führt. Darüber hinaus wird der Einfluss unterschiedlicher oder nutzloser Funktionsinteraktionen zwischen Benutzern und Elementen auf die Empfehlungsleistung ignoriert. Daher schlagen wir eine Aufmerksamkeitsfaktorisierungsmaschine mit bewertungsbasierter Benutzer-Artikel-Interaktion zur Empfehlung (AFMRUI) vor, die zunächst RoBERTa nutzt, um die Einbettungsfunktion jeder Benutzer-/Artikelbewertung zu erhalten, und bidirektionale, geschlossene wiederkehrende Einheiten mit einem Aufmerksamkeitsnetzwerk kombiniert, um mehr hervorzuheben nützliche Informationen sowohl in Benutzer- als auch in Artikelbewertungen. Anschließend verwenden wir AFM, um Interaktionen zwischen Benutzer-Element-Funktionen zu lernen, um die Bedeutung verschiedener Interaktionen zwischen Benutzer-Element-Funktionen zu unterscheiden und um eine genauere Bewertungsvorhersage zu erhalten, um so Empfehlungen zu fördern. Schließlich führten wir eine Leistungsbewertung an fünf realen Datensätzen durch. Experimentelle Ergebnisse zu fünf Datensätzen zeigten, dass das vorgeschlagene AFMRUI die modernsten, auf Überprüfungen basierenden Methoden in Bezug auf zwei häufig verwendete Bewertungsmetriken übertrifft.

Mit der rasanten Entwicklung der Internetbranche und der Big-Data-Technologie spielen Empfehlungssysteme in sozialen Netzwerken1, akademischer Bildung2, E-Commerce3 usw. eine immer wichtigere Rolle. Heutzutage sind Empfehlungssysteme zu einem unverzichtbaren Bestandteil des täglichen Lebens geworden, wie z. B. Online-Shopping4, Empfehlung für den nächsten Point-of-Interest5, Musikempfehlung6 und Video-Push7. Anhand der historischen Verhaltensdaten der Benutzer können Empfehlungssysteme die Bewertungen von Artikeln durch Benutzer vorhersagen und personalisierte Empfehlungen durchführen, um Benutzern dabei zu helfen, Artikel, an denen sie interessiert sind, schnell zu finden und die Zufriedenheit der Benutzer zu verbessern. Um bessere personalisierte Empfehlungsdienste bereitzustellen, wird es daher zu einer Herausforderung, die Bewertungen der Benutzer für Artikel genau vorherzusagen, um die Empfehlung zu steigern.

Um das oben genannte Problem zu lösen, haben Forscher verschiedene Methoden zur Vorhersage der Artikelbewertung vorgeschlagen, von denen die auf kollaborativer Filterung (CF) basierende Bewertungsvorhersagemethode8 eine der am weitesten verbreiteten Methoden ist. Die meisten CF-Methoden basieren auf der Matrixfaktorisierung9,10 und lernen latente Merkmale von Benutzern und Elementen aus Matrixmodellen für Empfehlungen. Unter Berücksichtigung der Benutzerbewertungen für Artikel, die deren Interaktionsverhalten und explizite Merkmale widerspiegeln, ermittelten Zhang et al.11 Benutzer- und Artikelmerkmale aus Benutzer-Artikelbewertungsinformationen auf der Grundlage einer tiefen Matrixfaktorisierung. Mit dem rasanten Wachstum der Anzahl der Benutzer und Artikel treten jedoch immer mehr Probleme auf, wie z. B. die spärliche Verfügbarkeit von Bewertungsdaten. Leider sind die aus Bewertungsdaten extrahierten Informationen begrenzt, was die Empfehlungsleistung einschränkt.

Im Vergleich zu Bewertungsdaten enthalten Bewertungsinformationen eine umfangreiche Semantik, die nicht nur die Zufriedenheit der Benutzer mit der Qualität und Funktion des Artikels widerspiegeln, sondern auch indirekt die Vorlieben und Artikelmerkmale der Benutzer zum Ausdruck bringen kann12. Daher hat die bewertungsbasierte Artikelbewertungsvorhersage große Aufmerksamkeit von Forschern wie ConvMF13, DeepCoNN14, D-Attn15, NARRE16 und DAML17 usw. auf sich gezogen. Diese Methoden können das durch Bewertungsdaten verursachte Sparsity-Problem durch Bewertungsinformationen lindern und somit erhalten relativ genaue Vorhersagebewertungen für Empfehlungen. Es gibt jedoch zwei wesentliche Einschränkungen:

Die Ausdrucksfähigkeit von Benutzer-/Artikelmerkmalen ist unzureichend. In der oben genannten Forschung nutzen D-Attn15, DAML17 usw. statisch codierte Wortvektoren wie word2vec oder Glove, was zu einer spärlichen Merkmalsdarstellung, unzureichender Semantik und Polysemie führt, was sich auf die Fähigkeit des Modells auswirkt, Benutzer- und Artikelmerkmale zu extrahieren. Darüber hinaus verwenden Modelle wie ConvMF13, DeepCoNN14 und NARRE16 Convolutional Neural Networks (CNN), um Benutzer- und Artikelmerkmale aus Rezensionen zu extrahieren, die Textmerkmale mit langen Sequenzen in Rezensionen nicht effektiv extrahieren können und daher Benutzer- oder Artikelmerkmale nicht genau ausdrücken können, was die Funktionalität einschränkt Modellleistung.

Der Einfluss von Funktionsinteraktionen zwischen Benutzern und Elementen auf die Empfehlungsleistung wird ignoriert. Beispielsweise erhalten Modelle wie DeepCoNN14, D-Attn15, NARRE16, DAML17 usw. Vorhersagebewertungen durch Skalarprodukt oder Faktorisierungsmaschine nach dem Zusammenfügen von Benutzer- und Artikelfunktionen. Solche Modellierungsmethoden für Merkmalsinteraktionen ignorieren unterschiedliche Auswirkungen verschiedener Merkmalsinteraktionen auf Empfehlungsergebnisse. Darüber hinaus führen nutzlose Funktionsinteraktionen zu Rauschen und verringern so die Empfehlungsleistung.

Um die oben genannten Probleme anzugehen, wurde in diesem Artikel eine Aufmerksamkeitsfaktorisierungsmaschine mit bewertungsbasierter Benutzer-Artikel-Interaktion für Empfehlungen vorgeschlagen. Um insbesondere bewertungsbasierte Benutzerfunktionen und Elementfunktionen besser zu erfassen, erhalten wir zunächst die Einbettungsfunktion jeder Bewertung über das vorab trainierte Modell RoBERTa, wodurch das Problem behoben wird, dass sich statische Wortvektoren nicht an Polysemie anpassen können. Anschließend kombinieren wir die bidirektionale Gate-Recurrent-Unit (BiGRU) und das Aufmerksamkeitsnetzwerk, um wichtige Informationen in Bewertungen hervorzuheben und die Einbettung von Benutzerbewertungen und Artikelbewertungen zu erhalten. Darüber hinaus werden die erhaltenen Bewertungen, die von Benutzern und Artikeln eingebettet wurden, miteinander verkettet und in die Aufmerksamkeitsfaktorisierungsmaschine (AFM) eingegeben, um eine genauere Bewertungsvorhersage durchzuführen und Empfehlungen abzugeben. Die Hauptbeiträge dieser Arbeit lassen sich wie folgt zusammenfassen:

Wir erstellen ein erweitertes Framework für die Darstellung von Benutzer-/Artikelmerkmalen, das RoBERTa nutzt, um die Einbettungsfunktion jeder Benutzer-/Artikelbewertung zu erhalten, um das Problem der Polysemie zu lindern, und BiGRU und das Aufmerksamkeitsnetzwerk verwendet, um den Beitrag der Einbettungsfunktion jeder Bewertung zu messen. um eine bessere Ausdrucksfähigkeit der Benutzer-/Artikelmerkmale zu erhalten;

Wir verwenden AFM, um Interaktionen zwischen Benutzer und Objekt zu lernen und die Wichtigkeit verschiedener Interaktionen zwischen Funktionen zu unterscheiden, was die Auswirkungen von Rauschen, das durch nutzlose Interaktionen mit Funktionen verursacht werden kann, weiter abmildern kann.

Wir führen umfassende Experimente mit fünf realen Datensätzen durch, die zeigen, dass unser vorgeschlagenes AFMRUI-Modell die modernsten Modelle übertrifft.

Der Rest dieses Papiers ist wie folgt gegliedert. Unter „Ähnliche Arbeiten“ geben wir einen Überblick über verwandte Arbeiten. Abschnitt „Der vorgeschlagene Ansatz“ erläutert unser vorgeschlagenes AFMRUI-Modell. Als nächstes bewerten wir die Wirksamkeit unseres Modells und analysieren die experimentellen Ergebnisse in „Experimente“. Schließlich präsentiert „Schlussfolgerungen“ die Schlussfolgerungen und skizziert Richtungen für die zukünftige Arbeit.

Bei bewertungsbasierten Empfehlungsaufgaben werden in der Regel Methoden zur Darstellung von Worteinbettungen verwendet, um Einbettungsfunktionen für Benutzer- oder Artikelbewertungen auszudrücken. Modelle wie ConvMF13, DeepCoNN14, D-Attn15, NARRE16 und DAML17 usw. verwenden Glove18 und Word2Vec19, die zu statischen Wortvektormodellen gehören. Die erhaltenen Einbettungsfunktionen für Benutzer-/Artikelbewertungen können sich jedoch nicht mit der kontextuellen Semantik ändern, und es entsteht das Problem der Polysemie. Daher werden dynamische Wortvektoren zur Lösung des Problems verwendet. Beispielsweise schlug Google die Bidirektionale Encoderdarstellung von Transformers (BERT)20 vor, ein vorab trainiertes dynamisches Wortvektormodell, um bei 11 Aufgaben zur Verarbeitung natürlicher Sprache hervorragende Ergebnisse zu erzielen. In neueren Untersuchungen verwenden SIFN21 und U-BERT22 BERT, um die Bewertungseinbettungsdarstellung zu erhalten, was im Vergleich zu Methoden, die statische Wortvektormodelle verwenden, eine große Leistungsverbesserung bei der Bewertungsvorhersage aufweist.

Basierend auf BERT wurde ein verbessertes Modell RoBERTa23 eingeführt, das nicht nur die Vorteile von BERT übernimmt, sondern auch die nächste Satzvorhersageaufgabe in BERT vereinfacht. RoBERTa wird mithilfe neuer Hyperparameter und eines großen neuen Datensatzes neu trainiert, wodurch das Modell umfassender trainiert werden kann und eine deutliche Leistungsverbesserung erzielt wird. Zu diesem Zweck übernehmen wir RoBERTa in unserem Modell, um das Problem der Polysemie in Benutzer-/Artikelrezensionen zu mildern, indem wir die erhaltene Einbettungsdarstellung auf Wortebene jeder Rezension kodieren.

Mit der Zunahme interaktiver Informationen, die von Benutzern in verschiedenen Bereichen generiert werden, werden verschiedene interaktive Informationen zu Benutzern und Artikeln, z. B. Bewertungen, in das Empfehlungssystem eingeführt, um die Leistung zu verbessern. Als Nächstes werden wir zwei bewertungsbasierte Empfehlungsmethoden skizzieren.

Themenmodellierungsansätze waren die ersten, die Rezensionen auf Empfehlungssysteme anwendeten, wobei sie hauptsächlich die latente Themenverteilung in Rezensionen durch latente Dirichlet-Zuteilung (LDA) oder nicht-negative Matrixfaktorisierung ermittelten, und demonstrierten die Nützlichkeit von Rezensionen. Beispielsweise schlugen Xu et al.24 ein themenmodellbasiertes CF-Modell vor, das hauptsächlich auf Überprüfungen basierende Funktionen durch ein LDA-basiertes erweitertes Modell erhielt. Huang et al.25 ermittelten in ähnlicher Weise mithilfe des LDA-Algorithmus potenzielle Merkmale von Benutzern im Yelp-Rezensionsdatensatz für Restaurants, die Restaurantbetreibern dabei helfen können, Kundenpräferenzen zu verstehen. Da das auf LDA basierende Themenmodell die Informationen zur Wortreihenfolge nicht beibehalten kann, werden die Kontextinformationen in den Rezensionen ignoriert.

Um die Probleme des LDA-Algorithmus zu lösen, schlugen Bao et al.26 ein TopicMF-Modell vor, das die latenten Faktoren von Benutzern und durch Matrixfaktorisierung erhaltenen Elementen zur Korrelation nutzte, um die Genauigkeit der Bewertungsvorhersage zu verbessern. Ganu et al.27 lernten Präferenzmerkmale jedes Benutzers aus Bewertungsinformationen und verwendeten eine CF-Methode basierend auf dem Latent Factor Model (LFM) zur Bewertungsvorhersage. Allerdings kann das LFM-Modell nur diese linearen und Low-Level-Features lernen, was dem interaktiven Lernen zwischen Features aus Fusionsschichten nicht förderlich ist.

Die oben genannten Methoden verwenden das Bag-of-Words-basierte Themenmodell für die Rezensionsverarbeitung, das die Informationen zur Wortreihenfolge nicht gut bewahren kann, sodass die in Rezensionen enthaltenen lokalen Kontextinformationen ignoriert werden und nur oberflächliche semantische Informationen extrahiert werden können. Allerdings können die umfangreichen semantischen Informationen in Benutzer-/Artikelbewertungen nicht genau erfasst werden. Während unserer Forschung verwenden wir RoBERTa und BiGRU, um Benutzerbewertungen und Artikelbewertungen zu modellieren, um effektiv Funktionen zur Einbettung von Benutzer- und Artikelbewertungen mit umfassender Semantik zu erhalten.

In den letzten Jahren wurde CNN häufig für die Aufgabe bewertungsbasierter Empfehlungen eingesetzt. Beispielsweise führten Kim et al.13 erstmals CNN in das Empfehlungssystem ein und schlugen das ConvMF-Modell vor. Allerdings verwendet das ConvMF-Modell während des Trainings nur Artikelbewertungen und Benutzerbewertungen und ignoriert Informationen zu Benutzerbewertungen. Für dieses Problem führten Zheng et al.12 ein tiefes paralleles Netzwerk-Framework DeepCoNN ein, das die Probleme in ConvMF durch die Verwendung zweier paralleler CNN-Netzwerke zur Modellierung von Benutzerbewertungsdokumenten bzw. Artikelbewertungsdokumenten linderte. In Anbetracht der Tatsache, dass unterschiedliche Wörter für die Modellierung von Benutzern und Elementen unterschiedliche Bedeutung haben, führten Seo et al.15 CNN mit doppelter lokaler und globaler Aufmerksamkeit ein, um die Einbettung von Bewertungen für jeden Benutzer und jedes Element zu lernen und so eine Bewertungsvorhersage durchzuführen. Chen et al.16 führten ein neuronales Aufmerksamkeitsregressionsmodell mit Erklärungen auf Rezensionsebene ein, das einen Aufmerksamkeitsmechanismus auf Rezensionsebene nutzte, um jeder Rezension unterschiedliche Gewichtungen zuzuweisen und so die Empfehlung interpretierbar zu machen. Die oben genannten Methoden verwenden CNN zum Kodieren von Rezensionen, CNN-basierte Methoden können jedoch nicht effektiv Merkmale aus Rezensionen unterschiedlicher Länge extrahieren.

Um das oben genannte Problem anzugehen, lernten Tay et al.28 Feature-Darstellungen von Benutzern und Elementen mithilfe von Zeigern auf Wort- und Rezensionsebene basierend auf Rezensionsinformationen, um wichtige Informationen in Rezensionen zu erhalten und die Vorhersageergebnisse zu verbessern. Chen et al.29 modellierten dynamische Präferenzen von Benutzern sowie Artikelattribute durch Gated Recurrent Unit (GRU) und CNN auf Satzebene und verbesserten die Interpretierbarkeit des vorgeschlagenen Modells.

Gemäß der obigen Analyse weisen bewertungsbasierte Deep-Learning-Empfehlungsmethoden im Vergleich zu themenbasierten Modellierungsempfehlungsmethoden eine überlegene Leistung auf. Daher nutzen wir in unserem Modell BiGRU und integrieren ein Aufmerksamkeitsnetzwerk, um die Wichtigkeit jeder Bewertung zu messen und so die Darstellung von Benutzer-/Artikelmerkmalen zu verbessern.

Für die Feature-Interaktionen zwischen Benutzern und Elementen werden in einigen Forschungsarbeiten traditionelle Feature-Interaktionsmethoden verwendet, wie Punktprodukt30, vollständig verbunden31, Faktorisierungsmaschinen (FM)32 usw. FM sind überwachte Lernmethoden, die lineare Regressionsmodelle durch die Einbeziehung von Feature-Interaktionen erweitern. Multi-Pointer-Co-Attention-Netzwerke28 zeigen beispielsweise, dass FM aufgrund seiner guten Interaktionsfähigkeit bessere Ergebnisse erzielt als andere Interaktionsmodelle. Herkömmliche Methoden modellieren jedoch alle Merkmalsinteraktionen und können die Bedeutung verschiedener Merkmalsinteraktionen nicht unterscheiden. Daher schlugen Zhang et al.33 ein Kombinationsmodell aus FM und tiefem neuronalem Netzwerk vor, das auf dem Modell des neuronalen Netzwerks der Faktorisierungsmaschine basiert, das Merkmalskombinationen höherer Ordnung generiert und die Lernfähigkeit von Modellen für Merkmale stärkt.

Für verschiedene Stichproben sollten jedoch auch die Gewichte verschiedener Merkmalsinteraktionen unterschiedlich sein. Mit anderen Worten: Für diese unwichtigen Feature-Interaktionen sollte deren Gewichtung reduziert werden. Bei diesen hochwichtigen Funktionsinteraktionen sollte die Gewichtung hingegen erhöht werden. Zu diesem Zweck verbesserten Xiao et al.34 FM, indem sie die Bedeutung verschiedener Merkmalsinteraktionen erkannten, und führten ein AFM ein, das die Bedeutung von Merkmalsinteraktionen durch Aufmerksamkeitsmechanismen lernen kann, um das Problem der dadurch verursachten verringerten Leistung von Merkmalsdarstellungen zu lindern diese nutzlosen Funktionsinteraktionen.

Inspiriert durch Referenz34 verwendet unser AFMRUI-Modell AFM, um die Merkmalsinteraktionen von Benutzern und Elementen zu lernen und bessere Merkmalsdarstellungen zu erhalten, indem die Bedeutung verschiedener Merkmalsinteraktionen unterschieden wird, und um die Auswirkungen von Rauschen zu mildern, die durch nutzlose Merkmalsinteraktionen verursacht werden können.

In diesem Abschnitt stellen wir zunächst die Problemdefinition unserer Empfehlungsaufgabe vor und listen die in unserer Arbeit verwendeten Schlüsselnotationen in Tabelle 1 auf. Anschließend erarbeiten wir den Modellrahmen von AFMRUI.

Nehmen Sie an, dass Datensatz D M Benutzer und N Elemente sowie zahlreiche Rezensionen und die entsprechenden Bewertungen enthält. Jede Stichprobe im Datensatz D ist als Quadruplet aus Benutzer-ID, Artikel-ID und Bewertungsbewertung (u, i, r, y(x)) definiert, was bedeutet, dass Benutzer u eine Bewertung r abgibt und die entsprechende Bewertung y(x) für Artikel i abgibt. Für alle Proben in Datensatz D können wir den Überprüfungssatz jedes Benutzers und den Überprüfungssatz jedes Elements abrufen, indem wir Benutzer-ID und Artikel-ID abrufen. In dieser Arbeit konzentrieren wir uns auf die Vorhersage der Bewertung eines Benutzers für einen Artikel basierend auf den erhaltenen entsprechenden Bewertungssätzen für Benutzer und Artikel. Wir definieren die bewertungsbasierte Empfehlungsaufgabe wie folgt:

Definition (überprüfungsbasierte Empfehlungsaufgabe). Bei einem Bewertungssatz D\(_u\) des Benutzers u und einem Bewertungssatz D\(_i\) eines Artikels i besteht die Aufgabe der bewertungsbasierten Empfehlung darin, die Bewertung \(\hat{y}(x) des Benutzers u vorherzusagen )\) auf den Punkt i und gibt dann eine Empfehlung ab.

Die Architektur des vorgeschlagenen AFMRUI-Modells ist in Abb. 1 dargestellt. Das AFMRUI-Modell besteht aus zwei parallelen Netzwerken mit ähnlichen Strukturen, nämlich dem Benutzerbewertungsnetzwerk RN\(_u\) und dem Artikelbewertungsnetzwerk RN\(_i\). Der Bewertungssatz D\(_u\) eines Benutzers u und der Bewertungssatz D\(_i\) eines Elements i werden RN\(_u\) bzw. RN\(_i\) als Eingaben übergeben und die entsprechende Bewertung vorhergesagt Der Artikel i wird als Ausgabe erstellt, um eine Empfehlung abzugeben. Aus Abb. 1 ist ersichtlich, dass das AFMRUI-Modell aus vier Schichten besteht. Jede Ebene ist wie folgt beschrieben:

Abbildung des AFMRUI-Modells.

Bewertungseinbettungsschicht, die hauptsächlich verwendet wird, um die Einbettungsfunktion jeder Bewertung aus den Mengen D\(_\textit{u}\) und D\(_i\) von RoBERTa zu erhalten;

Sequenzkodierungsschicht, die hauptsächlich BiGRU nutzt, um die Einbettungsmerkmale jeder von der Rezensionseinbettungsschicht erstellten Rezension zu kodieren, und die internen Abhängigkeiten zwischen den Einbettungsmerkmalen von Rezensionen vollständig auswertet, um die entsprechenden versteckten Merkmale zu erhalten;

Aufmerksamkeitsschicht, die verwendet wird, um die Einbettung von Bewertungen eines Benutzers oder eines Artikels zu erhalten, indem die Gewichtung verborgener Merkmale jeder Bewertung adaptiv gemessen wird, sodass sich das Modell auf nützlichere Bewertungen konzentrieren und die Fähigkeit zum Ausdruck von Merkmalen von Benutzern und Artikeln verbessern kann;

Bewertungsvorhersageschicht, die zunächst die aus der Aufmerksamkeitsschicht erhaltenen Bewertungen von Benutzer u und Artikel i verkettet und AFM weiter nutzt, um Benutzer-Artikel-Feature-Interaktionen zu lernen, um die Bewertung von Benutzer u für Artikel i vorherzusagen, und dann eine Empfehlung ausspricht.

Da sich RN\(_u\) und RN\(_i\) nur in ihren Eingaben unterscheiden, nehmen wir als nächstes das RN\(_u\)-Netzwerk als Beispiel, um den Prozess im Detail zu veranschaulichen. Beachten Sie, dass der in den folgenden Unterabschnitten „Einbettungsschicht überprüfen“, „Sequenzkodierungsschicht“ und „Aufmerksamkeitsschicht“ beschriebene Prozess auch auf das RN\(_i\)-Netzwerk angewendet wird.

Die Bewertungseinbettungsschicht wird verwendet, um die Einbettungsfunktion jeder Bewertung aus dem Benutzerbewertungssatz D\(_u\) von RoBERTa zu erhalten. Gemäß den Anforderungen von RoBERTa müssen die Originalrezensionen von D\(_u\) vorverarbeitet werden, um die entsprechenden Einbettungsfunktionen für Rezensionen zu erreichen.

Konkret entfernen wir zunächst Sonderzeichen wie mathematische Symbole und Satzzeichen in jeder Rezension aus D\(_u\) und legen die erhaltenen Rezensionen auf eine einheitliche maximale Länge fest. Anschließend kombinieren wir jede verarbeitete Bewertung zu einer Liste, um die entsprechende Benutzerbewertungsliste RL\(_u\) zu erhalten. Darüber hinaus legen wir die erhaltene Bewertungsliste jedes Benutzers im Datensatz auf eine feste Länge n fest, wobei n die maximale Anzahl der in RoBERTa eingegebenen Bewertungen der Benutzer darstellt. Wenn die Länge von RL\(_u\) n überschreitet, wird die Kürzungsoperation durchgeführt, um die ersten n Bewertungen in RL\(_u\) zu erhalten. Andernfalls verwenden wir Nullvektoren für den Füllvorgang nach der RoBERTa-Zuordnung, um die angegebene Länge n zu erhalten. Anschließend fügen wir nach der Verarbeitung mit fester Länge die Sonderzeichen ~~und~~ am Anfang und am Ende jeder Überprüfung ein, um die Überprüfungsliste RD\(_u\) des Benutzers u zu erhalten, bezeichnet als \(\{ {d_{ {u_1}}},{d_{{u_2}}},\ldots ,{d_{{u_n}}}\}\).

Anschließend muss jede Überprüfung in der Liste RD\(_u\) in Form einer Einbettungsdarstellung auf Wortebene ausgedrückt werden, die aus Token-Einbettungen, Segment-Einbettungen und Positionseinbettungen besteht. Lesen Sie die Rezension „Ich liebe dieses Album. Es ist so ein inspirierendes, lustiges Album.“ von Benutzer A2B2J5VS139VLM zum Artikel B004L49K20 im Datensatz „Digitale Musik“ als Beispiel. Abbildung 2 zeigt, wie man die Einbettungsdarstellung der Rezension auf Wortebene erhält.

Wie in Abb. 2 dargestellt, wird die ursprüngliche Rezension als Eingabe der Einbettungsdarstellung auf Wortebene vorverarbeitet. Dann extrahieren wir Token-Einbettungen, Segment-Einbettungen bzw. Positionseinbettungen aus der vorverarbeiteten Rezension und fügen sie dann hinzu, um die Einbettungsdarstellung der Rezension auf Wortebene zu erhalten. Für das f-te Token in der vorverarbeiteten Benutzerbewertung \({d_{{u_i}}}\) wird seine Einbettungsdarstellung auf Wortebene wie folgt bezeichnet:

wobei E\(_{token(f)}\) die Token-Einbettung ist, die dem f-ten Token in \({d_{{u_i}}}\ entspricht, die durch Abbildung des Tokens als 768-dimensional erhalten wird Einbettung; E\(_{seg(f)}\) stellt die Segmenteinbettung dar, die dem f-ten Token in \({d_{{u_i}}}\ entspricht. Da jede vorverarbeitete Rezension als Satz betrachtet werden kann, ist die Segmenteinbettung jedes Wortes in \({d_{{u_i}}}\) gleich. Wie in den „Segmenteinbettungen“ in Abb. 2 gezeigt, beträgt die Segmenteinbettung jedes Tokens aus der Überprüfung im Beispiel E\(_A\); E\(_{pos(f)}\) ist die Positionseinbettung, die das Ergebnis der Codierung der Position jedes Wortes in \({d_{{u_i}}}\ darstellt.

Veranschaulichung, wie man die Einbettungsdarstellung einer Rezension auf Wortebene erhält.

Basierend auf der obigen Verarbeitung können wir \({\mathrm{{r}}_{{u_i}}}\), die Einbettungsdarstellung auf Wortebene von \({d_{{u_i}}}\) aus dem erhalten Liste RD\(_u\), dargestellt als:

Indem wir die gleiche Operation für jede vorverarbeitete Rezension aus RD\(_u\) durchführen, erhalten wir die entsprechende Einbettungsdarstellung auf Wortebene jeder Rezension, dargestellt als \(\{ {\mathrm{{r}}_{{u_1}} },{\mathrm{{r}}_{{u_2}}},\ldots ,{\mathrm{{r}}_{{u_n}}}\}\), wobei n die angegebene maximale Anzahl von Benutzern darstellt Bewertungen.

Durch die Berücksichtigung des Multi-Head-Aufmerksamkeitsmechanismus in RoBERTa können die semantischen Informationen zwischen Token in einer Rezension effektiv erfasst werden, wodurch das Problem der Polysemie bei Benutzer-/Artikelrezensionen gemindert werden kann. Daher nutzen wir RoBERTa, um die erhaltene Einbettungsdarstellung auf Wortebene jeder Rezension semantisch zu kodieren. Insbesondere können wir angesichts der Bewertungseinbettungsdarstellung auf Wortebene \({\mathrm{{r}}_{{u_i}}}\) als Eingabe von RoBERTa die entsprechende Bewertungseinbettungsfunktion \({\mathrm{{ O}}_{{u_i}}}\), bezeichnet als:

wobei \({\mathrm{{O}}_{{u_i}}}\) ein festes c-dimensionales semantisches Merkmal ist.

Dann können die Einbettungsmerkmale von Rezensionen aus RD\(_u\), die von RoBERTa ausgegeben werden, durch eine Rezensionseinbettungsmerkmalsliste \({{\textbf{O}}_u} \in {\mathbb {R}^{n \times c}}\), bezeichnet als \({{\{ }}{{\text {O}}_{{u_1}}},{{\text {O}}_{{u_2}}},\ldots ,{{\text {O}}_{{u_n}}}\}\).

Die Sequenzkodierungsschicht wird verwendet, um die entsprechenden verborgenen Merkmale jeder Rezension zu erhalten. Um die Beziehungen zwischen den Einbettungsfunktionen von Bewertungen des Benutzers u zu erfassen, verwenden wir BiGRU, das sich in praktischen Anwendungen als erfolgreich erwiesen hat35\(^,\)36, um die Einbettungsfunktionen jeder Bewertung aus der Liste \({{\textbf {O}}_u}\). Auf diese Weise kann die Einbettungsfunktion jeder Rezension aus Vorwärts- und Rückwärtsrichtung modelliert werden und die internen Abhängigkeiten zwischen den Einbettungsfunktionen der Rezension werden vollständig ausgewertet, um die entsprechenden verborgenen Funktionen zu erhalten.

Konkret nehmen wir die Liste \({{\{ }}{{\text {O}}_{{u_1}}},{{\text {O}}_{{u_2}}},\ldots ,{ {\text {O}}_{{u_n}}}\}\) als Eingabe von BiGRU, um das entsprechende vorwärts verborgene Merkmal und rückwärts verborgene Merkmal zu erhalten, dargestellt als:

wobei \(\overrightarrow{{\mathrm{{h}}_{{u_i}}}}\) das vorwärts verborgene Merkmal darstellt, das \({\mathrm{{O}}_{{u_i}}}\) entspricht , \(\overrightarrow{GRU}\) repräsentiert die Vorwärtsverarbeitung von \({\mathrm{{O}}_{{u_1}}}\) nach \({\mathrm{{O}}_{{u_n}} }\), \(\overrightarrow{{\mathrm{{h}}_{{u_{i - 1}}}}}\) stellt das vorwärts verborgene Merkmal dar, das \({\mathrm{{O}}_ {{u_{i - 1}}}}\); entsprechend stellt \(\overleftarrow{{\mathrm{{h}}_{{u_i}}}}\) das rückwärts verborgene Merkmal dar, das \({\mathrm{{O}}_{{u_i}}}\ entspricht ), \(\overleftarrow{GRU}\) repräsentiert die Rückwärtsverarbeitung von \({\mathrm{{O}}_{{u_n}}}\) nach \({\mathrm{{O}}_{{u_1} }}\), \(\overleftarrow{{\mathrm{{h}}_{{u_{i + 1}}}}}\) stellt das rückwärts verborgene Merkmal dar, das \({\mathrm{{O}} _{{u_{i + 1}}}}\).

Dann verketten wir \(\overrightarrow{{\mathrm{{h}}_{{u_i}}}}\) mit \(\overleftarrow{{\mathrm{{h}}_{{u_i}}}}\) jeder Überprüfung, um das entsprechende verborgene Merkmal \({{\text {h}}_{{u_i}}} \in {\mathbb {R}^{2l}}\) zu erhalten, wobei l die verborgene Dimension jedes einzelnen darstellt GRU. \({{\text {h}}_{{u_i}}}\) wird bezeichnet als:

Auf ähnliche Weise können wir das gesamte verborgene Merkmal \({{\textbf{H}}_u} \in {\mathbb {R}^{n \times 2l}}\) erhalten, das der Liste \({{\textbf{O }}_u}\) durch die Sequenzcodierungsschicht, bezeichnet als:

Da Benutzerbewertungen zu unterschiedlichen Artikeln unterschiedliche Benutzerpräferenzen widerspiegeln, führen wir einen Aufmerksamkeitsmechanismus37\(^,\)38 ein, um Gewichtungen adaptiv zu messen, um verborgene Funktionen zu überprüfen, und diese nützlicheren, informativen Bewertungen zusammenzufassen, um eine Einbettung von Benutzerbewertungen zu bilden.

Konkret nimmt das Aufmerksamkeitsnetzwerk das gesamte verborgene Merkmal \({{\textbf{H}}_u}\) als Eingabe und liefert einen entsprechenden Vektor von Aufmerksamkeitsgewichten, \({\alpha _u}\in {\mathbb {R }^{1\times n}}\), dargestellt als:

wobei \({{\text {w}}_1} \in {\mathbb {R}^{1 \times {t_1}}}\) einen Vektor von Parametern darstellt, \({{\textbf{W}}_1 } \in {\mathbb {R}^{{t_1} \times 2l}}\) ist eine Gewichtsmatrix, \({t_1}\) repräsentiert die versteckte Einheitszahl im Aufmerksamkeitsnetzwerk. \({\text {soft}}\max ( \cdot )\) wird verwendet, um den Aufmerksamkeitsgewichtungsvektor zu normalisieren. Jede Dimension in \({\alpha _u}\) gibt den Grad der Benutzerpräferenz an, die in jeder Bewertung zum Ausdruck kommt.

Dann berechnen wir die gewichteten Summen, indem wir den Aufmerksamkeitsgewichtungsvektor \({\alpha _u}\) und das gesamte verborgene Merkmal \({{\textbf{H}}_u}\ multiplizieren, um den Benutzerbewertungsvektor \({{\ Text {d}}_u} \in {\mathbb {R}^{1 \times 2l}}\), bezeichnet als:

Als nächstes wird \({{\text {d}}_u}\) als Eingabe der vollständig verbundenen Schicht verwendet, um die Bewertung des Benutzers u zu erhalten, die \({{\text {R}}_u} \in {\mathbb { R}^k}\), wobei k die latente Dimension darstellt. \({{\text {R}}_u}\) wird dargestellt als:

wobei \({{\textbf{W}}_2} \in {\mathbb {R}^{k \times 2l}}\) die Gewichtsmatrix der vollständig verbundenen Schicht ist und \({{\text {b }}_1} \in {\mathbb {R}^k}\) ist ein Bias-Term.

In ähnlicher Weise können wir für das RN\(_i\)-Netzwerk die Bewertungseinbettung von Element i ({{\text {R}}_i}\) aus dem entsprechenden Elementbewertungssatz D\(_i\) erhalten.

In der Bewertungsvorhersageebene besteht unser Ziel darin, die Bewertung \(\hat{y}(x)\) des Artikels i durch den Benutzer u basierend auf der Einbettung der Benutzerbewertung \({{\text {R}}_u}\) und der Artikelbewertung vorherzusagen Einbettung von \({{\text {R}}_i}\). Tatsächlich handelt es sich bei der vorhergesagten Benutzerbewertung eines Artikels tatsächlich um eine Art Benutzer-Artikel-Feature-Interaktion. Allerdings können die meisten existierenden Ansätze, wie zum Beispiel das Punktprodukt, die Interaktionen zwischen Benutzer und Objekt nicht effektiv lernen und unterscheiden nicht die Bedeutung verschiedener Interaktionen zwischen Funktionen. Während AFM eine genauere Bewertungsvorhersage erhalten kann, indem es die Wichtigkeit verschiedener Merkmalsinteraktionen unterscheidet, kann es den Einfluss von Rauschen mildern, der durch diese nutzlosen Merkmalsinteraktionen verursacht werden kann. Daher verwenden wir AFM, um Interaktionen zwischen Benutzer und Objektmerkmalen zu lernen und \(\hat{y}(x)\) zu erhalten.

Konkret verketten wir \({{\text {R}}_u} \in {\mathbb {R}^k}\) mit \({{\text {R}}_i} \in {\mathbb {R} ^k}\) in einen gemeinsamen Vektor \({\text {x}} = ({x_1},{x_2},\ldots ,{x_{2k}})\). Wenn \({\text {x}} \in {\mathbb {R}^{2k}}\) als Eingabe von AFM gegeben ist, gibt es die vorhergesagte Bewertung \(\hat{y}(x)\) aus und stellt sicher dass jede Benutzer-Element-Feature-Interaktion im gemeinsamen Vektor eine unterschiedliche Bedeutung widerspiegelt. \(\hat{y}(x)\) wird dargestellt als:

wobei \({w_0}\) den globalen Bias-Term bezeichnet, \({w_i}\) das Gewicht des Primärterms ist, \({\text {|x|}}\) die Merkmalsnummer des gemeinsamen Vektors darstellt \({\text {x}}\). \({\text {p}} \in {\mathbb {R}^d}\) stellt den Gewichtungsvektor für die Bewertungsvorhersageebene dar. \({{\text {v}}_i} \in {\mathbb {R}^d}\) ist ein Einbettungsvektor, der einer bestimmten Dimension \({x_i}\) entspricht. Ebenso ist \({{\text {v}}_j} \in {\mathbb {R}^d}\) ein Einbettungsvektor, der einer bestimmten Dimension \({x_j}\) entspricht, und d ist die Größe von Einbettungsvektor. \({b_u}\) repräsentiert den User-Bias-Term und \({b_i}\) repräsentiert den Item-Bias-Term. \(\otimes\) stellt das elementweise Produkt der Einbettungsvektoren dar, \({\alpha _{ij}}\) stellt das Aufmerksamkeitsgewicht dar, das wie folgt berechnet wird:

wobei \({\alpha _{ij}^{'}}\) den Aufmerksamkeitswert der Merkmalsinteraktion von \({x_i}\) und \({x_j}\left( {i,j \in \left | {\text {x}} \right| ,j > i} \right)\), der berechnet wird durch:

wobei \({\text {h}} \in {\mathbb {R}^t}\) den Gewichtsvektor von der vollständig verbundenen Schicht zur Softmax-Ausgabeschicht darstellt, t die Größe der verborgenen Schicht des Aufmerksamkeitsnetzwerks darstellt AFM. \({\textbf{W}} \in {\mathbb {R}^{t \times d}}\), \({\text {b}} \in {\mathbb {R}^t}\) stellen die Gewichtsmatrix bzw. den Bias-Term dar.

Auf der Grundlage der oben genannten Operationen kann eine Artikelempfehlung gemäß den erhaltenen vorhergesagten Bewertungen durchgeführt werden.

Die quadratische Verlustfunktion wird häufig in der Bewertungsvorhersageaufgabe des Empfehlungssystems verwendet. Daher übernehmen wir diese Verlustfunktion, definiert als:

Dabei repräsentiert S die Trainingsmuster, \(\hat{y}(z)\) die vorhergesagte Bewertung einer Stichprobe z und y(z) die tatsächliche Bewertung der Stichprobe z.

In diesem Abschnitt führen wir Experimente durch, um die Wirksamkeit unseres vorgeschlagenen AFMRUI-Modells anhand von fünf Datensätzen aus der realen Welt zu bewerten. Wir stellen zunächst den Versuchsaufbau vor, einschließlich Datensätzen und Vorverarbeitung, Bewertungsmetriken, Basismethoden und Versuchskonfiguration. Anschließend führen wir die Leistungsvergleiche durch und demonstrieren auch die entsprechenden Ablationsstudien. Darüber hinaus analysieren wir die Auswirkungen verschiedener Parameter auf die Leistung von AFMRUI und diskutieren die Auswirkungen verschiedener Einbettungsdarstellungsmethoden und verschiedener Feature-Interaktionsmethoden auf die Modellleistung.

Wir evaluieren das AFMRUI-Modell anhand von fünf realen Datensätzen mit unterschiedlichen Maßstäben und Branchen. Darunter enthalten vier Amazon-Datensätze, darunter „Digitale Musik“, „Baby“, „Büroprodukte“ und „Schönheit“, echte Amazon-Rezensionen von Mai 1996 bis Juli 2014 sowie einen Yelp-Datensatz für die Yelp Challenge. Jede Stichprobe in jedem Datensatz umfasst Benutzer-ID, Artikel-ID, Rezension, Bewertungen usw. Darüber hinaus haben Benutzer in jedem Datensatz mindestens fünf Rezensionen zu den entsprechenden Artikeln gepostet. Tabelle 2 zeigt die Statistiken von fünf Datensätzen.

Um sicherzustellen, dass das Modell gut trainiert ist, müssen die Stichproben aus fünf Datensätzen vorverarbeitet werden. Gemäß dem in „Problemdefinition“ beschriebenen Beispielformat verwenden wir hauptsächlich die Werte der vier oben genannten Felder in Beispielen aus jedem Datensatz. Anschließend verwenden wir ein Pandas-Tool, um die Originalproben aus jedem Datensatz vorzuverarbeiten und vier Attribute zu extrahieren, darunter Benutzer-ID, Artikel-ID, Benutzerbewertungen für den Artikel und Benutzerbewertung für den Artikel (1–5 Punkte). Infolgedessen wird jede Stichprobe durch Vorverarbeitung als Vierfach aus Benutzer-ID, Artikel-ID, Bewertungsbewertung vereinheitlicht, um das Eingabemodell für das Training zu erleichtern.

Wir nutzen den mittleren quadratischen Fehler (MSE) und den mittleren absoluten Fehler (MAE), um die Leistung verschiedener Methoden zu bewerten. Die beiden Metriken werden verwendet, um die Genauigkeit der Bewertungsvorhersage zu messen, indem die Differenz zwischen vorhergesagten und tatsächlichen Bewertungen berechnet wird. Niedrigere MSE- und MAE-Werte weisen auf eine höhere Genauigkeit der Modellvorhersage hin. Die Formeln zur Berechnung von MSE und MAE lauten:

wobei T die Testproben darstellt, |T| stellt die Anzahl der Proben im Testsatz dar, \(\hat{y}(a)\) bezeichnet die vorhergesagte Bewertung einer Testprobe a, y(a) ist die tatsächliche Bewertung der Probe a aus dem entsprechenden Testdatensatz.

Um die Wirksamkeit unseres AFMRUI-Modells zu demonstrieren, wählen wir ein traditionelles Empfehlungsmodell basierend auf Matrixfaktorisierung und neun Modelle basierend auf neuronalen Netzen aus. Die ausgewählten repräsentativen Basismethoden werden wie folgt beschrieben.

Matrixfaktorisierung (MF)39: Bei dieser Methode handelt es sich um einen Regressionsalgorithmus, der nur Bewertungsdaten als Eingabe verwendet und Benutzer- und Artikelmerkmale durch Matrixfaktorisierung erhält.

Deep Cooperative Neural Networks (DeepCoNN)14: Dieses Modell verwendet zwei parallele Faltungsschichten, um Bewertungsdokumente für Benutzer bzw. Artikel zu verarbeiten, und verwendet FM, um Bewertungsvorhersagen durchzuführen. Dies zeigt, dass Bewertungsinformationen das Problem der spärlichen Verteilung von Bewertungsdaten lindern können.

Dual Attention-based Network (D-Attn)15: Dieses Modell erhält bewertungsbasierte Funktionsdarstellungen von Benutzern und Elementen durch die Kombination von lokalem und globalem Lernen und sagt schließlich Bewertungen mithilfe des Skalarprodukts vorher.

Transformationale neuronale Netze (TransNets)40: Dieses Modell fügt DeepCoNN eine Transformationsschicht hinzu, die hauptsächlich die latenten Darstellungen von Bewertungen in Benutzer- und Artikelmerkmale umwandelt und FM zur Vorhersage von Bewertungen verwendet.

Neural Attentional Regression Model with Review-level Explanations (NARRE)16: Dieses Modell lernt Benutzer- und Artikelmerkmale mithilfe von CNN und Aufmerksamkeitsmechanismus und verwendet LFM zur Bewertungsvorhersage.

Multi-Pointer Co-Attention Networks (MPCN)28: Dieses Modell verwendet ein Zeigernetzwerk, um Benutzer- und Artikelmerkmale aus Bewertungen zu lernen, und nutzt FM für die Bewertungsvorhersage.

Dual Attention Mutual Learning (DAML)17: Dieses Modell nutzt die lokale und gegenseitige Aufmerksamkeit von CNN, um gemeinsam Benutzer- und Artikelmerkmale aus Bewertungen zu lernen, und eine neuronale Faktorisierungsmaschine wird eingeführt, um Bewertungen vorherzusagen.

Neural Collaborative Embedding Model (NCEM)41: Dieses Modell verwendet eine Aufmerksamkeitsschicht auf Aspektebene, um den Korrelationsgrad von Bewertungen in Bezug auf verschiedene Aspekte zu messen, und eine mehrschichtige neuronale Faktorisierungsmaschine wird eingeführt, um Bewertungen vorherzusagen.

Domainübergreifendes Empfehlungs-Framework über Aspect Transfer Network (CATN)42: Das Modell lernt die Aspektebenenmerkmale jedes Benutzers und Elements aus den entsprechenden Bewertungen durch einen Aufmerksamkeitsmechanismus, dann wird ein semantischer Abgleich zwischen solchen Aspektniveaumerkmalen durchgeführt, um Bewertungen vorherzusagen.

Match Pyramid Recommender System (MPRS)43: Dieses Modell verwendet eine CNN-Architektur, die von der Matching-Matrix entsprechender Bewertungen für ein Benutzer-Artikel-Paar gespeist wird, und eine Regressionsschicht wird eingeführt, um Bewertungen vorherzusagen.

In unseren Experimenten wurde der Code in Python 3.8 geschrieben und TensorFlow 1.15.5 wurde als Framework verwendet. Alle Experimente wurden auf einem Linux-Server mit Intel(R) Xeon(R) Gold 6330 CPU und RTX 3090 24 GB GPU durchgeführt. Wir haben jeden in den Experimenten verwendeten Datensatz nach dem Zufallsprinzip im Verhältnis 8:1:1 in Trainingssatz, Validierungssatz und Testsatz unterteilt. Darüber hinaus haben wir Parameter für den Validierungssatz ausgewählt und eine Bewertung für den Testsatz durchgeführt. Die Einstellungen weiterer Parameter werden wie folgt beschrieben:

Für die MF39-Methode werden die latenten Dimensionen von Benutzern und Elementen einheitlich auf 50 festgelegt.

Für DeepCoNN14, D-Attn15, TransNets40, NARRE16, MPCN28, DAML17, NCEM41, CATN42 und MPRS43 legen wir die Parameter für die Methoden basierend auf den Einstellungsstrategien im entsprechenden Artikel fest. Genauer gesagt beträgt die Lernrate 0,002, der Dropout wird auf \(\{\)0,1, 0,3, 0,5, 0,7, 0,9\(\}\) und die Stapelgröße auf \(\{\)32, 64 festgelegt. 128, 256, 512\(\}\), um die besten Parameter zu finden. Die ID-Einbettungsdimension ist im NARRE- und DAML-Modell auf 32 festgelegt; In den Modellen D-Attn, NARRE, DAML, NCEM und CATN ist die Dimension des Aufmerksamkeits-Score-Vektors auf 100 festgelegt. In den Modellen DeepCoNN, TransNets, NARRE, CATN und MPRS wird CNN zum Verarbeiten von Überprüfungen verwendet, wobei die Größe jedes Faltungskerns auf 3 und die Anzahl der Faltungskerne auf 50 festgelegt ist. Das verwendete Wortvektormodell ist Glove und die Einbettungsdimension beträgt 100. In NCEM ist die Version von BERT „BERT-base“. Beachten Sie, dass bei Verwendung von FM in einem beliebigen Modell die latente Dimension auf 32 festgelegt wird.

Für unser vorgeschlagenes Modell AFMRUI haben wir die Stapelgröße von \(\{\)32, 64, 128, 256, 512\(\}\) sorgfältig getestet und nach dem optimalen Wert der Lernrate von \(\{\)0,0001 gesucht , 0,0005, 0,001, 0,005\(\}\) für jeden Datensatz. Um eine Überanpassung zu verhindern, haben wir den Dropout von \(\{\)0,1, 0,3, 0,5, 0,7, 0,9\(\}\) eingestellt. Dann wird die Stapelgröße auf 512 eingestellt, die Lernrate wird auf 0,001 eingestellt, der Dropout wird auf 0,3 gesetzt und Adam wird als Optimierer verwendet. Die einheitliche maximale Länge von Rezensionen ist auf 100 festgelegt. Die Version von RoBERTa ist „RoBERTa-Basis“, wobei wir anschließend eine vollständig verbundene Ebene hinzufügen, um die semantische Merkmalsdimension c zu komprimieren. Die versteckte Einheitennummer \({t_1}\) ist in der Aufmerksamkeitsebene auf 50 gesetzt. Die Größe d des Einbettungsvektors ist in der Bewertungsvorhersageebene auf 6 eingestellt. Die anderen Parameter werden durch Optimierung von MSE und MAE anhand eines Validierungssatzes aus jedem Datensatz bestimmt.

In diesem Unterabschnitt vergleichen wir die Leistung von elf Methoden anhand von fünf Datensätzen. Tabelle 3 zeigt die Ergebnisse, wobei die Ergebnisse mit der besten Leistung fett hervorgehoben sind. Aus Tabelle 3 können wir die folgenden Beobachtungen machen.

Erstens übertrifft unser vorgeschlagenes Modell AFMRUI andere Modelle in Bezug auf MSE und MAE in fünf Datensätzen. Bemerkenswert ist, dass AFMRUI im Vergleich zur besten Basismethode (MPRS) die Leistung des digitalen Musikdatensatzes um etwa 3,7\(\%\) für MSE und 2,1\(\%\) für MAE steigert. In ähnlicher Weise sind bei den anderen vier Datensätzen hohe Leistungssteigerungen zu beobachten. Diese Ergebnisse zeigen die Überlegenheit unseres Modells.

Zweitens funktionieren Methoden, die Bewertungsinformationen nutzen, im Allgemeinen besser als solche, die nur die Bewertungsdaten berücksichtigen. Es ist klar, dass DeepCoNN, D-Attn, TransNets, NARRE, MPCN, DAML, NCEM, CATN, MPRS und AFMRUI in Bezug auf MSE und MAE bei fünf Datensätzen besser abschneiden als MF. Die Leistungsverbesserungen dieser Methoden können auf die Nutzung neuronaler Netze zur Bewertungsvorhersage unter Verwendung von Bewertungsdaten zurückzuführen sein, wodurch Benutzer-/Artikelmerkmale effektiv aus Bewertungsinformationen erfasst werden können und der Effekt der Datensparsität aufgrund der ausschließlichen Verwendung von Bewertungsdaten verringert wird. Daher erzielen diese Methoden, die Bewertungsinformationen nutzen, im Vergleich zu MF eine deutliche Verbesserung.

Drittens schneidet unser vorgeschlagenes AFMRUI-Modell besser ab als neun Basismodelle, indem es Überprüfungsinformationen zu fünf Datensätzen nutzt. Der Grund dafür ist, dass RoBERTa in unserem Modell den globalen Kontext erfassen und das Problem der Polysemie bei Benutzer-/Artikelbewertungen mildern kann, wobei das genaue Verständnis der Bewertungsinformationen gewährleistet ist. Darüber hinaus verwendet unser Modell AFM anstelle von Skalarprodukt und FM, um verschiedene Merkmalsinteraktionen zu lernen und weiter die Bedeutung verschiedener Merkmalsinteraktionen zu unterscheiden, was auch den Effekt von Rauschen mildern kann, der durch nutzlose Merkmalsinteraktionen verursacht werden kann, so dass AFMRUI erzielt eine bessere Leistung bei fünf Datensätzen.

Darüber hinaus stellen wir für jede dieser elf Methoden auch eine Größenordnung ungefährer Modellparameter zum Vergleich bereit, wie in der zweiten Spalte von Tabelle 3 dargestellt, wobei M für Millionen steht. Die Vergleichsergebnisse aus Tabelle 3 zeigen, dass zehn Deep-Learning-basierte Methoden im Vergleich zu MF mehr Parameter aufweisen, was hauptsächlich darauf zurückzuführen ist, dass Deep-Learning-Modelle normalerweise ein mehrschichtiges neuronales Netzwerk enthalten und jede Schicht eine große Anzahl von Parametern enthält. Während NCEM und AFMRUI im Vergleich zu den anderen acht Deep-Learning-basierten Methoden über viel mehr Modellparameter verfügen, liegt dies hauptsächlich daran, dass beide Methoden vorab trainierte Modelle zum Kodieren von Bewertungen verwenden und vorab trainierte Modelle viel Sprachwissen und Gesetze erlernen müssen stärkere Ausdrucks- und Generalisierungsfähigkeit. Im Vergleich zu NCEM verfügt AFMRUI über mehr Modellparameter, hauptsächlich weil unser Modell das vorab trainierte Modell RoBERTa nutzt, das auf der Grundlage des in NCEM verwendeten BERT Verbesserungen in der Modellstruktur und in den Optimierungsalgorithmen vorgenommen hat und daher mehr Parameter als NCEM erfordert.

In diesem Unterabschnitt haben wir Ablationsexperimente durchgeführt, um die Auswirkungen verschiedener Komponenten auf die Modellleistung zu analysieren.

Um die Vorteile jeder Komponente zu validieren, erstellen wir die folgenden AFMRUI-Varianten basierend auf dem Basismodell AFMRUI-base, das das statische Wortvektormodell Glove verwendet, um Einbettungsfunktionen für Benutzer-/Artikelbewertungen darzustellen und die Bewertung eines Benutzers für einen Artikel vorherzusagen von FM.

AFMRUI-Ro: Dieses Modell verwendet RoBERTa anstelle von Glove, um Funktionen zur Einbettung von Benutzer-/Artikelbewertungen auf Basis der AFMRUI-Basis zu erhalten. Mit diesem Variantenmodell soll überprüft werden, ob RoBERTa beim Extrahieren von Einbettungsfunktionen für Rezensionen besser ist als Glove.

AFMRUI-Bi: In diesem Modell wird BiGRU auf der Grundlage von AFMRUI-Ro hinzugefügt, um jede Benutzer-/Artikelbewertung mit eingebetteten Funktionen zu kodieren, die von RoBERTa ausgegeben werden. Dieses Variantenmodell soll die Wirksamkeit von BiGRU überprüfen.

AFMRUI-Att: Dieses Modell fügt ein Aufmerksamkeitsnetzwerk auf der Grundlage von Review-Bi hinzu. Dieses Variantenmodell dient dazu, die Wirksamkeit des Aufmerksamkeitsnetzwerks bei der Messung des Beitrags jeder Bewertung zur Darstellung von Benutzer-/Artikelmerkmalen zu überprüfen.

Tabelle 4 zeigt die Modelle mit unterschiedlichen Komponenten. Wir verwenden zwei Metriken, um die Wirksamkeit der Modelle aus Tabelle 4 anhand von fünf Datensätzen zu demonstrieren. Die Ergebnisse sind in Tabelle 5 dargestellt.

Aus Tabelle 5 ist ersichtlich, dass die Modellleistung von AFMRUI-Ro im Vergleich zum Basismodell verbessert wurde, was darauf hinweist, dass die Verwendung von RoBERTa zum Erhalten kontextbezogener Benutzer-/Elementüberprüfungs-Einbettungsfunktionen das Problem der Polysemie lindern und effektiv verbessern kann die Merkmalsdarstellung. Im Vergleich zu AFMRUI-Ro schneidet AFMRUI-Bi vor allem deshalb besser ab, weil BiGRU besser für die Behandlung von Sequenzproblemen geeignet ist und die internen Abhängigkeiten zwischen Überprüfungen vollständig ausnutzen kann. Die Leistung von AFMRUI-Bi ist zwar schlechter als die von AFMRUI-Att, da das eingeführte Aufmerksamkeitsnetzwerk die Bedeutung jeder Bewertung für die Darstellung von Benutzer-/Artikelmerkmalen adaptiv messen kann, wodurch sich das Modell auf nützlichere Bewertungen konzentrieren kann.

Im Gegensatz dazu ist die Leistung unseres vorgeschlagenen AFMRUI-Modells besser als die der anderen vier Variantenmodelle, was zeigt, dass AFM die Funktionsinteraktionen von Benutzern und Elementen besser lernen kann, um eine genauere Vorhersagebewertung zu erhalten, und auch zeigt, dass die Integration dieser Komponenten dazu beitragen kann Bessere Modellüberprüfungsfunktionen für Benutzer und Elemente, um die Modellleistung zu verbessern.

In diesem Abschnitt haben wir die Auswirkungen verschiedener Modellparameter auf die Leistung von AFMRUI analysiert. Hier haben wir uns auf fünf kritische Parameter konzentriert, nämlich die maximale Anzahl von Benutzerbewertungen n und Artikelbewertungen m, die semantische Merkmalsdimension c, die versteckte GRU-Dimension l und die latente Dimension k. Als nächstes analysierten wir die Auswirkungen von fünf Parametern auf zwei Metriken.

Das vorgeschlagene AFMRUI-Modell führt eine Bewertungsvorhersage basierend auf Benutzerbewertungen und Artikelbewertungen durch. Daher wirkt sich die maximale Anzahl an Benutzerbewertungen n und Artikelbewertungen m direkt auf die Funktionsdarstellung von Benutzern und Artikeln aus und wirkt sich dadurch auf die Modellleistung aus. In Anbetracht der Tatsache, dass unterschiedliche Datensätze eine unterschiedliche Anzahl von Bewertungen für unterschiedliche Benutzer und unterschiedliche Artikel aufweisen, erstellen wir Statistiken über die Anzahl von Benutzerbewertungen und Artikelbewertungen aus fünf Datensätzen, um den Bereich für die maximale Anzahl von Bewertungen zu bestimmen, wie in Tabelle 6 dargestellt.

Nehmen wir als Beispiel den digitalen Musikdatensatz (zweite Zeile in Tabelle 6): 4449 Benutzer haben bis zu 13 Rezensionen, was 80,29\(\%\) der Gesamtzahl der Benutzer ausmacht, und 2892 Artikel haben bis zu 20 Rezensionen für 81,05\(\%\) der Gesamtzahl der Artikel. Den statistischen Ergebnissen zufolge kommt es zu Rauschen, wenn die Anzahl der Bewertungen zu groß ist, und es werden weniger effektive Informationen extrahiert, wenn die Anzahl der Bewertungen zu gering ist. Daher legen wir den Bereich für die maximale Anzahl von Benutzerbewertungen auf \ fest. (\{\)8, 9, 10, 11, 12, 13\(\}\) und der Bereich für die maximale Anzahl von Artikelbewertungen bis \(\{\)15, 16, 17, 18, 19, 20 \(\}\). In ähnlicher Weise legen wir die Bereiche für die maximale Anzahl von Bewertungen aus den anderen vier Datensätzen fest, während andere Hyperparameter unverändert bleiben. Abbildung 3 zeigt die Ergebnisse für fünf Datensätze. Da die Ergebnisse für MAE denen für MSE ähneln, nehmen wir MSE als Beispiel, um die Auswirkungen der Parameter auf die Modellleistung zu analysieren.

Wie in Abb. 3a gezeigt, nimmt MSE für digitale Musikdatensätze mit zunehmendem Wert von n und m zunächst ab und steigt dann an. Dies liegt daran, dass bei einer zu großen Anzahl an Bewertungen möglicherweise Rauschen entsteht, das sich auf die Funktionsdarstellung von Benutzern und Artikeln auswirkt. Allerdings ist die Anzahl der Bewertungen zu gering, um die Funktionsdarstellungen von Benutzern und Artikeln genau wiederzugeben. Daher legen wir die maximale Anzahl an Benutzerbewertungen n auf 10 und die maximale Anzahl an Artikelbewertungen m auf 20 fest, um die beste Leistung bei digitalen Musikdatensätzen zu erzielen. Ebenso ist die maximale Anzahl von Benutzerbewertungen und Artikelbewertungen für den Baby-Datensatz auf n = 10 bzw. m = 23 festgelegt. für den Datensatz „Büroprodukte“ n = 8 und m = 10; für den Schönheitsdatensatz n = 10 und m = 15; für Yelp ist n = 10 und m = 15. Gemäß der obigen Analyse wählen wir Werte wie die entsprechende maximale Anzahl von Benutzerbewertungen und Artikelbewertungen für fünf Datensätze aus.

Auswirkung der maximalen Anzahl von Benutzerbewertungen und Artikelbewertungen auf die Modellleistung.

Um zu untersuchen, wie empfindlich AFMRUI auf die semantische Merkmalsdimension c reagiert, haben wir die Dimension der von RoBERTa ausgegebenen Bewertungseinbettungsmerkmale auf 768 festgelegt und außerdem die entsprechenden Bewertungseinbettungsmerkmale mit unterschiedlichen semantischen Merkmalsdimensionen c durch vollständig verbundene Schichtkomprimierung erhalten. Wir haben die Auswirkungen von c auf fünf Datensätze in Abb. 4 gezeigt. Wie in Abb. 4 gezeigt, wird für fünf Datensätze mit der Erhöhung von c die Modellleistung schrittweise verbessert. Wenn c 256 beträgt, erreicht die Modellleistung ihr Bestes und beginnt dann zu sinken. Darüber hinaus steigt auch der Rechenaufwand. Daher setzen wir die semantische Merkmalsdimension c auf 256, um die beste Leistung bei fünf Datensätzen zu erzielen.

Auswirkung der semantischen Merkmalsdimension c auf die Modellleistung.

Auswirkung der versteckten GRU-Dimension l auf die Modellleistung.

Auswirkung der latenten Dimension k auf die Modellleistung.

Um die Wirkung der verborgenen GRU-Dimension l zu veranschaulichen, legen wir die Werte von l auf 50, 100, 150, 200, 250, 300 fest, während andere Hyperparameter unverändert bleiben. Abbildung 5 zeigt die Ergebnisse für fünf Datensätze. Die Kurven zeigen den Trend, bei fünf Datensätzen zuerst zu fallen und dann zu steigen. Dies liegt möglicherweise daran, dass die versteckte GRU-Dimension zu klein ist und die internen Abhängigkeiten zwischen den Einbettungsfunktionen von Rezensionen nicht vollständig ausgewertet werden können. Wenn die verborgene GRU-Dimension zu groß ist, führt dies zu einer Überanpassung des Modells. Daher setzen wir, ähnlich wie bei der Auswahl der semantischen Dimension c, die versteckte GRU-Dimension auf 200, um die beste Leistung bei fünf Datensätzen zu erzielen.

In diesem Unterabschnitt untersuchen wir den Einfluss der latenten Dimension k auf die Modellleistung, während andere Parameter unverändert bleiben. Die Ergebnisse sind in Abb. 6 dargestellt. Wir beobachten, dass mit steigendem k MSE und MAE zunächst für digitale Musik-, Baby-, Beauty- und Yelp-Datensätze abnehmen, den besten Wert erreichen, wenn k 32 beträgt, und danach ansteigen. Für Büroproduktdatensätze erreichen MSE und MAE die beste Leistung, wenn k 64 beträgt. Dies liegt daran, dass ein kleiner Wert von k dazu führen kann, dass das Modell nicht alle potenziellen Informationen aus Benutzer- und Artikelbewertungen erfassen kann, während ein großer Wert von k dazu führen kann Überanpassung und Erhöhung der Modellkomplexität. Daher setzen wir k für den Office-Produktdatensatz auf 64 und für die anderen vier Datensätze auf 32.

In diesem Abschnitt diskutieren wir die Auswirkungen verschiedener Einbettungsdarstellungsmethoden auf die Modellleistung. Hier wählen wir einen klassischen Algorithmus DeepCoNN14 und die beste Basismethode MPRS43 mit unterschiedlichen Einbettungsdarstellungen aus. Wie in Tabelle 7 gezeigt, diskutieren wir hauptsächlich neun Vergleichsmethoden.

Die in Tabelle 7 aufgeführten experimentellen Ergebnisse zeigen, dass unser vorgeschlagenes Modell AFMRUI seine Varianten AFMRUI-Glove und AFMRUI-BERT-base in Bezug auf MSE und MAE in allen fünf Datensätzen übertrifft. Konkret verbessert AFMRUI im Yelp-Datensatz die Leistung um etwa 3,8 % bei MSE und 3,5 % bei MAE im Vergleich zu AFMRUI-Glove; und die relativen Leistungsverbesserungen betragen 1,5 % bei MSE und 1,1 % bei MAE im Vergleich zur AFMRUI-BERT-Basis. Die anderen vier Datensätze zeigen ähnlich hohe Leistungssteigerungen. Diese Ergebnisse zeigen im Wesentlichen die Wettbewerbsfähigkeit des vorgeschlagenen Modells, das RoBERTa verwendet, um kontextbezogene Einbettungsfunktionen für Benutzer-/Elementbewertungen zu erhalten, die das Problem der Polysemie lindern und die Merkmalsdarstellung effektiv verbessern können.

Darüber hinaus haben wir auch DeepCoNN14, MPRS43 und ihre Variantenmodelle verglichen. Die experimentellen Ergebnisse zeigen, dass DeepCoNN-BERT-base und DeepCoNN-RoBERTa-base DeepCoNN-Glove, MPRS-BERT-base und MPRS-RoBERTa-base besser als MPRS-Glove sind, hauptsächlich weil sich das traditionelle Wortvektormodell nicht auf das Vorherige verlassen kann. und Nachbewertungsinformationen im Überprüfungssatz für eine effiziente Darstellung von Benutzern und Elementen. BERT-base und RoBERTa-base können dieses Problem jedoch lindern. Während DeepCoNN-RoBERTa-base DeepCoNN-BERT-base übertrifft, übertrifft MPRS-RoBERTa-base MPRS-BERT-base, hauptsächlich weil RoBERTa-base nicht nur die Vorteile von BERT-base erbt, sondern auch neue Hyperparameter und einen neuen großen Datensatz verwendet zur Umschulung. Dadurch wird nicht nur das Problem der Mehrfachbedeutungen von Wörtern in Bewertungen gemildert, sondern es werden auch die globalen Informationen und semantischen Darstellungen von Benutzer- und Artikelbewertungen besser modelliert, was zu genaueren Vorhersagewerten und einer besseren Modellleistung führt.

In diesem Abschnitt diskutieren wir die Auswirkungen verschiedener Feature-Interaktionsmethoden auf die Modellleistung. Wir diskutieren hauptsächlich die folgenden drei Methoden.

AFMRUI-dp: Die Methode führt eine Punktproduktoperation bei der Einbettung von Benutzerbewertungen und Artikelbewertungen durch, um die Bewertung vorherzusagen.

AFMRUI-FM: Dieser Ansatz kodiert einen Vektor, der durch die Verkettung von Benutzer- und Artikelbewertungseinbettungen durch FM gebildet wird.

AFMRUI: Unsere vorgeschlagene Methode verwendet AFM, um die Funktionsinteraktionen von Benutzern und Elementen zu lernen und eine Bewertungsvorhersage durchzuführen.

Tabelle 8 zeigt die Ergebnisse für fünf Datensätze. Aus Tabelle 8 geht hervor, dass AFMRUI-dp im Vergleich zu AFMRUI-FM und AFMRUI bei fünf Datensätzen den größten Leistungsabfall erfährt, während AFMRUI die beste Leistung aufweist. Dies liegt daran, dass die von AFMRUI-dp verwendete Skalarproduktoperation die komplexe interne Struktur des gemeinsamen Vektors der Einbettung von Benutzerbewertungen und der Einbettung von Artikelbewertungen nicht vollständig untersuchen kann. Der Vorteil von FM gegenüber der Skalarproduktoperation besteht darin, dass damit Merkmalsinteraktionen zwischen zwei beliebigen Dimensionen im gemeinsamen Vektor der Einbettung von Benutzerbewertungen und der Einbettung von Artikelbewertungen erfasst werden können. Daher ist die Leistung von AFMRUI-FM besser als die von AFMRUI-dp.

Im Vergleich zu AFMRUI-FM ist unser AFMRUI-Modell effektiver, da AFM in unserem Modell einen Aufmerksamkeitsmechanismus auf der Basis von FM hinzufügt und die Bedeutung verschiedener Merkmalsinteraktionen weiter unterscheiden kann, wodurch die Auswirkung von Rauschen, das möglicherweise durch nutzlose Merkmale verursacht wird, gemindert werden kann Interaktionen, um eine genauere Vorhersagebewertung zu erhalten und dann die Modellleistung zu verbessern.

Aufmerksamkeitswerte von Funktionsinteraktionen mit unterschiedlichen Typen.

Um auf der Grundlage der obigen Analyse den Beitrag verschiedener Funktionsinteraktionen in unserem AFMRUI-Modell intuitiver weiter zu untersuchen, verwenden wir den Datensatz „Digitale Musik“ als Beispiel, um die Beiträge verschiedener Funktionsinteraktionen zu demonstrieren. Da unser AFMRUI-Modell die besten Ergebnisse für den Datensatz „Digitale Musik“ erzielt, wenn die Anzahl der latenten Dimensionen k 32 beträgt, sind die Dimensionen sowohl der Einbettung von Benutzerbewertungen \({\text {R}_u}\) als auch der Einbettung von Artikelbewertungen \({\ Der Text {R}_i}\) ist auf 32 gesetzt und die Dimension des daraus zusammengesetzten Vektors x beträgt 64, d. h. \(\mathrm{{x}} =({\mathrm{{R}}_u}, {\mathrm{{R}}_i}) =\) (\({x_{1}}\)-\({x_{32}}\), \({x_{33}}-{x_{64 }}\)). Wobei \({x_1}-{x_{32}}\) als Benutzerinteraktionsobjekt U definiert ist und \({x_{33}}-{x_{64}}\) als Elementinteraktionsobjekt I definiert ist, also dort Es gibt drei Arten von Merkmalsinteraktionen im Vektor x, wie in Tabelle 9 dargestellt. Eine Benutzer-Element-Merkmalsinteraktion (z. B. \(x_1\) \(x_{33}\)) kann gebildet werden, indem eine zufällige Dimension von U und genommen wird I. Wiederholt wählen wir 10 verschiedene Benutzer-Element-Feature-Interaktionen mit dem Feature-Interaktionstyp U–I aus. In ähnlicher Weise erhalten wir jeweils 10 verschiedene Merkmalsinteraktionen mit den anderen beiden Typen. Die Aufmerksamkeitswerte dieser Merkmalsinteraktionen sind in Abb. 7 dargestellt.

Wie in Abb. 7 dargestellt, gilt: Je heller die Farbe, desto niedriger ist der Aufmerksamkeitswert und desto weniger trägt sie zur Modellleistung bei und umgekehrt. Insbesondere der Feature-Interaktionstyp U–I, der von Modellen wie DeepCoNN14 und TransNets40 übernommen wurde, erzielte gute Ergebnisse, was darauf hindeutet, dass Benutzer-Element-Feature-Interaktionen für die Qualität der Bewertungsvorhersage von Vorteil sind. Aus Abb. 7 geht jedoch hervor, dass die Aufmerksamkeitswerte für U-I-Feature-Interaktionen stabil zwischen 0,2 und 0,5 liegen, was darauf hindeutet, dass nicht alle Benutzer-Element-Feature-Interaktionen positive Auswirkungen auf die Bewertungsvorhersage haben. Während die anderen Arten von U–U und I–I höhere Aufmerksamkeitswerte haben, hauptsächlich im Bereich von 0,5–0,9, was darauf hindeutet, dass es sich zwar um dieselben Interaktionsobjekte handelt, die Merkmalsinteraktionen zwischen ihnen jedoch wichtiger sind und positive Auswirkungen haben können die Modellleistung, was zu einer genaueren Vorhersage der Benutzerbewertung eines Artikels und damit zu einer besseren Empfehlung führt.

Zusammenfassend lässt sich erkennen, dass unterschiedliche Feature-Interaktionen unterschiedliche Aufmerksamkeitswerte haben und unterschiedliche Auswirkungen auf die Modellleistung haben. Während das in unserem Modell verwendete AFM die Bedeutung verschiedener Merkmalsinteraktionen anhand der erhaltenen Aufmerksamkeitswerte unterscheiden kann, wodurch die Auswirkungen nutzloser Merkmalsinteraktionen auf die Modellleistung gemindert werden.

In den letzten Jahren ist die bewertungsbasierte Empfehlung eines der aktuellen Forschungsthemen in Empfehlungssystemen. In diesem Artikel haben wir ein AFMRUI-Modell zur Empfehlung vorgeschlagen. Insbesondere nutzt AFMRUI RoBERTa, um das Problem der Polysemie bei Benutzer-/Artikelbewertungen zu mildern, und lernt die Einbettung von Benutzer- und Artikelbewertungen über BiGRU und das Aufmerksamkeitsnetzwerk, um die Einbettung von Benutzerbewertungen und Artikelbewertungen besser zu modellieren. Dann nutzt es AFM, um Interaktionen zwischen Benutzer und Objektmerkmalen zu lernen, wodurch eine genauere Vorhersagebewertung erzielt werden kann, indem die Bedeutung verschiedener Merkmalsinteraktionen unterschieden wird. Umfangreiche Experimente mit fünf öffentlich zugänglichen Datensätzen haben gezeigt, dass das vorgeschlagene AFMRUI-Modell die modernsten Methoden in Bezug auf zwei Metriken übertrifft.

In diesem Artikel nutzen wir lediglich Bewertungsinformationen, um Benutzer- und Artikelfunktionen zu extrahieren. Kürzlich haben Studien gezeigt, dass das Benutzer-Element-Interaktionsdiagramm44,45 zusätzliche nützliche Informationen zur Förderung von Empfehlungen enthält. Daher werden wir in der zukünftigen Arbeit Bewertungsinformationen mit einem Benutzer-Element-Interaktionsdiagramm kombinieren, um genauere Merkmale von Benutzern und Elementen zu erfassen und so eine bessere Modellleistung bereitzustellen.

Die zur Untermauerung der Ergebnisse dieser Studie verwendeten Daten sind unter http://jmcauley.ucsd.edu/data/amazon/ und https://www.yelp.com/dataset verfügbar.

Der Quellcode des vorgeschlagenen Modells steht öffentlich zum Download auf Github zur Verfügung: https://github.com/Jindidi/AFMRUI.git.

Mandal, S. & Maiti, A. Tiefgreifende kollaborative Filterung mit Social-Promoter-Score-basierter Benutzer-Element-Interaktion: Eine neue Perspektive in der Empfehlung. Appl. Intel. 51, 7855–7880. https://doi.org/10.1007/s10489-020-02162-9 (2021).

Artikel Google Scholar

Wang, N. Empfehlungssystem für ideologische und politische Bildung basierend auf AHP und verbessertem kollaborativen Filteralgorithmus. Wissenschaft. Programm 2021, 2648352:1-2648352:9. https://doi.org/10.1155/2021/2648352 (2021).

Artikel Google Scholar

Zhu, Z., Wang, S., Wang, F. & Tu, Z. Empfehlungsnetzwerke homogener Produkte auf einer E-Commerce-Plattform: Messung und Wettbewerbseffekte. Expertensystem. Appl. 201, 117128. https://doi.org/10.1016/j.eswa.2022.117128 (2022).

Artikel Google Scholar

Baczkiewicz, A., Kizielewicz, B., Shekhovtsov, A., Watróbski, J. & Salabun, W. Methodische Aspekte des MCDM-basierten E-Commerce-Empfehlungssystems. J. Theor. Appl. Elektron. Commerce Res. 16, 2192–2229. https://doi.org/10.3390/jtaer16060122 (2021).

Artikel Google Scholar

Li, Z., Huang, ISPRS Int. J. Geo Inf. 11, 543. https://doi.org/10.3390/ijgi11110543 (2022).

Artikel Google Scholar

Tahmasbi, H., Jalali, M. & Shakeri, H. Modellierung der Benutzerpräferenzdynamik mit gekoppelter Tensorfaktorisierung für Social-Media-Empfehlungen. J. Ambient Intell. Humaniz. Berechnen. 12, 9693–9712. https://doi.org/10.1007/s12652-020-02714-4 (2021).

Artikel Google Scholar

Covington, P., Adams, J. & Sargin, E. Deep Neural Networks für Youtube-Empfehlungen. In Proceedings of the 10th ACM Conference on Recommender Systems, Boston, MA, USA, 15.–19. September (Sen, S., Geyer, W., Freyne, J. & Castells, P. Hrsg.), 191–198. https://doi.org/10.1145/2959100.2959190 (ACM, 2016).

Li, D., Wang, C., Li, L. & Zheng, Z. Kollaborativer Filteralgorithmus mit sozialen Informationen und dynamischen Zeitfenstern. Appl. Intel. 52, 5261–5272. https://doi.org/10.1007/s10489-021-02519-8 (2022).

Artikel Google Scholar

Hu, G. et al. Kollaboratives Filtern mit thematischen und sozialen latenten Faktoren unter Einbeziehung impliziten Feedbacks. ACM Trans. Wissen. Entdeckung. Daten 12, 23:1-23:30. https://doi.org/10.1145/3127873 (2018).

Artikel Google Scholar

Yin, Y., Chen, L., Xu, Y. & Wan, J. Standortbezogene Serviceempfehlung mit verbesserter probabilistischer Matrixfaktorisierung. IEEE Access 6, 62815–62825. https://doi.org/10.1109/ACCESS.2018.2877137 (2018).

Artikel Google Scholar

Zhang, Z., Liu, Y., Xu, G. & Luo, GX Empfehlung mit dmf-basierter Feinabstimmungsmethode. J. Intell. Inf. Syst. 47, 233–246. https://doi.org/10.1007/s10844-016-0407-6 (2016).

Artikel Google Scholar

Shang, T., Li, X., Shi, X. & Wang, Q. Gemeinsame Modellierung dynamischer Präferenzen von Benutzern und Artikeln unter Verwendung von Bewertungen für sequentielle Empfehlungen. In Advances in Knowledge Discovery and Data Mining – 25th Pacific-Asia Conference, PAKDD 2021, Virtuelle Veranstaltung, 11.–14. Mai 2021, Tagungsband, Teil II, Bd. 12713 von Lecture Notes in Computer Science (Karlapalem, K. et al. Hrsg.), 524–536. https://doi.org/10.1007/978-3-030-75765-6_42 (Springer, 2021).

Kim, DH, Park, C., Oh, J., Lee, S. & Yu, H. Faltungsmatrixfaktorisierung für kontextbezogene Empfehlung von Dokumenten. In Proceedings of the 10th ACM Conference on Recommender Systems, Boston, MA, USA, 15.–19. September (Sen, S., Geyer, W., Freyne, J. & Castells, P. Hrsg.), 233–240. https://doi.org/10.1145/2959100.2959165 (ACM, 2016).

Zheng, L., Noroozi, V. & Yu, PS Gemeinsame Tiefenmodellierung von Benutzern und Artikeln unter Verwendung von Bewertungen als Empfehlung. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining, WSDM 2017, Cambridge, Vereinigtes Königreich, 6.–10. Februar (de Rijke, M., Shokouhi, M., Tomkins, A. & Zhang, M. Hrsg. ), 425–434. https://doi.org/10.1145/3018661.3018665 (ACM, 2017).

Seo, S., Huang, J., Yang, H. & Liu, Y. Interpretierbare Faltungs-Neuronale Netze mit doppelter lokaler und globaler Aufmerksamkeit für die Vorhersage von Bewertungsbewertungen. In Proceedings of the Eleventh ACM Conference on Recommender Systems, RecSys 2017, Como, Italien, 27.–31. August (Cremonesi, P., Ricci, F., Berkovsky, S. & Tuzhilin, A. Hrsg.), 297–305. https://doi.org/10.1145/3109859.3109890 (ACM, 2017).

Chen, C., Zhang, M., Liu, Y. & Ma, S. Neurale Aufmerksamkeitsbewertungsregression mit Erklärungen auf Rezensionsebene. In Proceedings of the 2018 World Wide Web Conference on World Wide Web, WWW 2018, Lyon, Frankreich, 23.–27. April (Champin, P., Gandon, F., Lalmas, M. & Ipeirotis, PG Hrsg.), 1583– 1592. https://doi.org/10.1145/3178876.3186070 (ACM, 2018).

Liu, D., Li, J., Du, B., Chang, J. & Gao, R. DAML: Gegenseitiges Lernen mit doppelter Aufmerksamkeit zwischen Bewertungen und Rezensionen für Artikelempfehlungen. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD 2019, Anchorage, AK, USA, 4.–8. August (Teredesai, A. et al. Hrsg.), 344–352. https://doi.org/10.1145/3292500.3330906 (ACM, 2019).

Pennington, J., Socher, R. & Manning, CD Glove: Globale Vektoren für die Wortdarstellung. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, 25.-29. Oktober 2014, Doha, Katar, Ein Treffen von SIGDAT, einer Special Interest Group des ACL (Moschitti, A., Pang, B. & Daelemans, W. Hrsg.), 1532–1543.https://doi.org/10.3115/v1/d14-1162 (ACL, 2014).

Mikolov, T., Chen, K., Corrado, G. & Dean, J. Effiziente Schätzung von Wortdarstellungen im Vektorraum. In 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, 2.–4. Mai 2013, Workshop Track Proceedings (Bengio, Y. & LeCun, Y. Hrsg.) (2013).

Devlin, J., Chang, M., Lee, K. & Toutanova, K. BERT: Vortraining tiefer bidirektionaler Transformatoren für das Sprachverständnis. (2018). arXiv:1810.04805 [CoRR].

Zhang, K. et al. SIFN: Ein stimmungsbewusstes interaktives Fusionsnetzwerk für bewertungsbasierte Artikelempfehlungen. In CIKM '21: Die 30. ACM International Conference on Information and Knowledge Management, virtuelle Veranstaltung, Queensland, Australien, 1.–5. November (Demartini, G., Zuccon, G., Culpepper, JS, Huang, Z. & Tong, H . Hrsg.), 3627–3631. https://doi.org/10.1145/3459637.3482181 (ACM, 2021).

Qiu, Z., Wu, X., Gao, J. & Fan, W. U-bert: Benutzerdarstellungen vorab trainieren, um die Empfehlung zu verbessern. In Proceedings of the AAAI Conference on Artificial Intelligence 35, 4320–4327 (2021).

Liu, Y. et al. Roberta: Ein robust optimierter BERT-Pretraining-Ansatz. (2019). arXiv:1907.11692 [CoRR].

Xu, J., Zheng, X. & Ding, W. Personalisierte Empfehlungen basierend auf Rezensionen und Bewertungen, die das Sparsity-Problem der kollaborativen Filterung lindern. Auf der neunten IEEE International Conference on e-Business Engineering, ICEBE 2012, Hangzhou, China, 9.–11., 9.–16. September. https://doi.org/10.1109/ICEBE.2012.12 (IEEE Computer Society, 2012).

Huang, J., Rogers, S. & Joo, E. Verbesserung von Restaurants durch Extrahieren von Unterthemen aus Yelp-Bewertungen. iConference 2014 (Social Media Expo) (2014).

Bao, Y., Fang, H. & Zhang, J. Topicmf: Bewertungen und Rezensionen gleichzeitig für Empfehlungen nutzen. In Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence, 27.–31. Juli 2014, Québec City, Québec, Kanada (Brodley, CE & Stone, P. Hrsg.), 2–8 (AAAI Press, 2014).

Ganu, G., Kakodkar, Y. & Marian, A. Verbesserung der Qualität von Vorhersagen mithilfe von Textinformationen in Online-Benutzerbewertungen. Inf. Syst. 38, 1–15. https://doi.org/10.1016/j.is.2012.03.001 (2013).

Artikel Google Scholar

Tay, Y., Luu, AT & Hui, SC Multi-Pointer-Co-Aufmerksamkeitsnetzwerke zur Empfehlung. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD 2018, London, UK, 19.–23. August (Guo, Y. & Farooq, F. Hrsg.), 2309–2318. https://doi.org/10.1145/3219819.3220086 (ACM, 2018).

Chen, X., Zhang, Y. & Qin, Z. Dynamische erklärbare Empfehlung basierend auf neuronalen Aufmerksamkeitsmodellen. Auf der Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019, The Thirty-First Innovative Applications of Artificial Intelligence Conference, IAAI 2019, The Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2019, Honolulu, Hawaii, USA, 27. Januar –1. Februar 53–60. https://doi.org/10.1609/aaai.v33i01.330153 (AAAI Press, 2019).

Chin, JY, Zhao, K., Joty, SR & Cong, G. ANR: Aspektbasierter neuronaler Empfehlungsgeber. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, CIKM 2018, Turin, Italien, 22.–26. Oktober (Cuzzocrea, A. et al. Hrsg.), 147–156. https://doi.org/10.1145/3269206.3271810 (ACM, 2018).

He, X. et al. Neuronale kollaborative Filterung. In Proceedings of the 26th International Conference on World Wide Web, WWW 2017, Perth, Australien, 3.–7. April (Barrett, R., Cummings, R., Agichtein, E. & Gabrilovich, E. Hrsg.), 173–182 . https://doi.org/10.1145/3038912.3052569 (ACM, 2017).

Rendle, S. Faktorisierungsmaschinen. Auf der ICDM 2010, der 10. IEEE International Conference on Data Mining, Sydney, Australien, 14.–17. Dezember (Webb, GI, Liu, B., Zhang, C., Gunopulos, D. & Wu, X., Hrsg.), 995–1000. https://doi.org/10.1109/ICDM.2010.127 (IEEE Computer Society, 2010).

Zhang, W., Du, T. & Wang, J. Deep Learning über kategoriale Mehrfelddaten – eine Fallstudie zur Vorhersage von Benutzerreaktionen. In Advances in Information Retrieval – 38. Europäische Konferenz für IR-Forschung, ECIR 2016, Padua, Italien, 20.–23. März 2016. Proceedings, vol. 9626 von Lecture Notes in Computer Science (Ferro, N. et al. Hrsg.), 45–57. https://doi.org/10.1007/978-3-319-30671-1_4 (Springer, 2016).

Xiao, J. et al. Aufmerksamkeitsfaktorisierungsmaschinen: Erlernen des Gewichts von Merkmalsinteraktionen über Aufmerksamkeitsnetzwerke. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australien, 19.–25. August (Sierra, C. ed.), 3119–3125. https://doi.org/10.24963/ijcai.2017/435 (ijcai.org, 2017).

Cao, B., Li, C., Song, Y. & Fan, X. Netzwerk-Intrusion-Detection-Technologie basierend auf Convolutional Neural Network und Bigru. Berechnen. Intel. Neurosci. 20, 22 (2022).

Google Scholar

Teng, F. et al. Eine Gru-basierte Methode zur Vorhersage der Absicht von Luftzielen. Berechnen. Intel. Neurosci 2021, 6082242:1-6082242:13. https://doi.org/10.1155/2021/6082242 (2021).

Artikel Google Scholar

Al-Sabahi, K., Zhang, Z. & Nadher, M. Ein hierarchisch strukturiertes, selbstaufmerksames Modell für die Zusammenfassung extraktiver Dokumente (HSSAS). IEEE Access 6, 24205–24212. https://doi.org/10.1109/ACCESS.2018.2829199 (2018).

Artikel Google Scholar

Lin, Z. et al. Eine strukturierte selbstaufmerksame Satzeinbettung. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, Frankreich, 24.–26. April 2017, Conference Track Proceedings (OpenReview.net, 2017).

Koren, Y., Bell, RM & Volinsky, C. Matrixfaktorisierungstechniken für Empfehlungssysteme. Computer 42, 30–37. https://doi.org/10.1109/MC.2009.263 (2009).

Artikel Google Scholar

Catherine, R. & Cohen, WW Transnets: Lernen, sich für Empfehlungen zu transformieren. In Proceedings of the Eleventh ACM Conference on Recommender Systems, RecSys 2017, Como, Italien, 27.–31. August (Cremonesi, P., Ricci, F., Berkovsky, S. & Tuzhilin, A., Hrsg.), 288–296 . https://doi.org/10.1145/3109859.3109878 (ACM, 2017).

Feng, X. & Zeng, Y. Neuronale kollaborative Einbettung aus Rezensionen zur Empfehlung. IEEE Access 7, 103263–103274. https://doi.org/10.1109/ACCESS.2019.2931357 (2019).

Artikel Google Scholar

Zhao, C., Li, C., Xiao, R., Deng, H. & Sun, A. CATN: Cross-Domain-Empfehlung für Kaltstart-Benutzer über Aspect Transfer Network. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2020, Virtual Event, China, 25.–30. Juli (Huang, JX et al., Hrsg.), 229–238. https://doi.org/10.1145/3397271.3401169 (ACM, 2020).

Dezfouli, PAB, Momtazi, S. & Dehghan, M. Tiefe neuronale Überprüfung von Textinteraktionen für Empfehlungssysteme. Appl. Soft Comput. 100, 106985. https://doi.org/10.1016/j.asoc.2020.106985 (2021).

Artikel Google Scholar

He, X. et al. Lightgcn: Vereinfachtes und leistungsstarkes Graph-Faltungsnetzwerk für Empfehlungen. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2020, Virtual Event, China, 25.–30. Juli (Huang, JX et al., Hrsg.), 639–648. https://doi.org/10.1145/3397271.3401063 (ACM, 2020).

Gao, Q. & Ma, P. Graphisches neuronales Netzwerk und kontextbewusste Forschung zu Benutzerverhaltensvorhersagen und Empfehlungssystemen. Berechnen. Intel. Neurosci. 8812370:1–8812370:14, 2020. https://doi.org/10.1155/2020/8812370 (2020).

Artikel Google Scholar

Referenzen herunterladen

Die in diesem Artikel beschriebene Arbeit wird teilweise von der National Natural Science Foundation of China (Nr. 61402150, 61806074), dem Key Scientific Research Project Plan of Colleges and Universities in Henan Province (Nr. 23A520016) und dem Science and Technology Research Project in unterstützt Provinz Henan (Nr. 232102211029).

Hochschule für Computer- und Informationstechnik, Henan-Universität, Kaifeng, 475004, Henan, China

Zheng Li, Di Jin und Ke Yuan

Henan Engineering Laboratory of Spatial Information Processing, Henan University, Kaifeng, 475004, Henan, China

Zheng Li

Henan Key Laboratory of Big Data Analysis and Processing, Henan University, Kaifeng, 475004, Henan, China

Zheng Li

Sie können diesen Autor auch in PubMed Google Scholar suchen

ZL: Schreiben-Rezension und Lektorat, Betreuung, Fördermittelakquise; DJ: Methodik, Software, Schreiben – Originalentwurf, Schreiben – Rezension und Bearbeitung; KY: Schreiben, Rezensieren und Bearbeiten. Alle Autoren haben die endgültige Fassung des Manuskripts gelesen und ihr zugestimmt.

Korrespondenz mit Ke Yuan.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Li, Z., Jin, D. & Yuan, K. Aufmerksamkeitsfaktorisierungsmaschine mit bewertungsbasierter Benutzer-Artikel-Interaktion für Empfehlungen. Sci Rep 13, 13454 (2023). https://doi.org/10.1038/s41598-023-40633-4

Zitat herunterladen

Eingegangen: 02. März 2023

Angenommen: 14. August 2023

Veröffentlicht: 18. August 2023

DOI: https://doi.org/10.1038/s41598-023-40633-4

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.