Cette journée de conférence, ou plutôt de retours d’expérience, relatifs à la découvrabilité des contenus pour les services publics s’est déroulée en deux parties. Dans ce second article nous vous partageons nos notes de l'après-midi, qui était dédié à la découvrabilité des contenus culturels pour les publics, sur le web.
N.B : Le texte suivant est issu de notre prise de notes (les elements entre parenthèse et en italique sont nos remarques a posteriori). Cette journée a été filmée et la vidéo des huit heures est disponible sur YouTube, ici.
PARTIE 2 : La découvrabilité externe, sur le web
Introduction
[Ministère de la Culture et de la Communication]
Le numérique doit être pensé comme une politique culturelle en tant que telle, car il incarne l’enjeu prioritaire du secteur pour les temps à venir. On peut penser l’enjeu de la découvrabilité comme la transposition numérique de la mission principale du ministère : valoriser son patrimoine. Tout son patrimoine. Et cet objectif s’inscrit dans le sillon des politiques qui l’ont précédé : il a fallu numériser les fonds, puis les archiver. Maintenant il faut les traiter pour les rendre découvrables.
La mission de découvrabilité repose sur une étude des usages portée par une ambition politique : que la culture française soit présente dans les imaginaires de demain. Pour le ministère, c’est une ambition de contenus, plus que de plateforme (la souveraineté patrimoniale repose sur la capacité a maintenir le patrimoine en France. Il n'y a pas de contenus sans plateforme, car ce sont les deux faces d'une même médaille).
Globalement, on a une assez faible connaissance des pratiques culturelles en ligne. C’est un sujet qui donne surtout lieu à l’expression de clivages entre des sensibilités : le spectacle vivant peut-il exister en ligne ? Telle est une question pour laquelle les radicalités s'opposent.
Mais comment avoir des informations sur les usages ? La mise en œuvre opérationnelle de ce concept de découvrabilité pose des questions fondamentales : la découvrabilité devant servir la diversité culturelle, comment mesure-t-on la diversité ? Question hautement politique et qui peut avoir une influence déterminante sur la conception des algorithmes associés.
Ainsi, l’action du Service Numérique du Ministère commence par la définition d’une stratégie. Celle-ci s'appuie sur le rapport qui fait référence concernant la découvrabilité des contenus francophones (mission quebec & MCC, ici). Ce rapport s’articule autour de quatre axes :
- Soutenir la formation et accompagner le milieu culturel. Il faut mobiliser les acteurs du milieu autour de ce sujet et les accompagner dans le développement de leurs compétences. Puis, il faut sensibiliser les publics à ces enjeux (médiation).
- Accentuer la mise à disposition et la promotion des contenus francophones en ligne. Il faut établir des normes communes de classification et encourager leur usage ; développer des stratégies de marketing pour assurer la visibilité des contenus publiés ; accompagner la promotion de ces contenus à l'international.
- Mieux comprendre l'environnement qui conditionne la découvrabilité. Il faut formaliser une veille des usages numériques, partagée entre tous les acteurs culturels francophones ; accroître l'intelligence économique par la donnée du secteur, notamment en identifiant des tiers de confiance pouvant soutenir les acteurs culturels.
- Transformer les politiques publiques. Il faut faciliter la mise en ligne de contenus francophones. Ceci passe par la réforme du cadre réglementaire actuel concernant le droit d'auteur en France et au Quebec, et par la mise en place d'outils qui permettraient un suivi mutualisé de ce droit, pour tous les acteurs.
Pour voir des mises en œuvre aboutir, il faudra des investissements. Car ils déterminent la capacité du développement technologique.
L’optimisation financière passera par la mutualisation des investissements techniques, pour outiller le système d'information du ministère et de ses administrations. L’ambition sera de s’appuyer sur les forces existantes pour mettre en commun les infrastructures des administrations et de la tutelle, afin de faire émerger des systèmes d’informations culturels centrés sur les données.
La démarche suivie sera prospective et participative. Elle visera l’accomplissement des missions suivantes :
- Définir une stratégie numérique par établissement ;
- Construire une offre de service numérique du ministère à destination des établissements ;
- Établir un baromètre de maturité numérique pour les établissements, puis pour la culture dans son ensemble ;
- Proposer une offre de conseil interne, pour les établissements ;
- Disposer d’un guichet de financement : un nouveau fond a été créé ;
- Animer une communauté autour des données culturelles.
Une fois ceci dit, on pourrait aussi se poser la question suivante : quelle serait la découvrabilité dans un monde ou les contenus seraient créés par les machines elles-mêmes ?
➡️ La recommandation de contenu : Le MOOC de dix-huit heures sur la decouvrabilite des contenus culturels, propose par le MCC.
Recommandation de contenus media
[Radio France]
Quelle doit être la recommandation de service public ?
Ce qu'on sait, c'est qu'elle ne doit pas seulement suivre les objectifs de rentabilité qu'aurait un service privé.
Radio France est un média de service public. Disposant de sept chaînes, Radio France produit des contenus dédiés à l’écoute en direct ou à la demande. Il y a quinze millions d’auditeurs quotidiens, et les contenus sont distribués sur des plateformes tierces, sur des assistants vocaux, mais aussi sur les environnements de Radio France. C'est seulement sur ces derniers que l'institution peut maîtriser les algorithmes de recommandation. C’est donc sur ses systèmes que les équipes data peuvent travailler (d’où l’intérêt de disposer de plateformes institutionnelles).
Pour comprendre la problématique de Radio France, il faut faire un pas de coté et regarder comment on propose des contenus sans machines : on fait de la recommandation humaine. C’est le travail éditorial d’un media. Comment peut-on faire de la personnalisation, quand l’ADN de notre organisation porte l'éditorialisation qui constitue déjà une forme de recommandation ? Et cette question était une source de tensions avec les équipes métier. Ces dernières évoquèrent aussi le risque des bulles de filtres, la possible mise en avant systématique de blockbusters – qui serait anti-découvrabilité -, les biais de confirmation, l’utilisation déraisonnée des données personnelles, un manque de transparence, etc.
Comment être exemplaire en tant que service public ?
Il fallut former une équipe d’enquête (32 entretiens , 3 ateliers, etc.) dont l’objectif était la formalisation d’un livre blanc avec des principes a respecter.
- L’humain reste au cœur de la démarche : La recommandation algorithmique n’est qu’un complément de la recommandation éditoriale ;
- Garantir la transparence ;
- Favoriser la découverte : ne pas proposer ce que la personne écoute tout le temps ;
- L’efficacité ;
- Garder le contrôle.
Le mode de fonctionnement choisi fut donc le suivante : l’équipe éditoriale met déjà en première page des contenus récents comme plus anciens. Cette présélection est proposée dans une slider de l’application. En fonction des choix d’écoutes de l’auditeur, le slider contenant lesdits contenus, les proposera dans un ordre différent.
Le modèle ne traite que des données de lecture, pas de données socio-démographiques qui identifieraient potentiellement la personne.
L’architecture de principe est la suivante :
.png)
Le modèle repose sur un filtrage collaboratif : qu’ont écouté les utilisateurs similaires? Grâce à une API, l'application sait si elle doit afficher le slider par défaut, entièrement éditorialisé par l’humain, ou un slider réorganisé par le modèle. Une icône (i) indique a l’utilisateur s’il est soumis a des propositions algorithmiques.
Les indicateurs de qualité ont été pensé pour trouver un équilibre entre performance et découvrabilité. Les indicateurs de performance sont assez classiques comme le taux de clics, le taux d’écoute ou celui de mise en favori. Les indicateurs de découvrabilité sont plus spécifiques. Ils sont la part du catalogue exposée, la variété des propositions, l’exposition des émissions plus confidentielles, celles de niche moins fréquemment mises en avant, etc.
L’analyse de la performance a été réalisée en suivant une méthodologie d’A/B Testing. On propose trois applications différentes à trois groupes d’utilisateurs et utilisatrices bien identifiés.
- Groupe 1 : pas de personnalisation
- Groupe 2 : Algorithme A
- Groupe 3 : Algorithme B
Puis on relève les indicateurs.
Ces tests on permis de mettre en valeurs l’apport de la personnalisation. Celle-ci offre des taux d’écoute supplémentaire entre 25% et 41% supérieurs. Côté découvrabilité, 80% des utilisateurs et utilisatrices se retrouvent avec l’ensemble des podcasts qui apparaît à un moment dans le top 3, et y est donc exposé. Un indicateur courant, l’intra list dissimilarity, définit le nombre moyen de chaîne différentes sur les 3 premières propositions. Elles sont de trois avec le modèle actuel
Privilégier l’approche par filtrage collaboratif plutôt que par métadonnées et thématiques a grandement facilité la tâche à réaliser. La récolte de données d’utilisation est quasi-directe, alors que l’annotation thématique de contenus est une charge chronophage qui mobilise des experts et/ou des IA qui vont apposer des méta-données aux contenus qui n’en ont pas (comme évoqué dans la matinée).
➡️ La recommandation de contenu : Au coeur des algorithmes avec Aurélie Jean
Recommandations de produits culturels
[Pass Culture]
La mission de l’organisme est claire : renforcer et diversifier les pratiques culturelles des jeunes. Les services numériques associés se composent d’une application mobile pour les jeunes et d’un portail professionnel pour créer et gérer un catalogue. Or, les professionnels ayant des activités infiniment variées (c’est la beauté de la culture !), le catalogue dispose d’un très grand nombre de catégories, liées horizontalement et verticalement. L’application est utilisée par 76% des jeunes de 18 ans.
Afin de suivre, par des métriques, le bon déroulement de la mission de la plateforme, il a fallut créer sa propre mesure de performance : le score de diversification. L’utilisateur ou l’utilisatrice gagne des points en fonction des catégories qu’il ou elle explore. S’il initie une nouvelle pratique, par exemple va au cinéma après avoir acheté un livre, il gagne des points. Comme il fallait une mesure objective, il fut choisi d’incrémenter ce score à la réservation d'un produit et non à sa consultation. L’objectif de découvrabilité peut donc être suivi en supervisant la moyenne du score de diversification, ou plutôt l’accroissement de sa moyenne.
Une autre manière de piloter la découvrabilité est de suivre la part de lecture en fonction de l’interface qui a permis d’accéder au produit commandé (le canal d'activation): un utilisateur qui cherche le titre d’un livre ne découvre pas quelque chose de nouveau, mais quelqu’un qui clique sur une « proposition similaire », oui. De même, une page d’accueil favorise plus la découvrabilité qu’une recherche précise. Un objectif peut donc être d'accroître le taux de conversion de certains canaux spécifiques.
De nouveaux canaux furent aussi développés, comme des canaux thématiques, ou des canaux reposant sur la localisation pour valoriser les événements proches. On peut ensuite calculer un score de découvrabilité moyen par canal et identifier les canaux les plus efficaces.
De la même manière que précédemment, les choix de modèles reposent sur de l’A/B Testing et le calcul des performances associées.
Pour le canal de proposition des choix similaires, on utilise une méthode de filtrage collaboratif qui crée les vecteurs latents des utilisateurs. Puis on utilise un algorithme de Two Tower qui s’appuie sur des user features (usage de l’application et consultation de l’offre) et des item features (sémantique des contenus proposés).
Il y a des millions d’offres qu’il faut ranker à une vingtaine, en supervisant des objectifs de conversion, de diversification et de contexte (localisation).
Aujourd’hui un travail est mené en collaboration avec le laboratoire Bunka (ENS PSL) qui vise a cartographier les pratiques culturelles des jeunes pour les visualiser. Une réflexion est aussi en cours pour apporter des évolutions au calcul du score de diversification, afin de prendre en compte des événements qui précèdent la réservation d’une offre.
Question 810 : Communiquez-vous le score de diversification à la personne concernée ?
Réponse : Pour l’instant non, mais le sujet est à l’étude.
(Ce serait un plus pour la transparence)
Un dernier objectif à venir est d’intégrer du contenu vidéo à l’application, pour expliciter le contenu des offres, ce qui pourrait améliorer nos indicateurs de diversification
L’application Rumo
[SPIDEO]
Rumo est un système de recommandation SaaS. Il permet de configurer un modèle, via un backoffice, en définissant des tags et des pondérations qui permettent de maîtriser les regroupements réalisés par l'outil. C’est un système agnostique, c’est a dire qu’il est adaptable à des produits culturels diversifiés. Ses utilisateurs comptent MyCanal, l’INA, la BNF, SKY, etc.
L’intérêt du service est de faciliter la compréhension des algorithmes de recommandation par les équipes métiers, en leur offrant transparence, confiance et contrôle. Le choix s’est porté sur des catégorisations sémantiques pour recréer l’expérience d’un vidéoclub, où on se partage un film par une description fine, à laquelle on joint une analyse taxonomique.
Les tableaux de bords permettent de contrôler des recommandations de Contenu-a-contenu (« puisque vous avez regardez... »), mais aussi des recommandations personnalisées (« vous pourriez aimer... »).
Les indicateurs proposés permettent de suivre les performances de ces deux types de recommandations. La conversion peut être mesurée par le clic sur un contenu recommandé dans les 24 heures qui suivent sa recommandation, et la découvrabilité peut être mesurée par la part du catalogue recommandée.
L’objectif est de créer une proto-taxonomie pour pouvoir avoir des recommandations de métadonnées automatisées, facilitant le travail des équipes.
Table ronde, après-midi
La sémantique pose la difficulté que la donnée est bruitée. Le tracking utilisateur facilite l’approche, car il repose sur des données générées automatiquement.
La collaboration entre la recherche public et le secteur privé est déterminante pour l’interclassement et la comparaison des modèles de données.
Une question reste a l’appréciation de celles et ceux qui la font : la découvrabilité se mesure-t-elle sur un temps long ou sur un temps court ? Faudrait-il rendre publiques les métriques de découvrabilité pour inciter l’utilisateur a se diversifier ?
(La sémantique offre le pouvoir de classement au producteur de la plateforme, le tracking la partage aux utilisateurs et utilisatrices.)
📚 Anecdote : Le Patriot act a eu un gros impact sur les bibliothèques. Le gouvernement voulait connaitre les lectures des publics pour évaluer le risque terroriste associé.
💡 Astuce : Pour communiquer sur la traçabilité des usagers, proposer un bilan annuel de consommation sur la plateforme, comme le fait Spotify. Au-delà d’être un événement de communication intéressant, c’est une manière de rendre transparent le suivi des données.
Conclusion 810
Il est réjouissant de voir ces sujets saisis par nos institutions. Ils nous rappellent que la technologie lorsqu’utilisée en prenant en compte des valeurs a priori intangibles, comme la diversification, et des valeurs tangibles, comme le nombre de vues, peut servir la cause culturelle. Elle n’est pas qu’asservissement et abêtisation énergique, elle est un soutien au développement des connaissances qui reposent sur la structuration d’informations extraites de données. Puisse ceci nous guider vers la sagesse (DICS).
ℹ️ Pour lire nos notes de synthèse de la matinée, dédiée à la découvrabilité des contenus culturels pour la recherche, lisez notre premier article, accessible ici.
