Mon doctorat porte sur le concept d’unité documentaire sur le web. Ce blog traitera donc des questions liées au statut du texte sur le web : au plan conceptuel, en adoptant le point de vue des SIC (modes de diffusion de l’information et des thématiques, place de l’auteur) ; et au plan technique, sous l’angle du traitement automatisé du langage (constitution, structuration et traitement de grands corpus textuels issus du web).
Vous trouverez récapitulées ci-dessous les hypothèses de départ de mon doctorat, telles qu’elles ont été présentées dans la partie scientifique de mon projet de recherche.
Le document contre la page
L’unité documentaire est fractale
A l’heure actuelle, le document web est généralement défini de manière mécaniste - dans la pratique, on considère qu’un fichier, une page web représentent un document. Ce qui le constitue comme unité documentaire est sa représentation informatique. Si cette approche a l’avantage d’être très simple à mettre en oeuvre, elle n’en présente pas moins des inconvénients majeurs - par exemple les articles présentés sur plusieurs pages (pratique courante chez les éditeurs de contenus, pour maximiser les revenus publicitaires) se trouvent considérés comme plusieurs documents ; plus profondément, chaque page contient pratiquement toujours plusieurs types de contenus, plusieurs auteurs, plusieurs objectifs, plusieurs niveaux de lecture, toutes choses qu’une représentation ’plate’ fait disparaître. En règle générale, cet état de fait ne pose guère de problèmes pour toute une catégorie de traitements. Les outils d’extraction se contentent d’identifier un contenu principal, un auteur principal, d’estimer une date de publication, puis ignorent le reste de la page. En définitive, le document web est traité comme le document papier.
Les informations perdues dans le processus paraissent négligeables, jusqu’au moment où il est nécessaire de comprendre des phénomènes propres à internet. Comment circule l’information ? A quelle vitesse ? Dans quelle direction ? Qui s’exprime ? Qui est représentatif ? Qui est influent ? Les informations nécessaires à étudier ces phénomènes ont été perdues lors du nettoyage de la page.
Même en faisant varier les traitements appliqués pour transformer la page web en document, il paraît impossible de définir une granularité satisfaisante. Le web imbrique toujours plusieurs niveaux de lecture encapsulés les uns dans les autres - il est fractal. Il est extrêmement malaisé de déterminer a priori une unité intrinsèquement meilleure, plus pertinente que les autres. Tout est relatif à la tâche qu’on souhaite accomplir, aux informations qu’on souhaite extraire, à la dynamique qu’on souhaite étudier.
La nécessité du contexte
La tentation existe de prendre directement le contrepied de l’approche qui fait correspondre document, fichier et page. Cela reviendrait à chercher à obtenir la segmentation la plus fine possible. Dans ce cas, l’idée est de découper chaque page en unités disposant chacune d’un auteur identifiable (article, commentaire, tweet, lien). Cela permet certes de subdiviser en unités cohérentes d’un certain point de vue, mais on se retrouve alors avec des informations qui ne sont compréhensibles qu’en contexte, sémantiquement incomplètes une fois détachées du contenu auquel elles font référence ou qu’elles commentent. On perd donc en cohérence sémantique ou pragmatique ce qu’on a gagné en précision. En effet, les contenus produits sur internet sont très fréquemment des réactions à d’autres contenus pré-existants. On pense par exemple aux discussions et aux commentaires, qui sont privés de la majeure partie de leur sens si on ne sait pas d’où ils proviennent - disons au moins qu’il y a une relation de dépendance sémantique entre le contenu dérivé et le contenu original.
La conversation
L’utilisation croissante de plateformes de gestion des contenus a eu des effets de bords très importants, notamment l’adoption pratiquement universelle du commentaire (au point que c’est à ceux qui choisissent de ne pas laisser d’espace de commentaires sur leur site de se justifier - les commentaires sont le choix par défaut) : les spectateurs peuvent ‘réagir’, et ils ne se privent pas de le faire. Le résultat est que sur internet, tout contenu donne lieu à une glose. Cette uniformité de surface cache au moins deux réalités : la conversation (entre lecteur et auteur, ou entre lecteurs, ou entre auteurs) et la réaction (exemple habituel : les commentaires sur les sites de journaux) .
Mais la discussion se poursuit au-delà de la page d’origine : dès lors qu’un lien circule, ce sont subitement des dizaines de conversations parallèles qui se tiennent, découlant d’un même contenu, telles les branches d’un arbre. C’est une réalité connue, que les spécialistes de la visualisation et de la cartographie des données s’occupent de représenter. Dans notre domaine, l’important est de chercher à comprendre ce qui différencie les commentaires laissés sur la page hébergeant le contenu original des discussions qui se tiennent ailleurs, sur des pages ayant relayé le contenu original - de notre point de vue l’essentiel est que la page-relais a ajouté une couche de sens. Elle est comme l’ombre portée par la page d’origine.
Le texte contre le sens
Le texte est non-linéaire
Un nouveau problème apparaît lorsque l’on entreprend d’analyser le texte des unités qu’on a découpées : le contenu textuel lui-même utilise de nombreuses techniques différentes pour transmettre un message. Le texte n’a plus seulement une valeur linguistique, et les techniques habituelles de TAL ne parviennent pas à traiter l’ensemble de ses usages.
On peut notamment prendre l’exemple de twitter : pour produire du sens avec 140 caractères seulement, les utilisateurs de twitter ont recours à différentes techniques : abréviations classiques, abréviations spéciques à twitter (RT), hashtags (qui contextualisent le message en l’intégrant à un discours collectif), noms d’utilisateurs (qui permettent d’interpeller publiquement un autre utilisateur), réponse à un autre tweet (et donc insertion dans une discussion), et surtout lien – l’impossibilité de poster du HTML sur twitter a conduit à l’utilisation des URL comme des symboles linguistiques.
En général, le TAL traite ces usages du texte comme des parasites et cherche à les éliminer, parce qu’ils interfèrent avec l’analyse linguistique normale. Ce faisant, on perd des informations essentielles (des informations dont un humain aurait besoin pour comprendre le message) parce qu’on cherche à traiter le texte sur internet comme du texte plat. Il arrive assez souvent qu’il ne demeure plus rien d’un tweet après le nettoyage. Son sens nous échappe alors totalement.
Or, si le TAL est effectivement démuni face à du texte hors-ligne (où seul le contenu textuel lui-même peut être utilisé pour savoir ce qu’est le texte analysé, ce qu’il contient, ce à quoi il est destiné, etc.), il n’y a pas de raison qu’il en aille de même sur internet. Si nous voulons réellement comprendre ce qui se passe, lorsque quelqu’un s’exprime sur internet, alors nous devons commencer par essayer de profiter des ressources que nous cherchons généralement à ignorer en les nettoyant.
Chaque partie de la page dispose de métadonnées, explicites ou implicites, qui permettent au lecteur humain de donner du sens à ce qu’il lit. Ce sont elles qui doivent nous permettre de comprendre le texte que nous analysons. Naturellement, elles ne peuvent être traitées par les moyens linguistiques qui sont habituellement mis en oeuvre pour les contenus textuels. Mais plutôt que de les supprimer, il me semble plus productif de les extraire et de les traiter à part.
Le problème du document semi-structuré
Le texte sur internet occupe une position particulière. Enserré dans un langage à balises et tendant de plus en plus vers la rigueur du XML, il reste cependant marqué par son histoire – sans même parler de l’empilement de langages et de standards utilisés actuellement, le problème est qu’on est toujours face à un amalgame entre structure et mise en forme. Avec des balises comme <em>, ou même plus simplement avec les liens, il devient nécessaire d’analyser le code source de la page pour déterminer la structure sémantique de son contenu textuel.
Bien que la page ait une structure, dans le cas général, cette structure n’est ni prévisible, ni documentée. Cette difficulté est tempérée par l’utilisation de plus en plus fréquente (désormais pratiquement universelle) de systèmes de gestion de contenus (CMS). Cette uniformisation relative des outils apporte une certaine régularité, notamment un usage pratiquement universel du XML. C’est cette régularité que nous envisageons d’exploiter pour automatiser le traitement des pages web.
L’originalité contre l’identité
Les auteurs sont multiples
Traditionnellement, on estime qu’une minorité extrêmement restreinte d’utilisateurs crée la majorité du contenu publié sur internet . Parallèlement, la généralisation des CMS a rendue extrêmement floue la frontière entre consommation, diffusion et production de contenus. Aujourd’hui, la pertinence de la distinction entre contenu original et contenu dérivé (distinction d’ordre juridico-économique, liée à notre conception de la propriété intellectuelle) n’est plus une donnée .
Parallèlement à la notion de document, il faudra donc également interroger l’idée d’auteur, les deux concepts étant intimement liés. Cette axe de recherche est sans doute l’un des plus ouverts, tant les problématiques qui s’y rapportent sont nombreuses :
- Identification de l’auteur : sur la base d’indices de surface, linguistiques ou structurels, essayer d’établir un profil, une identité. Essayer de suivre cette identité sur différents documents
- Clusterisation : sur des bases linguistiques, identifier des groupes, choisir des personnes représentatives.
- Diffusion et influence : comprendre la place dans la chaîne de transmission des contenus – où la personne se trouve-t-elle dans le graphe ? Est-elle créatrice, consommatrice ou éclaireuse ?
Le texte est une couche de sens
Depuis la page sur laquelle il a été posté, un contenu arrive à ses consommateurs par le biais d’une infinité de ‘passeurs’ qui le relaient, le commentent, le subvertissent parfois .
Il faut donc traverser un grand nombre de couches avant d’accéder au document en soi Cette glose elle-même porte du sens – il suffit de penser, par exemple, à la légende d’une photo : une méta-information, une donnée extérieure au contenu principal peut en changer le sens du tout au tout.
Chacune des couches vaut finalement comme contenu, et pourtant toutes ne sont que des gloses du contenu de départ (ce qu’on appelle généralement ‘original content’) qui attend, derrière le lien. Sur twitter, la logique est poussée à l’extrême : l’OC n’est que le faire-valoir de celui qui va poster le lien – pour le dire en termes plus neutres, l’OC est la matière première, et le lien est le produit transformé. Le travail du découvreur est un travail de packaging. Il transforme un produit brut en produit consommable.
‘Original Content’
Le tweet, le post de blog, le statut Facebook sont donc autant des contenus en eux-mêmes que des portes vers le contenu de départ. Ce constat établi, demeure une question : le contenu final, celui qui ne renvoie plus vers aucun autre, est-il nécessairement le vrai contenu ?
Si on considère que chaque commentaire, chaque glose ajoute au sens de l’original et fait partie du même document (au sens où ils doivent être analysés ensemble pour faire sens), alors on comprend enfin pourquoi il est si problématique de délimiter les choses. Sur internet un document n’est jamais en version finale ; le nombre de ses auteurs n’est pas arrêté ; il peut disparaître ; ce qui compte n’est pas sa date de première publication, mais bien sa date de dernière mise à jour.
Conclusion provisoire
Le document est un faisceau
Nous proposons d’envisager le document sur internet comme une dynamique, un vecteur, un faisceau. Pour prendre une image : le flux va du contenu vers son consommateur, en étant relayé et commenté à chaque étape. En traversant chaque couche, il s’enrichit du sens qu’on dépose sur lui. Partant de là, on peut considérer que le document, c’est l’ensemble formé par le contenu d’origine et toutes les couches de glose qu’il a traversées pour arriver à un lecteur, au moment où ce lecteur en prend connaissance.
Résumons. La page web n’est pas un document. Elle est la cristallisation de plusieurs flux d’informations et de données, à un moment précis et dans un but précis (généralement l’affichage immédiat, mais ce n’est par exemple pas le cas lorsqu’elle est crawlée). Ces flux sont les documents. Leur incomplétude et leur instabilité sont constitutifs de leur nature. Il est impossible de les archiver en tant que tels.