À retenir
- Le résumé de documents par IA est utile lorsqu’il permet de gagner du temps de lecture sans cacher les éléments de preuve sur lesquels repose le résumé.
- Un bon résumé devrait préserver les principales décisions, les contraintes et les questions sans réponse, et non seulement raccourcir le texte.
- Pour les documents de travail, la confidentialité, le contrôle des accès et la vérification des sources comptent autant que la qualité du modèle.
Avez-vous du mal à résumer rapidement un film que vous venez de regarder ou un livre que vous avez lu il y a quelques semaines ? Parfois, vous adorez un livre et, si vous réussissez à vous souvenir de son contenu, ce qui m’arrive rarement, vous finissez par ennuyer votre ami pendant une heure en lui décrivant les nombreux chapitres et passages importants alors qu’il voulait seulement un résumé rapide et concis. C’est parce qu’un excellent résumé est difficile à faire, même pour nous, mais qu’il demeure nécessaire. Pensez à l’utilité de savoir rapidement de quoi parle un livre avant de l’acheter, ou simplement de parcourir tous vos courriels et documents en quelques secondes.
Pour bien résumer un livre, un film ou n’importe quel contenu, vous devez très bien le comprendre. Il faut omettre toute l’information inutile tout en conservant l’essentiel. Rendre un contenu aussi concis que possible peut être vraiment compliqué, voire impossible.
Ici, j’essaie d’expliquer des articles de recherche en quelques minutes, et je n’arrive souvent pas à descendre sous les 5 minutes, même si je ne fais que résumer un texte de 20 pages. Cela exige des heures de travail et de peaufinage, et je pourrais maintenant être remplacé par une IA qui le fait mieux en quelques millisecondes.
En effet, Google a récemment annoncé un nouveau modèle qui génère automatiquement des résumés à l’aide de l’apprentissage automatique. Il est maintenant offert dans Google Docs, et vous pouvez déjà l’utiliser.
Le modèle tente de comprendre l’ensemble du document et d’en générer un court résumé, ce que certains professionnels du cinéma n’arrivent manifestement toujours pas à faire.
Une icône bleue de résumé apparaît dans le coin supérieur gauche lorsqu’une suggestion de résumé est offerte pour un document. Les auteurs peuvent alors consulter, modifier ou ignorer le résumé suggéré. Image tirée de l’article de blogue de Google.
Le modèle doit accomplir deux choses :
- Comprendre le texte du document, ce que nous appelons la compréhension du langage naturel.
- Générer des phrases cohérentes en langage naturel. Autrement dit, effectuer de la génération du langage naturel.
Mais comment y parvenir ?
Vous l’avez deviné… Avec beaucoup de données et de puissance de calcul ! Heureusement, nous parlons ici de Google Research.
Les chercheurs ont entraîné leur modèle à reproduire notre processus de réflexion pour générer des résumés à l’aide d’un très grand nombre de documents accompagnés de résumés rédigés manuellement. Après avoir vu tous ces exemples, le modèle fait comme n’importe quel bon étudiant et finit par produire des résumés relativement bons pour des documents semblables à ceux rencontrés pendant son entraînement. Vous voyez maintenant pourquoi nous avons besoin de données de grande qualité. Le modèle apprend à partir d’elles. Il ne peut être meilleur que les données utilisées pour l’entraîner.
Ce serait comme demander à un très mauvais entraîneur qui ne connaît rien au basketball d’enseigner à un nouveau joueur. Comment ce dernier pourrait-il devenir bon si son entraîneur ne connaît rien à ce sport ? Son talent ne serait jamais optimisé et pourrait même être gaspillé uniquement à cause d’un mauvais encadrement.
Le défi consiste à généraliser à de nouveaux documents. La généralisation est parfois difficile même pour les étudiants qui ont seulement appris à reproduire les exemples donnés sans comprendre comment appliquer les formules. C’est exactement la même chose ici. Le modèle éprouve des difficultés puisqu’il ne peut pas mémoriser tous les documents et tous les résumés. Il DOIT les comprendre ou, à tout le moins, savoir sur quels mots porter son attention afin de produire un résumé qui représente bien le document. C’est probablement cette deuxième option qui se produit, puisque le modèle ne comprend pas réellement le document. Il comprend seulement comment accomplir la tâche, ce qui reste malheureusement loin de l’intelligence humaine, mais suffit pour une telle application.
Je viens de mentionner « l’attention ». Eh bien, ce n’était pas une coïncidence. L’attention est peut-être le concept le plus important derrière ce modèle. En effet, tout comme GPT-3, ce nouveau modèle utilise aussi l’architecture Transformer et les mécanismes d’attention. C’est là que la grande puissance de calcul devient nécessaire. Comme vous le savez, les transformeurs sont de grands réseaux puissants, mais souvent un peu trop grands pour des outils rapides et efficaces qui doivent produire un résultat en ligne en quelques secondes. La complexité de calcul des transformeurs augmente également avec la taille de l’entrée. Plus l’entrée est longue, plus le calcul est lourd, ce qui cause d’importants problèmes lorsque vous souhaitez résumer un livre entier.
Image tirée de l’article de blogue de Google.
GPT-3 fonctionne bien avec de petites entrées, comme les tâches de réponse aux questions, mais la même architecture ne peut pas traiter efficacement des livres entiers. Les chercheurs ont plutôt dû employer quelques astuces afin d’obtenir un modèle plus petit et efficace tout en conservant des résultats de grande qualité. Ils ont réussi cette optimisation en combinant des transformeurs et des RNN, deux concepts que j’ai expliqués dans des vidéos précédentes que je vous recommande fortement de regarder pour mieux comprendre. Les les articles français liés ci-dessous.
Modèle PEGASUS et modèle combiné RNN+Transformer [1][2].
En bref, son fonctionnement ressemble à celui de GPT-3, que vous devriez maintenant comprendre grâce à ma vidéo, mais avec une version plus petite du modèle qui avance de façon itérative jusqu’à terminer le livre. La partie Transformer de l’architecture est responsable de « comprendre » une petite section du texte et d’en produire une version encodée. Le RNN empile ces connaissances et les garde en mémoire pendant qu’il parcourt le livre entier, jusqu’à obtenir la façon la plus concise d’en résumer le contenu. En travaillant ensemble, le mécanisme d’attention ajouté à l’architecture récurrente peut parcourir de longs documents et repérer les caractéristiques les plus importantes à mentionner dans le résumé, comme le ferait un humain.
Bien sûr, le modèle n’est pas parfait, puisque même les auteurs professionnels ne réussissent pas toujours à résumer parfaitement leur travail. Les résultats sont toutefois assez impressionnants et produits avec une très grande efficacité. Je vous recommande fortement de l’essayer vous-même dans Google Docs pour vous faire votre propre idée.
Et voilà !
C’est ainsi que Google Docs résume automatiquement vos documents grâce à son nouveau modèle basé sur l’apprentissage automatique. J’espère que vous avez aimé l’article ! Si oui, prenez une seconde pour laisser un commentaire et suivre mon travail. Dites-moi ce que vous pensez de ce nouveau modèle. Allez-vous l’utiliser ?
Merci d’avoir lu jusqu’à la fin. Je vous retrouve la semaine prochaine avec un autre article incroyable !
Références
►Article de blogue de Google : https://ai.googleblog.com/2022/03/auto-generated-summaries-in-google-docs.html
►Vidéo sur GPT-3 : https://youtu.be/gDDnTZchKec
►Vidéo sur l’attention : https://youtu.be/QcCJJOLCeJQ
►Que sont les RNN ? : https://youtu.be/Z0pb3LjeIZg
►[1] Zhang, J., Zhao, Y., Saleh, M. and Liu, P., 2020, November. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In International Conference on Machine Learning (pp. 11328–11339). PMLR.
►[2] Chen, M.X., Firat, O., Bapna, A., Johnson, M., Macherey, W., Foster, G., Jones, L., Parmar, N., Schuster, M., Chen, Z. and Wu, Y., 2018. The best of both worlds: Combining recent advances in neural machine translation. arXiv preprint arXiv:1804.09849.
►Mon infolettre (une nouvelle application d’IA expliquée chaque semaine directement dans vos courriels !) : /fr/newsletter/
FAQ
Qu’est-ce que le résumé de documents par IA ?
Le résumé de documents par IA utilise un modèle de langage pour transformer un long texte en une version plus courte qui conserve les points principaux et les décisions.
Quand le résumé de documents est-il utile ?
Il aide avec les notes de réunion, les rapports, la recherche, les contrats, les documents internes et tout long texte dont vous devez comprendre rapidement les points principaux.
Que devrait contenir un bon résumé généré par IA ?
Il devrait inclure l’idée principale, les décisions clés, les détails importants, les questions ouvertes et des liens ou références vers la source originale.
Quels problèmes peuvent survenir dans un résumé généré par IA ?
Le modèle peut omettre des nuances importantes, exagérer sa certitude, manquer du contexte ou inventer des détails si le flux de travail ne le garde pas ancré dans les sources.
Comment les équipes devraient-elles utiliser les résumés par IA de façon sécuritaire ?
Utilisez les résumés comme aide à la lecture, gardez la source à proximité, évitez les documents sensibles sans cadre de confidentialité clair et vérifiez les détails à fort enjeu.