Liste des problèmes et des limites de ChatGPT
1. Accès à Internet et géolocalisation
Cela ne devrait pas être une surprise, mais la technologie d'OpenAI ne peut pas accéder à l'internet.
Il ne peut pas fournir d'informations en temps réel, ni utiliser des informations de localisation, ni fournir d'url ou de références à quoi que ce soit sur Internet.
Comme on peut l'imaginer, cela limite sévèrement la fonctionnalité de l'application et les types de services qu'elle peut fournir.
Cela dit, s'il est capable un jour d'explorer le Web, il ira au-delà de ce que l'on pourrait attendre d'un modèle de langage.
Cette attente est donc probablement irréaliste pour le moment, à moins qu'OpenAI ne mette en œuvre une forme de machine learning qui mette constamment à jour les données d'entraînement afin que ChatGPT soit toujours à jour.
De plus, le fait de fournir un accès ouvert à Internet à une IA a de graves conséquences, et le fait de ne pas autoriser les fonctionnalités basées sur Internet était probablement un choix intentionnel.
En ce qui concerne le battage médiatique selon lequel cette application pourrait donner du fil à retordre à Google et bouleverser la recherche, il existe de nettes différences entre ce type d'application et un moteur de recherche.
Un moteur de recherche utilise des robots d'exploration du Web et classe les pages. Ce n'est pas le cas de cette application. Ce chatbot n'est pas un moyen de naviguer sur Internet, la comparaison peut donc s'apparenter à une comparaison entre des pommes et des oranges.
2. Données obsolètes
Les données de formation les plus récentes datent de 2021, en septembre. Depuis lors, une année entière s'est écoulée. Les langages de programmation peuvent avoir été mis à jour, les bibliothèques peuvent avoir de nouvelles fonctionnalités, et le monde a changé. Cela signifie que ChatGPT fonctionne à partir d'un ensemble de données obsolètes.
3. Mémoire défectueuse
J'ai essayé de faire en sorte que ChatGPT modifie et fasse des suggestions pour améliorer un texte.
Cela fonctionne généralement, mais si je lui demande de reformuler certaines suggestions, ou de développer quelque chose, il peut parfois supposer à tort que j'ai fait les suggestions et se référer à un texte qui n'était pas dans le texte original que j'ai fourni pour le test, ou il va simplement fournir à peu près le même texte qu'il a fourni dans le passé avec des changements minimes.
4. Incapacité à porter des jugements
Le langage comporte des aspects qualitatifs tels que la position et le sentiment.
Bien que ChatGPT soit capable de déterminer ces éléments, il ne peut pas les étendre à des choses telles que le caractère offensant d'un texte, ce qui est bon et ce qui est mauvais, etc.
Maintenant, c'est probablement pour le mieux, mais ne serait-il pas agréable que ChatGPT puisse regarder par-dessus votre épaule et vous dire de ne pas envoyer un e-mail ou de reformuler quelque chose pour être moins dur ?
5. Manque de modèles d’entrées
Le modèle est purement textuel. Vous ne pouvez pas fournir d'images, d'URL, d'audio ou toute autre entrée.
De même, il ne peut pas produire d'images, d'URL ou d'audio. Il peut produire du code qui peut générer ces choses, mais ce n'est pas la même chose.
Cela signifie que, d'un point de vue conversationnel, il est assez faible.
Il est incapable de lire votre langage corporel ou de comprendre le contexte culturel dans lequel vous vivez.
Il ne peut pas utiliser votre regard pour déterminer votre humeur et il est incapable de vous rassurer ou de vous apaiser en fonction de ce que vous ressentez.
6. Longueur d'entrée et de sortie
Vous ne pouvez pas introduire le texte d'un roman entier.
Sinon, il mettra une éternité à répondre et se trompera. De même, il ne peut pas générer un roman entier.
Cependant, j'ai réussi à lui faire pondre un mauvais scénario qui était loin de correspondre à la longueur attendue d'un scénario de long métrage.
7. Biais possibles dans les données de formation
Il convient de noter que si ChatGPT est soumis à des restrictions quant à ce dont il peut parler et ce à quoi il peut accéder, les données d'entraînement sous-jacentes peuvent être biaisées.
Il est difficile de savoir à quel point elles peuvent être biaisées, mais il est assez difficile de lui faire générer des articles contenant des diffamations.
Il semble que ChatGPT ait été formé pour éviter les biais dans ses résultats, même si ses données d'entrée sont biaisées, mais ce n'est pas tout à fait clair.
8. Capacités linguistiques
J'ai essayé de mélanger les langues et de converser dans d'autres langues dans une seule et même session de chat.
J'ai constaté que le rendu pouvait être très différente en fonction de la langue utilisée.
Ce qui est intéressant, c'est que certains problèmes que j'ai rencontrés avec d'autres langues ont été améliorés aujourd'hui, ce qui signifie que ce problème pourrait ne pas se poser dans un avenir proche.
Par exemple dans ce cadre il m'informe que ce mot Japonais ("Amour" ou "Aimer aujourd'hui selon la traduction Google) n'existe pas ce qui n'est pas vrai.
Il serait intéressant de retenter l'expérience dans quelques temps afin de voir si le modèle à eu le temps d'apprendre de son erreur.
9. Sens de l'humour faible
ChatGPT a un sens de l'humour assez faible puisqu'il ne peut pas parler de choses adultes :(
J'aime les blagues, mais certaines ne sont pas si drôles que ça voire incompréhensibles.
10. Production générique et plagiat
J'ai essayé de demander à ChatGPT de créer une fable originale dans le style de La Fontaine.
Ce que j'ai obtenu est un texte très proche de l'original que l'on pourrait même considéré comme du plagiat.
Un détecteur de contenu généré par l'IA ou de plagiat le signalerait probablement comme copié et à juste titre.
J'ai également essayé de lui faire générer un synopsis d'un film de style Christopher Nolan avec des éléments cyberpunk et j'ai obtenu une fusion de Matrix, de Ready Player One et Minority Report.
Inutile de dire que ChatGPT n'est pas susceptible de créer des prémisses intéressantes ou des scripts de films primés à court terme.
11. Questions relatives à la qualité de vie
Ainsi, en fonction de ce que vous demandez, vous devrez peut-être attendre très longtemps avant d'obtenir une réponse.
ChatGPT semble parfois se bloquer et cela ne semble pas être lié à la vitesse du réseau.
Dans d'autres cas, il peut simplement ne pas fournir de réponse, auquel cas il renvoie un message d'erreur.
J'avais l'habitude d'en recevoir un certain nombre il y a quelques jours, mais en ce moment, il semble que cela se soit considérablement amélioré.
D'après ce que j'ai vu dans les forums, sur Discord et dans les FAQ, cela peut dépendre du nombre de personnes utilisant ChatGPT à un moment donné.
Il convient de noter que certains de ces problèmes ne sont pas liés au modèle de langage sous-jacent lui-même.
12. Difficultés à comprendre le sens figuré
Plus une question est directe, plus il est facile pour ChatGPT d'y répondre.
Le sens figuré est quelque chose qui semble être compris le plus souvent par ChatGPT, mais il peut parfois avoir des difficultés.
13. Ne joue pas le jeu sur les sujets sensibles
J'ai souvent essayé de voir si ChatGPT peut écrire des articles biaisés et c'est comme jouer à la roulette russe.
Parfois, il peut le faire, parfois non.
Souvent, vous devrez le piéger pour qu'il fasse ce que vous voulez qu'il fasse.
Je pense que cela est probablement similaire à certaines des restrictions que ChatGPT a mis en place pour des choses comme les sujets matures ou extrêmemistes.
14. Pas d'avis personnel
Est-ce que je pense qu'il y a un être humain à l'autre bout ? Absolument pas.
ChatGPT rappelle toujours à l'utilisateur qu'il s'agit d'un modèle de langage, ce qui exclut toute possibilité de se faire avoir.
Je ne considère pas cela comme un point négatif, mais si le but est de créer des réponses similaires à celles d'un humain, alors c'est un échec.
15. Personnalité et Sentiments
ChatGPT n'a pas de personnalité.
Lors de mes interactions avec lui, il ressemblait davantage à un moteur de recherche handicapé capable de fournir des opinions, et n'a pas d'identité propre. Il n'est ni votre ami ni votre ennemi.
Vous n'avez pas de relation avec l'assistant de ChatGPT, et il en va de même.
En général, dans le cadre de l'IA sociale, il peut être utile d'établir une certaine forme de connexion ou de relation pour garantir une meilleure expérience aux utilisateurs finaux.
ChatGPT ne le fait pas, cependant, et cet aspect est quelque chose qui, selon moi, le limite sévèrement en termes d'impact qu'il peut avoir.
Résumé.
ChatGPT est un outil de génération de contenu développé par OpenAI qui peut générer une variété de réponses à des questions et des invitations.
Cependant, il présente des limites, comme le fait qu'il n'a pas accès à Internet et ne peut donc fournir des informations actuelles ou précises.
Il peut également générer des réponses peu cohérentes ou qui n'ont pas de sens dans le contexte de la conversation.
De plus, les modèles de langage comme ChatGPT ne peuvent pas comprendre ou interpréter le sens des mots et des phrases de la même manière que les humains.
Il est important de noter que ChatGPT est en développement continu et peut s'améliorer au fil du temps.
Néanmoins, les limites mentionnées ci-dessus doivent être prises en compte lors de son utilisation. Il ne devrait pas être utilisé pour des décisions importantes ou critiques. Il est un outil puissant pour générer du texte, mais il ne peut pas remplacer la compréhension humaine.
Pour ceux qui ne sont pas d'accord avec les problèmes que j'ai identifiés, voici ChatGPT pour parler de lui-même et fournir un soutien à mes affirmations :
"ChatGPT est une variante du modèle de langage GPT (Generative Pre-trained Transformer) développé par OpenAI. Comme les autres modèles de langage, ChatGPT est conçu pour générer un texte de type humain sur la base des données qu'il reçoit. Il est entraîné sur un grand ensemble de données de texte et peut générer un large éventail de réponses à diverses invites et questions."
Si vous souhaitez utiliser une autre IA afin de vous aider dans votre travail quotidien, pouvez également lire ma comparaison détaillée de ChatGPT vs Jasper AI pour vous donner une meilleure idée des différentes options disponibles.
