ScreenSnapAI fait appel à ChatGPT pour décrire les captures d'écran

Nicolas Furno |

ScreenSnapAI est un nouvel utilitaire chargé de collecter des captures d’écran réalisées sur le Mac et surtout de leur apporter du sens avec l’aide de ChatGPT. L’app est capable de réaliser de nouvelles captures d’écran ou d’importer des images existantes. Elle extrait systématiquement le texte identifié sur l’image et peut en option la transmettre à OpenAI pour une analyse avancée du contenu avec GPT-4. De quoi améliorer l’identification des éléments importants sur la capture, au-delà du texte, puisque les photos peuvent elles aussi être étudiées par l’intelligence artificielle.

Une capture d’écran réalisée avec ScreenSnapAI avant le passage de ChatGPT… Image MacGeneration.
La même, après son passage : notez l’ajout des mots-clés et d’une description. Image MacGeneration.

Si l’idée est intéressante, la réalisation n’est pas encore à la hauteur. ScreenSnapAI se télécharge gratuitement, dans une version toutefois très limitée : impossible d’importer des images sans payer, il faut obligatoirement utiliser l’outil intégré et ce dernier est bien plus médiocre que celui de macOS. Vous ne pourrez pas sélectionner une fenêtre, ni déplacer la sélection après l’avoir commencé comme avec les captures d’écran du système. Une fois la capture stockée, l’app offre trois analyses gratuites avec un gros défaut : si vous ne cliquez pas sur un bouton pour conserver son travail, il sera perdu et vous devrez utiliser un crédit IA de plus.

Une partie de ces défauts devrait sauter en payant pour la version pro, une opération facturée 9,99 € une fois. Ce faisant, vous pourrez importer des images et les organiser dans des dossiers intelligents. Vous aurez aussi droit à 50 analyses avec GPT-4, puis il faudra payer, à raison de 100 traitements pour 5,99 €. Le développeur précise toutefois sur son site qu’il sera possible à terme d’utiliser sa propre clé OpenAI, un bon point. Reste à savoir si l’analyse proposée par ChatGPT est utile et je suis loin d’être convaincu sur la base de mes trois essais gratuits.

L’analyse en quelques mots tout comme les mots-clés proposés par l’assistant d’OpenAI sont surtout basés sur le texte identifié dans la capture d’écran, pas tellement sur le reste. L’extraction de texte proposée gratuitement par macOS est ainsi aussi bonne, même si ChatGPT garde l’avantage de pouvoir synthétiser le contenu. Cela dit, cette synthèse n’est proposée qu’en anglais à ce stade, alors même que mes captures ont été réalisées sur du texte en français.

Si vous voulez tester, ScreenSnapAI est proposée au téléchargement uniquement via le Mac App Store (une version sera bientôt proposée au téléchargement depuis le site officiel). macOS 13 est nécessaire au minimum et l’interface n’est pas traduite en français.

avatar AirLink | 

Cette manie de mettre de l'AI partout, ça me dépasse. On est trop con ?

avatar Scooby-Doo | 

@AirLink,

« Cette manie de mettre de l'AI partout, ça me dépasse. On est trop con ? »

Si vous vous posez cette question, c'est que vous ne savez pas vous en servir !

J'utilise des IA au quotidien depuis des années.

Certaines opérations qui me demanderaient une journée de travail manuel sont réalisées en quelques minutes !

C'est si difficile à comprendre ?

😁

avatar Denauw88 | 

@Scooby-Doo

En partie oui c’est difficile à comprendre. Il y a certainement des super gains avec l’ia, mais il faut aussi reconnaître qu’on en met partout et parfois on se demande pourquoi.

Personnellement je pense que pour le grand public, les effets waw ne sont pas encore nombreux (contrairement aux pros qui y voient des moyens d’accélérer leur travail, je suppose que c’est votre cas)

avatar Scooby-Doo | 

@Denauw88,

« En partie oui c’est difficile à comprendre. Il y a certainement des super gains avec l’ia, mais il faut aussi reconnaître qu’on en met partout et parfois on se demande pourquoi. »

👍

L'IA est devenu un nouveau élément de langage de la mercatique au même titre que la folie du 0 % dans les laitages !

C'est de la mercatique !

Et effectivement c'est difficile à comprendre car le domaine d'application est très vaste !

Une IA peut optimiser le remplissage d'un château d'eau par exemple !

C'est très éloigné de ce que l'on comprend du sujet sur ce forum !

« Personnellement je pense que pour le grand public, les effets waw ne sont pas encore nombreux (contrairement aux pros qui y voient des moyens d’accélérer leur travail, je suppose que c’est votre cas) »

Ils ont besoin de trouver des relais de croissance il me semble !

Le message est volontairement brouillé pour éviter que le client potentiel ne se pose trop de questions…

On a bien vendu de la lessive qui lave plus blanc que blanc !

Ce slogan ne veut rien dire, et pourtant il a été diffusé intensivement, et les ventes ont suivies !

La mercatique et la logique sont deux domaines qui peuvent partager certains points communs parfois, mais trop souvent s'ignorer mutuellement !

😁

avatar fleeBubl | 

Une projection Mercator !?!?

avatar Scooby-Doo | 

@fleeBubl,

« Une projection Mercator !?!? »

Bonjour l'abominable Fred des neiges !

Encore à faire de l'humour ?

😁

avatar fleeBubl | 

Ṃɏšƫḕȑɇ & 𝒞𝒾ℯ

avatar El-lolo | 

Intelligence artificielle ou connerie naturelle ?
Il faut choisir :-)

avatar Scooby-Doo | 

@El-lolo,

« Intelligence artificielle ou connerie naturelle ?
Il faut choisir :-) »

Et vous avez choisi quelle option ?

😁

avatar El-lolo | 

@Scooby-Doo

Connerie naturelle, sans hésiter :-)

avatar Scooby-Doo | 

@El-lolo,

« Connerie naturelle, sans hésiter :-) »

Trump et Poutine n'ont pas hésité eux aussi !

😁

avatar MacFly | 

Entièrement d'accord !

aujourd'hui on qualifie d'IA ce que avant un bon développeur faisait avec de la logique et ce que les automates font dans l'industrie depuis des décennies … certes il y a des domaines ou ca accélère les choses mais pour le moment j'attends encore de voir pour M. & Mme Michou du Cantal ce que ca apporte au quotidien.

- "Dis Siri, allume la lumière !"
- "Pouvez vous préciser une valeur ?"

et ce pendant 5 minutes …

Ca commence avec ce genre de choses
Jamais un programme informatique bien fait n'ira dans ce genre d'ineptie !

Je redoute que certains développement informatique partent en vrille totalement.

on a eu droit a l'explosion des tailles des programmes application avec les années … maintenant on compense avec la puissance des processeur la lenteur des développements abstrait et pour demain avec toute cette IA on nous rajoute des unités specialisées

Imaginez un instant soumettre en vrac toute vos copies d'écran a ce truc la qui les envoi a GPT-4 mot de passe possible, domaine privé… a chacun ses choses.

Certes dans la presse comme MacG je vois bien un intérêt par exemple, mais aucun pour un usage privé.

avatar Scooby-Doo | 

@MacFly,

Mais vous n'aimez pas le Cantal ?

😭

CONNEXION UTILISATEUR