Grâce au système Azure AI de Microsoft, les développeurs peuvent inclure des fonctions de création de légendes pour les images, avec plus de précision dans l’analyse du contenu.
Et si une intelligence artificielle pouvait générer automatiquement une légende pour une image, décrivant son contenu ? Les chercheurs de Microsoft se sont penché sur le problème et viennent d’annoncer d’énormes progrès dans l’analyse des images avec le système Azure AI.
La vidéo ci-dessous donne quelques exemples de l’évolution des algorithmes depuis 2015, aboutissant à des légendes aussi précises que ce que pourrait décrire un être humain :
Parmi les exemples de la vidéo qui montre l’évolution des légendes :
- « Vue de la rue d’une ville » devient « Un tramway dans la rue d’une ville »
- « Une pendule sur le côté d’un immeuble » devient « Une statue sur le haut d’un immeuble »
- « Un groupe de joueurs de baseball sur un terrain avec de l’herbe » devient « Un groupe de joueurs de football en train de célébrer leur victoire »
- « Un chat en gros plan » devient « Un chat gris avec ses yeux fermés »
- « Une porte verte en gros plan » devient « Un interrupteur blanc sur un mur vert »
- « De la nourriture en gros plan » devient « Une pile de grains de café »
Pour arriver à ce résultat, les équipes de Microsoft ont entrainé leur AI avec une grande quantité d’images. Ils ont « appris » au système des mots correspondant à des objets spécifiques dans les images. Puis, avec ce vocabulaire, l’AI a appris comment former des phrases.
Le système a ensuite été soumis au test nocaps, qui évalue l’AI en lui proposant des images qu’elle ne connait pas. Au final, l’intelligence artificielle a généré des légendes plus précises et de meilleure qualité que celles créées par des êtes humains.
Ce système de création automatique de légende pour une image sera par exemple utile aux malvoyants et aux aveugles. Il pourra aussi permettre de rechercher plus rapidement une image en spécifiant son contenu. Microsoft prévoit d’intégrer la fonction plus tard dans l’année dans ses logiciels Word, Outlook et PowerPoint.
Source : Microsoft
