Apple a publié un modèle d’intelligence artificielle générative open source nommé MGIE. Il permet de modifier les photos selon les instructions textuelles qu’on lui donne. De quoi augurer qu’un jour, il s’agisse d’une fonctionnalité réelle sur les iPhone par exemple.
Source : Chloé Pertuis – Frandroid
Avec les Galaxy S24 qui sont sortis récemment, Samsung a déployé Galaxy AI, à savoir un ensemble de fonctionnalités d’intelligence artificielle. Un certain nombre d’entre elles sont dédiés à la photo : correction, suppression d’un élément, recadrage, etc. Logiquement, Apple s’y intéresse également. L’entreprise a d’ailleurs a publié un modèle d’édition d’images baptisé MGIE, disponible en open source.
Un Photoshop d’Apple basé sur l’IA
Ce modèle est nommé MGIE, pour MLLM-Guide Image Editing ; à noter que MLLM signifie « multimodal large language model », pour grand modèle de langage multimodal en français. Ce programme est le résultat d’une recherche d’Apple en collaboration avec plusieurs chercheurs de l’Université de Californie à Santa Barbara.
L’idée est d’utiliser une image que l’on fait modifier par une requête textuelle. Le modèle peut gérer plusieurs aspects de l’édition photo, comme des modifications façon Photoshop, de l’optimisation globale ou des modifications locales. Au-delà de la simple prise en compte de la requête, ce que fait MGIE, c’est l’améliorer.
Par exemple, sur une photo de pizza que l’on veut rendre plus vertueuse pour la santé, MGIE va transformer la demande en « la pizza comprend une garniture avec des légumes, comme des tomates ou des herbes ». Cette « » du prompt (la requête) permet au modèle de modification d’image d’avoir des instructions plus précises et plus claires, pour un résultat qui l’est aussi.
Source : Pomme
Si l’on en croit les exemples montrés, MGIE est également capable de retirer un objet d’une photographie, d’ajouter du contraste, de la netteté ou de la luminosité sur une photo ou encore de changer la couleur d’un élément. À la manière de Photoshop, on peut aussi lui demander de recadrer, redimensionner, faire pivoter, retourner une image, ou bien de lui ajouter un filtre.
On peut faire remplacer un arrière-plan par ailleurs. Le style d’une image peut être modifié : on peut remplacer une photographie par une peinture, ou une esquisse par une caricature. Les possibilités semblent assez grandes, et il est difficile de toutes les lister.
Ce modèle open source arrivera-t-il un jour sur les iPhone ?
La particularité de ce modèle, en tout cas dans le domaine de l’intelligence artificielle, c’est qu’il est totalement open source. Ce qui signifie qu’il est accessible gratuitement pour tout le monde, et que chacun est libre de le modifier et/ou du commercialiser. Cela comprend le code, les données ainsi que les modèles pré-entraînés.
Sur la page GitHub du projet, on trouve même des instructions pour apprendre à utiliser MGIE. Le chercheur Tsu-Jui Fu, qui a participé à la recherche, a mis en ligne une démonstration sur la plateforme Spaces de Hugging Face. Ce qu’on apprend, c’est que MGIE peut être intégré à d’autres applications d’édition d’images, ce qui permet d’imaginer l’avenir.
Apple iPhone 15 // Source : Chloé Pertuis – Frandroid
Apple travaille sur l’intelligence artificielle générative, on en est sûrs aujourd’hui. Ce modèle d’édition est très intéressant, puisqu’il pourrait très bien être intégré dans l’application Photos des iPhone, iPad et Mac. On peut imaginer que dans quelques années, Apple permette de modifier comme on souhaite ses photos à l’aide de cette IA. Cela ne verra peut-être jamais le jour, mais à l’heure actuelle, c’est ce vers quoi la marque tend.
