La fonction d'analyse de Snapchat peut identifier les chiens, les plantes, les vêtements, etc.

La fonction d'analyse de Snapchat peut identifier les chiens, les plantes, les vêtements, etc.

La prochaine génération d'une fonctionnalité appelée Scan peut identifier des vêtements, des races de chiens, des plantes, des voitures, et plus similaires

L'appareil photo de Snapchat a jusqu'à présent été principalement associé à l'envoi de messages de disparition et d'effets AR loufoques, comme un hot-dog dansant. Mais que se passe-t-il si cela fait des choses pour vous, comme suggérer des moyens d'améliorer l'apparence et le son de vos vidéos? Ou vous montrer une chemise similaire basée sur celle que vous regardez ?

À partir de jeudi, une fonctionnalité appelée Scan est en cours de mise à niveau et placée à l'avant et au centre de l'application appareil photo, lui permettant d'identifier une gamme de choses dans le monde réel, comme des vêtements ou des races de chiens.

Le placement important de Scan dans Snapchat signifie que la société devient lentement juste une application de messagerie, mais un moteur de recherche visuel. Scan permet également de résoudre un problème croissant pour les utilisateurs de Snapchat : comment trouver les millions d'effets AR, ou Lenses, créés par la communauté des créateurs de Snap. Avec sa capacité à suggérer des Lenses en fonction de ce que vous regardez, Scan pourrait apporter plus de visibilité aux Lenses que les gens fabriquent, les incitant à continuer à créer du contenu AR pour Snapchat.

La recherche visuelle n'est pas une idée nouvelle. En 2017, Google a lancé Lens, permettant aux utilisateurs de numériser des éléments via l'appareil photo de leur téléphone et de les identifier à l'aide de son vaste index de résultats de recherche. Lens est intégré dans les téléphones Google Pixel et un certain nombre d'autres téléphones Android, ainsi que dans l'application mobile principale de Google. Pinterest possède également sa propre fonction de recherche visuelle appelée Lens qui affiche des images similaires en fonction de ce que vous numérisez dans l'application.

Vidéo de Weston Reel pour The Verge Même si Snap est en train de rattraper son retard, il a sans doute une meilleure chance d'adopter l'idée de la recherche visuelle grand public. Depuis que Snapchat s'ouvre à la caméra, tout changement a de grandes implications sur la façon dont ses près de 300 millions d'utilisateurs quotidiens interagissent avec l'application. Snap dit que plus de 170 millions de personnes utilisent déjà Scan au moins une fois par mois – c'était avant qu'il ne soit placé au premier plan sur l'appareil photo comme c'est le cas maintenant.

«Nous pensons vraiment que le scan sera l'une des priorités de caméra à l'avenir », a déclaré Eva Zhan, responsable du produit caméra de Snap The Verge dans une interview exclusive. « À long terme, nous voyons la caméra faire beaucoup plus que ce qu'elle peut faire aujourd'hui. »

Snap a commencé à travailler sur Scan il y a quelques années après avoir observé comment les utilisateurs de Snapchat ont adopté la numérisation des codes QR de profil comme moyen d'ajouter des amis dans l'application. Après avoir d'abord travaillé avec Shazam pour identifier des chansons et Photomath pour résoudre des problèmes mathématiques via son appareil photo, Snap a ajouté la possibilité d'identifier les articles disponibles à la vente sur Amazon.

Cette dernière version de Scan, que Snap a présentée en avant-première lors de sa conférence des développeurs plus tôt cette année, ajoute la détection des races de chiens, des plantes, du vin, des voitures et de la nutrition alimentaire. Info. La majorité des fonctionnalités de Scan sont fournies par d'autres sociétés ; l'application Vivino est à l'origine de la fonction de numérisation du vin, par exemple. Bientôt, Allrecipes alimentera une fonction de numérisation qui suggère des recettes à préparer en fonction d'un ingrédient alimentaire spécifique. Snap prévoit de continuer à ajouter plus de capacités à Scan au fil du temps en utilisant un mélange de partenaires externes et de ce qu'il construit en interne.

La plus grande nouveauté de Scan est une fonction d'achat qui a été construit par Snap et aidé par sa récente acquisition de Screenshop, une application qui vous permet de télécharger des captures d'écran de vêtements et d'acheter des articles similaires. Scan peut recommander des vêtements similaires en fonction de ce que vous regardez et vous permettre d'acheter des vêtements que vous découvrez. La fonction d'achat de Scan sera également bientôt ajoutée à la section de pellicule de Snapchat appelée Memories, permettant aux gens d'acheter des vêtements en fonction de ce qu'ils ont enregistré à partir de leur appareil photo ou de leurs captures d'écran.

Un autre pilier central de Scan est ce que Snap appelle les raccourcis de l'appareil photo. Il fonctionne en recommandant une combinaison d'un mode appareil photo, d'une bande-son et d'un objectif. Ainsi, si vous dirigez la caméra vers le ciel, les objectifs spécialement conçus pour fonctionner avec le ciel seront affichés à côté d'un clip de chanson et d'un filtre de couleur, vous permettant d'appliquer tous les changements en même temps. Selon Zhan, Snap travaille à ajouter des raccourcis de caméra à son rival TikTok Spotlight, permettant potentiellement au spectateur d'une vidéo de sauter rapidement dans sa caméra avec la même configuration que celle utilisée pour créer la vidéo qu'il vient de regarder.

GIF : Snap ) J'ai trouvé les raccourcis de l'appareil photo de Scan amusants au départ, mais ils sont actuellement limités à quelques situations seulement: des plans du ciel, des pieds humains, des chiens et de la danse . Snap prévoit d'étendre les situations dans lesquelles les raccourcis de caméra fonctionnent au fil du temps, et l'intégration avec Spotlight montre comment ils pourraient devenir une partie plus intégrante du processus de création vidéo.

Snap veut numériser vers être un moyen important pour les utilisateurs de découvrir les objectifs AR à l'avenir. Il a récemment commencé à laisser ses créateurs AR étiqueter leurs objectifs avec des mots-clés pertinents qui aideront Scan à suggérer les bons objectifs en fonction de ce que la caméra observe.

Vidéo par Weston Bobine pour The Verge

) Après avoir testé le nouveau Scan au cours des deux dernières semaines, je l'ai trouvé aléatoire. Il y a eu de nombreux cas où Scan identifiait des choses de manière incorrecte ou ne fonctionnait pas du tout, comme lorsqu'il ne reconnaissait pas qu'il y avait des vêtements pour lesquels j'essayais d'obtenir des résultats, et aussi des fois où cela fonctionnait parfaitement. Parfois, les objectifs suggérés étaient pertinents, et d'autres fois, ils n'étaient clairement pas du tout recommandés contextuellement.

Cela dit, Snap promet que Scan s'améliorera avec le temps, à la fois dans sa capacité à identifier avec précision les choses et avec de nouvelles catégories d'objets qu'il peut détecter . Aucune donnée de Scan n'est actuellement utilisée pour le ciblage publicitaire, mais il est facile de voir comment la fonctionnalité pourrait rapporter de l'argent avec plus de liens commerciaux ou publicitaires sur la route.

Photo : Snap

La numérisation devient plus convaincante dans un monde futur avec des personnes portant des lunettes AR, comme les dernières lunettes Snap. Pour moi, il ne me semble pas naturel de pointer mon téléphone vers des choses dans le monde réel comme moyen de les identifier, mais le comportement est plus logique si je porte des lunettes intelligentes qui peuvent scanner mon environnement.

Snap anticipe déjà cela : les nouvelles lunettes ont un bouton Scan dédié sur la monture qui déclenche les verres en fonction de ce que le porteur regarde. (Les nouveaux Spectacles ne sont pas disponibles à la vente. À la place, Snap les donne à certains créateurs et partenaires AR qui demandent l'accès.)