Tutoriel IA dessin/animation/musique

On me l'a demande, alors je m'y colle mais ce sera quelque chose de basique, sachant que:

1/Je me limiterai a ce qui m'interesse MOI (ne venez pas me demander un truc dans un style photorealiste)

2/Il existe des tas d'IA differentes, avec leurs propres caracteristiques ou fonctionnalites. J'aurais pu vous parler de Civitai, plus complexe a utiliser, mais vous n'aurez aucun mal a trouver des tutos sur le Net, essentiellement en anglais. Pour cette fois, nous allons nous limiter a Dall-e (dessin), Vidu et Luma Labs (video), et Suno (musique).

Pourquoi celles-la? Premierement elles sont gratuites, en tous cas partiellement (vous avez droit a un certain nombre de credits renouvelables quotidiennement ou mensuellement). Dall-e n'a pas de limites en theorie... mais dans la pratique le site va bloquer pour quelques heures au-dela d'environ 500 images (sachant qu'il genere 4 images a la fois, cela nous fait donc 120 generations environ, c'est deja pas mal). On peut contourner cette restriction en ouvrant deux comptes... Et puis Dall-e (v3) est le seul que j'ai trouve qui reussisse a vraiment donner un rendu d'anime eighties en cellulo. Par contre, si vous voulez de l'anime contemporain en CGI, la plupart des autres IA y parviennent sans trop de difficulte.

L'inconvenient de Dall-e c'est que la resolution est assez basse, en format carre (et non portrait), et que la taille du prompt est assez reduite.

Vous allez devoir vous inscrire sur ces sites, mais encore une fois c'est gratuit. Par contre, pour Dall-e, il vous faudra un compte Microsoft.

Dall-e: https://www.bing.com/images/create/

Vidu: https://www.vidu.studio/

Luma Labs: https://lumalabs.ai/dream-machine

Suno: https://suno.com/

LE truc qui caracterise la generation par IA c'est le prompt. C'est a dire ce que vous allez ecrire qui decrit ce que vous desirez obtenir. Le francais est generalement reconnu, mais je vous conseille franchement de tout faire en anglais afin d'obtenir des resultats optimums (un coup de Google traduction le cas echeant et c'est regle). Nous allons donc commencer par creer une image en tapant notre texte dans la zone en rouge.

Je vous propose

tres belle femme aux longs cheveux bleus, yeux verts. Elle porte un chemisier rouge aux manches retroussees, largement ouvert, et un jean noir.  

Nous l'appelerons Geraldine.

(attention a ne pas mettre de mots trop "sexy" comme nue, en sous-vetements, ou a forte poitrine. La plupart des IA bloquent ce type de prompt, a part Civitai qui accepte meme le porno hardcore).

Premier probleme, Geraldine n'a pas de cheveux bleus, le regard fait peur, et surtout on a un truc realiste! Ca, c'est parce qu'on a oublie de preciser le style desire! Je recommence en rajoutant

incarnant l'esthetique par excellence de l'animation celluloid peinte a la main des anime japonais des annees 80. un grain de film subtil est ajoute pour impregner l'image d'une sensation authentique et nostalgique 

C'est deja mieux (meme si les cheveux sont plus turquoise que bleus mais on fera avec cette fois), mais gardez bien a l'esprit qu'il y a peu de chances d'avoir des le premier coup l'image ideale, il va sans doute falloir recommencer plusieurs fois. Bon, sinon il nous manque un decor. Pas indispensable mais c'est quand meme mieux. On va donc rajouter

sur une plage au bord de la mer, en plein ete

J'aime bien les deux du bas. 

Par defaut, les decors sont generalement de jour, mais on peut tres bien rajouter au soleil couchant ou en pleine nuit sous la lumiere de la Lune.

La derniere n'a pas fonctionne puisqu'elle est de jour. C'est normal, comme je vous l'ai dit, les rates peuvent etre assez nombreux. Evidemment, en jouant avec les conditions climatiques, le personnage en est affecte. Si par exemple je mets sous un orage pluvieux avec un ciel sombre, Geraldine va se retrouver toute mouillee (hem).

Ensuite, si on n'indique rien de particulier, le personnage est generalement debout dans une pose standard, on peut evidemment changer tout ca! Demandons que Geraldine soit en position assise.

Les deux premieres sont ratees (sauf si la plage est sur une terrasse...) mais ok pour les deux autres.

Ensuite, on peut demander a avoir un mouvement particulier comme elle se passe une main dans les cheveux.

La troisieme est bizarre, les autres ca va. Maintenant, faisons-la courir.

On peut aussi choisir l'angle de vue (la j'ai choisi vue de cote) mais ca marche un peu moins bien, il faudra faire plus de generations pour obtenir ce que l'on souhaite.

Comme vous le voyez, on peut faire faire plein de choses a Geraldine (sauf des cochonneries, a moins d'utiliser Civitai)

Dernier point, on peut evidemment changer les expressions faciales. 

Enfin, ne perdez pas de vue qu'il y a parfois des defauts sur certaines images, qui necessiteront donc d'etre retravaillees ensuite (avec Photoshop ou n'importe quel autre logiciel de dessin).

Si vous voulez faire des tests avec le meme rendu graphique, ne vous embetez pas, et utilisez le prompt suivant

still frame from a 1980s vintage realistic anime style when a (description de votre image/personnage/decor/etc). embodying the quintessential aesthetics of a hand-painted cel animation from the 80s Japanese anime. subtle film grain is added to imbue the image with an authentic, nostalgic feel. 

Tres bien, mais si maintenant nous animions un peu tout cela? Je vous previens tout de suite, c'est encore tres loin d'etre au point. On v a y arriver dans les mois/annees a venir, mais pour le moment c'est pas encore ca.

La plupart des sites generent des videos de 4 secondes (parfois extensibles), mais gardez bien a l'esprit que sur les 4, vous n'en garderez peut-etre que 2 ou 3, voire une seule! Il faudra faire de tres nombreux tests et des copier-coller avec un logiciel de montage video. Autant pour le dessin, on a un bon pourcentage de reussite, autant pour l'animation il chute drastiquement.

Mes credits sont precieux, je n'ai donc fait qu'une poignee de generations avec des resultats pas terribles, mais c'est juste pour vous donner une idee et vous montrer comment faire. 

Vidu et Luma Labs fonctionnent quasiment de la meme facon. Et vu qu'on a deja genere l'image avec le style desire, pas besoin de taper ce genre d'instruction dans le prompt, on se contentera de l'action/mouvement de camera.

Vous choisissez image to video a gauche, et vous importez l'image de reference souhaitee. Et en-dessous, vous indiquez ce que vous desirez voir comme action.

Idem sous Luma Labs, vous cliquez a gauche du prompt pour importer l'image, et a cote vous tapez l'action desiree. Je trouve Luma Labs meilleur pour les travellings sur les decors (tapez "camera" dans le prompt et il vous proposera automatiquement divers mouvements).

Pendant que Geraldine se repose un peu, on va commencer doucement par un simple paysage. Sachez par ailleurs qu'avec Photoshop il y a un truc tres sympa. Les images generees par Dall-e sont en format carre, mais il est possible de les aggrandir ensuite. J'ai par exemple cree cette plage, mais je la voudrais en format paysage. Dans Photoshop choisissez crop tool (desole, je ne connais pas le terme francais), selectionnez la taille desiree, puis clic droit et generative expand, puis validez. Et hop.

C'est loin de marcher a tous les coups hein.

Evidemment ca fonctionne avec tout, mais c'est clairement plus difficile, pour ne pas dire impossible (pour l'instant) avec un personnage, particulierement au niveau des mains :(

 

Maintenant, ouvrons notre nouveau fichier dans Luma Labs, et je tape camera move left. Tant que vous etes en forfait gratuit, le temps de generation peut etre EXTREMEMENT aleatoire, entre une minute et un jour... (quelle que soit la complexite de la video, c'est juste que vous etes mis dans une queue d'attente; vous pouvez quitter la page ou meme eteindre le PC en attendant, ca travaillera tout seul de son cote).

Revenons a Geraldine. On va essayer de la faire bouger un peu en tapant par exemple elle se passe une main dans les cheveux, tourne la tete vers la gauche, et se met a sourire

Ensuite, on coupe, on colle, on garde les meilleurs passages, et on monte le tout comme ca nous plait.

Pour terminer, nous devrions ajouter un peu de musique, afin que ca ne fasse pas "vide". La, on va utiliser Suno, avec exactement le meme principe, mais pour la musique.

A gauche choisir Create, puis dans la colonne adjacente selectionner Custom et Instrumental (nous ne ferons pas de chanson cette fois-ci). Dans le prompt Style of Music nous allons taper BGM calme typique d'un anime des annees 80. J'en ai genere une correcte des le premier coup, on va donc la garder. On la colle a la video dans un logiciel de montage et hop, c'est pret!

A vous de jouer maintenant, de faire vos propres essais, voir ce qui vous plait ou pas, essayer divers softs...

Et merci a Geraldine pour son aimable collaboration!