In 'n nuwe artikel Point-E: A System for generating 3D point clouds from komplekse seine, die OpenAI navorsingspan stel Point E bekend, 'n 3D puntwolk teks voorwaardelike sintese stelsel wat diffusie modelle gebruik om gevarieerde en komplekse 3D vorms te skep wat deur komplekse teks gedryf word leidrade.in minute op 'n enkele GPU.
Die ongelooflike prestasie van vandag se moderne beeldgenereringsmodelle het navorsing in die generering van 3D-teksvoorwerpe gestimuleer.In teenstelling met 2D-modelle, wat uitset in minute of selfs sekondes kan genereer, vereis objekgeneratiewe modelle egter tipies etlike ure se GPU-werk om 'n enkele monster te genereer.
In 'n nuwe artikel Point-E: A System for generating 3D point clouds from komplekse seine, bied die OpenAI-navorsingspan Point·E aan, 'n tekstuele voorwaardelike sintesestelsel vir 3D-puntwolke.Hierdie nuwe benadering gebruik 'n voortplantingsmodel om gevarieerde en komplekse 3D-vorms te skep uit komplekse teksseine in net 'n minuut of twee op 'n enkele GPU.
Die span is gefokus op die uitdaging om teks na 3D om te skakel, wat van kritieke belang is vir die demokratisering van 3D-inhoudskepping vir werklike toepassings wat wissel van virtuele realiteit en speletjies tot industriële ontwerp.Bestaande metodes vir die omskakeling van teks na 3D val in twee kategorieë, wat elkeen sy nadele het: 1) generatiewe modelle kan gebruik word om monsters doeltreffend te genereer, maar kan nie doeltreffend skaal vir diverse en komplekse teksseine nie;2) 'n vooraf-opgeleide teks-beeld model om komplekse en gevarieerde teks leidrade te hanteer, maar hierdie benadering is rekenkundig intensief en die model kan maklik vashaak in plaaslike minima wat nie ooreenstem met betekenisvolle of samehangende 3D-objekte nie.
Daarom het die span 'n alternatiewe benadering ondersoek wat daarop gemik is om die sterk punte van die bogenoemde twee benaderings te kombineer, deur 'n teks-na-beeld-diffusiemodel te gebruik wat op 'n groot stel teks-beeld-pare opgelei is (wat dit toelaat om diverse en komplekse seine te hanteer) en 'n 3D-beeldverspreidingsmodel opgelei op 'n kleiner stel teks-beeld-pare.beeld-3D paar datastel.Die teks-na-beeld-model monster eers die invoerbeeld om 'n enkele sintetiese voorstelling te skep, en die beeld-na-beeld-model skep 'n 3D-puntwolk gebaseer op die geselekteerde beeld.
Die opdrag se generatiewe stapel is gebaseer op onlangs voorgestelde generatiewe raamwerke vir die voorwaardelike generering van beelde uit teks (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Hulle gebruik 'n GLIDE-model met 3 miljard GLIDE-parameters (Nichol et al., 2021), fyn ingestel op gelewerde 3D-modelle, as hul teks-na-beeld-transformasiemodel, en 'n stel diffusiemodelle wat RGB-puntwolke genereer as hul transformasie model.beelde na beeld.3D modelle.
Terwyl vorige werk 3D-argitekture gebruik het om puntwolke te verwerk, het die navorsers 'n eenvoudige transducer-gebaseerde model gebruik (Vaswani et al., 2017) om doeltreffendheid te verbeter.In hul diffusiemodel-argitektuur word puntwolkbeelde eers in 'n vooraf-opgeleide ViT-L/14 CLIP-model ingevoer en dan word die uitsetmaskers as merkers in die omsetter ingevoer.
In hul empiriese studie het die span die voorgestelde Point·E-metode vergelyk met ander generatiewe 3D-modelle op die puntetelling van seine van COCO-objekbespeuring, segmentering en handtekeningdatastelle.Die resultate bevestig dat Point·E in staat is om diverse en komplekse 3D-vorms uit komplekse teksseine te genereer en afleidingstyd met een tot twee ordes van grootte te versnel.Die span hoop dat hul werk verdere navorsing oor 3D-tekssintese sal inspireer.
'n Vooraf opgeleide puntwolkvoortplantingsmodel en evalueringskode is beskikbaar op die projek se GitHub.Dokument Point-E: 'n Stelsel vir die skep van 3D-puntwolke uit komplekse leidrade is op arXiv.
Ons weet dat jy geen nuus of wetenskaplike ontdekking wil mis nie.Teken in op ons gewilde Synced Global AI Weekly-nuusbrief om weeklikse KI-opdaterings te ontvang.
Postyd: 28 Desember 2022