Tha a bhith ag àrdachadh riochdachaidhean teacsa agus ìomhaighean air a bhith na phrìomh amas ann an rannsachadh anns na bliadhnachan mu dheireadh. Tha leasachaidhean agus rannsachadh a rinneadh o chionn ghoirid air leantainn gu iomadach tionndadh ann an ionnsachadh is lèirsinn cànain. Ach, a dh’ aindeoin cho mòr ‘s a tha teacsadh sgèileadh agus riochdachaidhean lèirsinneach, cha deach beachdachadh gu leòr air sgèile riochdachaidhean airson seallaidhean agus nithean 3D.

An-diugh, bruidhnidh sinn air Uni3D, modal bunait 3D a tha ag amas air riochdachaidhean aonaichte 3D a sgrùdadh. Tha frèam Uni3D a’ cleachdadh frèam 2D-tòiseachaidh ViT, ro-thrèanadh deireadh-gu-deireadh, gus feartan teacsa ìomhaigh a cho-thaobhadh leis na feartan sgòthan puing 3D co-fhreagarrach aca.

Bidh frèam Uni3D a’ cleachdadh gnìomhan ro-innse agus ailtireachd shìmplidh gus am pailteas de mhodalan 2D ro-thrèanadh agus modalan co-cheangailte ri ìomhaigh-teacsa a chleachdadh mar thoiseach tòiseachaidh agus targaidean, fa leth. Tha an dòigh-obrach seo a’ fuasgladh làn chomas mhodailean 2D agus ro-innleachdan airson an sgèile gu saoghal 3D.

San artaigil seo, nì sinn sgrùdadh nas doimhne air 3D lèirsinn coimpiutair agus frèam Uni3D, a’ sgrùdadh nam bun-bheachdan riatanach agus ailtireachd a’ mhodail. Mar sin, tòisichidh sinn.

Ionnsachadh Riochdachaidh Uni3D agus 3D: Ro-ràdh

Anns na beagan bhliadhnaichean a dh ’fhalbh, tha lèirsinn coimpiutair air nochdadh mar aon de na raointean as motha a tha a’ tasgadh ann an gnìomhachas AI. Às deidh adhartas mòr ann am frèaman lèirsinn coimpiutair 2D, tha luchd-leasachaidh air am fòcas a ghluasad gu lèirsinn coimpiutair 3D. Tha an raon seo, gu sònraichte ionnsachadh riochdachaidh 3D, a’ ceangal taobhan de ghrafaigean coimpiutair, ionnsachadh innealan, lèirsinn coimpiutair, agus matamataig gus giollachd agus tuigse air geoimeatraidh 3D a dhèanamh fèin-ghluasadach. Tha leasachadh luath mothachairean 3D mar LiDAR, còmhla ris na tagraidhean farsaing aca ann an gnìomhachas AR / VR, air leantainn gu ionnsachadh riochdachadh 3D a’ faighinn barrachd aire. Tha na h-iarrtasan a dh'fhaodadh a bhith aige a 'sìor fhàs gach latha.

Ged a tha na frèaman a th’ ann mar-thà air adhartas iongantach a nochdadh ann an ailtireachd modail 3D, modaladh stèidhichte air gnìomhan, agus amasan ionnsachaidh, bidh a’ mhòr-chuid a’ sgrùdadh ailtireachd 3D air sgèile an ìre mhath beag le dàta cuibhrichte, crìochan, agus suidheachaidhean gnìomh. Tha an dùbhlan a thaobh a bhith ag ionnsachadh riochdachaidhean 3D scalable, a ghabhas an uairsin a chuir an sàs ann an tagraidhean fìor-ùine ann an àrainneachdan eadar-mheasgte, fhathast gun sgrùdadh.

A 'gluasad air adhart, anns na beagan bhliadhnaichean a dh' fhalbh, a 'sgèileadh modalan cànain mòra a tha air an trèanadh ro-làimh air cuideachadh le bhith ag atharrachadh an giollachd cànain nàdarra àrainn, agus obraichean o chionn ghoirid air eadar-theangachadh a chomharrachadh san adhartas gu 2D bho chànan a’ cleachdadh dàta agus sgèileadh mhodail a tha a’ toirt cothrom do luchd-leasachaidh feuchainn ris an t-soirbheachas seo ath-fheuchainn ri riochdachadh 3D ionnsachadh a ghabhas sgèileadh & a ghluasad gu tagraidhean san fhìor shaoghal. 

Tha Uni3D na fhrèam pretraining 3D scalable agus aonaichte air a leasachadh leis an amas riochdachaidhean 3D air sgèile mhòr ionnsachadh a bhios a’ dèanamh deuchainn air na crìochan aige aig sgèile còrr air billean paramadair, còrr air 10 millean ìomhaigh le paidhir le còrr air 70 millean teacsa, agus còrr air millean cumadh 3D. . Tha am figear gu h-ìosal a’ dèanamh coimeas eadar neo-mhearachdachd an t-seallaidh agus na paramadairean ann am frèam Uni3D. Tha frèam Uni3D gu soirbheachail a’ sgèile riochdachaidhean 3D bho 6 millean gu còrr air billean. 

Tha frèam Uni3D air a dhèanamh suas de 2D ViT no Transformer lèirsinn mar an encoder 3D a tha an uairsin air a thrèanadh ro-làimh deireadh-gu-deireadh gus na feartan ìomhaigh-teacsa a cho-thaobhadh ri feartan sgòthan puing 3D. Bidh frèam Uni3D a’ cleachdadh gnìomhan ro-innse agus ailtireachd shìmplidh gus am pailteas de mhodalan 2D ro-thrèanadh agus modalan co-thaobhadh teacsa ìomhaigh a luathachadh mar thoiseach tòiseachaidh agus targaidean fa leth, mar sin a’ fuasgladh làn chomas mhodalan 2D, agus ro-innleachdan airson an sgèile gu saoghal 3D. Tha sùbailteachd & scalability frèam Uni3D air a thomhas a thaobh

1. A 'sgèileadh a' mhodail bho 6M gu còrr air billean paramadair. 
2. Tòiseachadh 2D gu teacsa fo stiùir bho lèirsinneach ionnsachadh fèin-stiùirichte. 
3. Modail targaid ìomhaigh teacsa a ’sgèile bho 150 millean gu còrr air billean paramadair. 

Fon fhrèam sùbailte agus aonaichte a tha Uni3D a’ tabhann, tha luchd-leasachaidh a’ faicinn àrdachadh ciallach ann an coileanadh nuair a thig e gu bhith a’ sgèileadh gach pàirt. Tha an ionnsachadh riochdachaidh 3D air sgèile mhòr cuideachd a’ faighinn buannachd mhòr bho na ro-innleachdan 2D agus sgèile-suas a ghabhas roinneadh. 

Mar a chithear san fhigear gu h-ìosal, tha frèam Uni3D a’ nochdadh àrdachadh ann an coileanadh an taca ri ealain a bh’ ann roimhe ann an suidheachaidhean le glè bheag de dhealbh agus gun sealladh. Is fhiach a bhith mothachail gu bheil frèam Uni3D a ’tilleadh sgòr cruinneas seòrsachadh neoni de chòrr air 88% air ModelNet a tha co-ionann ri coileanadh grunn dhòighean stiùiridh ùr-nodha. 

A bharrachd air an sin, tha frèam Uni3D cuideachd a’ lìbhrigeadh fìor chruinneas & coileanadh nuair a bhios iad a’ coileanadh gnìomhan riochdachail 3D eile leithid sgaradh pàirt, agus tuigse saoghal fosgailte. Tha frèam Uni3D ag amas air a’ bheàrn eadar lèirsinn 2D agus lèirsinn 3D a dhùnadh le bhith a’ sgèileadh mhodalan stèidheachaidh 3D le dòigh-obrach ro-thrèanadh aonaichte ach sìmplidh gus riochdachaidhean 3D nas làidire ionnsachadh thar raon farsaing de ghnìomhan, a dh’ fhaodadh cuideachadh aig a’ cheann thall ann an co-ghluasad 2D. agus lèirsinn 3D thairis air raon farsaing de mhodhan.

Uni3D: Obair co-cheangailte

Tha frèam Uni3D a’ tarraing brosnachadh, agus ag ionnsachadh bho na leasachaidhean a rinn ionnsachadh riochdachaidh 3D roimhe, agus modalan Bunasach gu sònraichte fo dhiofar mhodhan. 

Ionnsachadh Riochdachaidh 3D

Bidh an dòigh ionnsachaidh riochdachadh 3D a’ cleachdadh puingean sgòthan airson tuigse 3D air an nì, agus tha an raon seo air a bhith air a sgrùdadh gu mòr le luchd-leasachaidh san àm a dh’ fhalbh, agus chaidh fhaicinn gum faodar na puingean sgòthan sin a thrèanadh ro-làimh fo stiùir fèin-stiùiridh a’ cleachdadh sònraichte. Gnìomhan ro-ràdh 3D a’ gabhail a-steach modaladh puing-masg, fèin-ath-thogail, agus ionnsachadh eadar-dhealaichte. 

Is fhiach a bhith mothachail gu bheil na dòighean sin ag obair le dàta cuingealaichte, agus gu tric chan eil iad a 'sgrùdadh riochdachaidhean ioma-mhodhail gu 3D bho 2D no NLP. Ach, tha soirbheachas frèam CLIP o chionn ghoirid a thilleas àrd-èifeachdas ann a bhith ag ionnsachadh bun-bheachdan lèirsinneach bho theacsa amh a’ cleachdadh an dòigh ionnsachaidh eadar-dhealaichte, agus a’ feuchainn tuilleadh ri riochdachaidhean 3D ionnsachadh le bhith a’ co-thaobhadh feartan ìomhaigh, teacsa, agus puing sgòthan a’ cleachdadh an aon dòigh ionnsachaidh eadar-dhealaichte. 

Modailean bunaiteach

Tha luchd-leasachaidh air a bhith ag obair gu tur air dealbhadh mhodalan bunaiteach gus riochdachaidhean ioma-mhodhail a mheudachadh agus aonachadh. Mar eisimpleir, ann an raon NLP, tha luchd-leasachaidh air a bhith ag obair air frèaman as urrainn modalan cànain ro-thrèanadh a mheudachadh, agus tha e ag atharrachadh gnìomhachas NLP gu slaodach. A bharrachd air an sin, faodar adhartasan fhaicinn ann an raon lèirsinn 2D cuideachd leis gu bheil luchd-leasachaidh ag obair air frèaman a bhios a’ cleachdadh dàta & dòighean sgèileadh modail gus cuideachadh le adhartas cànain gu modalan 2D, ged a tha frèaman mar sin duilich an ath-aithris airson modalan 3D air sgàth an glè bheag de dhàta 3D ri fhaighinn, agus na dùbhlain a tha romhainn nuair a thathar ag aonachadh & ag àrdachadh frèaman 3D. 

Le bhith ag ionnsachadh bhon dà raon obrach gu h-àrd, tha luchd-leasachaidh air cruthachadh frèam Uni3D, a’ chiad mhodail bunait 3D le còrr air billean paramadair a bhios a’ cleachdadh ailtireachd aonaichte ViT no Vision Transformer a leigeas le luchd-leasachaidh modal Uni3D a sgèile a’ cleachdadh ro-innleachdan aonaichte 3D no NLP airson na modalan a mheudachadh. Tha luchd-leasachaidh an dòchas gun leig an dòigh seo le frèam Uni3D am beàrn a tha an-dràsta a’ sgaradh lèirsinn 2D agus 3D a dhùnadh còmhla ri bhith a’ comasachadh co-ghluasad ioma-mhodhail.. 

Uni3D: Dòigh agus Ailtireachd

Tha an ìomhaigh gu h-àrd a’ sealltainn sealladh farsaing air frèam Uni3D, frèam 3D ro-thrèanadh scalable agus aonaichte airson ionnsachadh riochdachaidh 3D air sgèile mhòr. Bidh luchd-leasachaidh a’ cleachdadh còrr air 70 millean teacsa, agus 10 millean ìomhaigh còmhla ri còrr air millean cumadh 3D gus frèam Uni3D a sgèileadh gu còrr air billean paramadair. Bidh frèam Uni3D a’ cleachdadh 2D ViT no Vision Transformer mar encoder 3D a tha an uairsin air a thrèanadh deireadh-gu-deireadh gus an dàta ìomhaigh teacsa a cho-thaobhadh ri feartan puing sgòthan 3D, a’ leigeil le frèam Uni3D an èifeachdas agus an cruinneas a tha thu ag iarraidh a lìbhrigeadh thairis air sreath raon farsaing de shlatan-tomhais. Bheir sinn a-nis sùil mhionaideach air obrachadh frèam Uni3D. 

Luchdaich a-nuas am frèam uni3d

Tha sgrùdaidhean roimhe air ionnsachadh riochdachadh puing sgòthan gu traidiseanta air fòcas mòr a chuir air dealbhadh ailtirean modail sònraichte a lìbhrigeas coileanadh nas fheàrr thar raon farsaing de thagraidhean, agus a bhios ag obair air beagan dàta le taing dha stòran-dàta beaga. Ach, tha sgrùdaidhean o chionn ghoirid air feuchainn ri sgrùdadh a dhèanamh air comasachd ro-thrèanadh scalable a chleachdadh ann an 3D ach cha robh builean mòra ann mar thoradh air cho beag de dhàta 3D a bha ri fhaighinn. Gus fuasgladh fhaighinn air duilgheadas scalability frèaman 3D, tha frèam Uni3D a ’faighinn buannachd bho chumhachd structar cruth-atharrachaidh vanilla a tha cha mhòr mar sgàthan air Vision Transformer, agus as urrainn fuasgladh fhaighinn air na duilgheadasan sgèileachaidh le bhith a’ cleachdadh ro-innleachdan sgèileachaidh aonaichte 2D no NLP gus meud a ’mhodail a sgèile. 

Tha sgrùdaidhean roimhe air ionnsachadh riochdachadh puing sgòthan gu traidiseanta air fòcas mòr a chuir air dealbhadh ailtirean modail sònraichte a lìbhrigeas coileanadh nas fheàrr thar raon farsaing de thagraidhean, agus a bhios ag obair air beagan dàta le taing dha stòran-dàta beaga. Ach, tha sgrùdaidhean o chionn ghoirid air feuchainn ri sgrùdadh a dhèanamh air comasachd ro-thrèanadh scalable a chleachdadh ann an 3D ach cha robh builean mòra ann mar thoradh air cho beag de dhàta 3D a bha ri fhaighinn. Gus fuasgladh fhaighinn air duilgheadas scalability frèaman 3D, tha frèam Uni3D a ’faighinn buannachd bho chumhachd structar cruth-atharrachaidh vanilla a tha cha mhòr mar sgàthan air Vision Transformer, agus as urrainn fuasgladh fhaighinn air na duilgheadasan sgèileachaidh le bhith a’ cleachdadh ro-innleachdan sgèileachaidh aonaichte 2D no NLP gus meud a ’mhodail a sgèile. 

Uni3D a thòiseachadh

Dùbhlan mòr eile air an do thachair obair roimhe an sàs ann a bhith a’ sgèileadh riochdachaidhean 3D, na duilgheadasan ann an co-fhilleadh, agus cus uidheamachadh a bha mar thoradh air meud mòr nam modalan. Is e dòigh èifeachdach air faighinn thairis air a’ chnap-starra seo a bhith a’ trèanadh cnàmhan-cùil 3D fa-leth le gnìomhan ro-innse 3D sònraichte, agus crìochan ro-thrèanadh a thòiseachadh. Ach, tha cosgaisean trèanaidh àrd an cois an dòigh-obrach, agus tha e duilich cuideachd tòiseachadh làidir a stèidheachadh airson ionnsachadh tar-mhodal mar thoradh air cho beag de dhàta 3D a tha ri fhaighinn airson adhbharan trèanaidh. 

Tha frèam Uni3D a’ faighinn buannachd bho chruth-atharrachaidh vanilla, agus tha an structar aige gu math coltach ri ViT. Leis an dòigh-obrach seo, faodaidh frèam Uni3D gabhail gu nàdarra ris na modalan mòra ro-thrèanadh le modhan eile gus frèam Uni3D a thòiseachadh. 

Co-thaobhadh ioma-mhodhail

Bidh frèam Uni3D a’ feuchainn ri co-thaobhadh ioma-mhodail ionnsachadh thairis air ìomhaigh, cànan, agus sgòthan puing le bhith a’ cleachdadh paradigms coltach ri frèaman OpenShape, agus ULIP. A bharrachd air an sin, gus dèanamh cinnteach à coimeas cothromach le dòighean eile, bidh frèam Uni3D a’ cleachdadh an dàta 3D ensembled le OpenShape airson adhbharan trèanaidh. Anns an t-seata dàta seo le OpenShape tha 4 seataichean dàta 3D: 

1. Cùis-lagha. 
2. CruthNet. 
3. 3D - RI TEACHD. 
4. ABO. 

Deuchainnean agus Toraidhean

Bithear a’ dèanamh deuchainn air frèam Uni3D thar diofar shuidheachaidhean, agus thairis air diofar ghnìomhan seòrsachaidh a’ toirt a-steach a choileanadh ann an suidheachaidhean gun sealladh, agus glè bheag de dhealbhan, toraidhean timcheall air tuigse saoghal fosgailte, agus barrachd. Bheir sinn sùil mhionaideach air na toraidhean sin.

Seòrsachadh Cruth Zero Shot

Gus measadh a dhèanamh air coileanadh frèam Uni3D thairis air gnìomhan seòrsachaidh cumadh neoni, bidh an luchd-leasachaidh a’ dèanamh dheuchainnean thairis air trì slatan-tomhais a’ toirt a-steach ModelNet, ScanObjNN, agus stòran-dàta slat-tomhais Objaverse-LVIS. Tha ModelNet, agus ScanObjNN nan stòran-dàta a thathar a’ cleachdadh gu farsaing airson gnìomhan seòrsachaidh, agus tha iad a’ gabhail a-steach 15, agus 40 roinnean de nithean fa leth, ach tha an slat-tomhais Objaverse-LVIS na sheata dàta glanaidh agus le notaichean anns a bheil còrr air 40,000 rud thairis air 1,100+ roinnean. Tha an coimeas eadar na frèaman ri fhaicinn san ìomhaigh gu h-ìosal, agus mar a chithear, tha frèam Uni3D gu math nas fheàrr na na frèaman ùr-nodha a bh’ ann roimhe thar diofar shuidheachaidhean. 

Sgrùdadh loidhneach glè bheag

Ann an AI, is e modh cumanta a th’ ann an Sgrùdadh Loidhneach a thathar a’ cleachdadh gus measadh a dhèanamh air na riochdachaidhean a dh’ ionnsaicheas frèam no modail. Gus measadh a dhèanamh air comas sgrùdaidh sreathach Uni3D, bidh an luchd-leasachaidh a’ reothadh crìochan frèam Uni3D a’ cleachdadh nan roghainnean cumanta mar OpenShape. Às deidh seo, bidh an luchd-leasachaidh a’ trèanadh seòrsaiche sreathach airson Uni3D a’ cleachdadh bileagan clas le glè bheag de dhealbhan. Tha am figear gu h-ìosal a’ sealltainn comas sgrùdaidh sreathach diofar fhrèaman air an t-seata dàta Objaverse-LVIS, agus a’ sealltainn coileanadh cuibheasach a’ mhodail thairis air 10 sìol air thuaiream. Mar a chithear, tha frèam Uni3D a’ coileanadh nas fheàrr na na modhan a th’ ann mar-thà fo dhiofar shuidheachaidhean le beagan dhealbhan. 

Tuigse Saoghal Fosgailte

Gus measadh a dhèanamh air comas frèam Uni3D gus cumaidhean agus nithean san t-saoghal fhìor a thuigsinn ann an àm fìor, bidh luchd-leasachaidh a’ cleachdadh stòran-dàta ScanNet agus CLIP gus coileanadh Uni3D a sgrùdadh. Is fhiach a bhith mothachail gu bheil sgaradh fìrinn na talmhainn ri fhaighinn, agus is e am prìomh adhbhar a bhith ag aithneachadh an roinn de gach sealladh fa leth ann an suidheachadh gun sealladh. Tha na toraidhean air an sealltainn san ìomhaigh gu h-ìosal. Mar a chithear, tha frèam Uni3D a’ lìbhrigeadh toraidhean air leth nuair a bhios iad a’ coileanadh tuigse & aithne san t-saoghal fhìor. Tha frèam Uni3D a’ coileanadh nas fheàrr na na frèaman a th’ ann mar-thà gu ìre mhòr a dh’ aindeoin nach deach trèanadh a-riamh air stòran-dàta fìor. 

Ais-ghlacadh Tar-mhodhail

Faodaidh na riochdachaidhean ioma-mhodhail a chaidh ionnsachadh le frèam Uni3D leigeil leis an fhrèam cumaidhean 3D fhaighinn air ais gu nàdarra an dàrna cuid bho theacsaichean no ìomhaighean. Gus na cumaidhean 3D fhaighinn air ais, bidh am modail a’ tomhas a’ choltas cosine eadar in-ghabhail chumaidhean 3D, agus freumhachadh teacsa ceiste no ìomhaigh ceiste. Bidh am frèam an uairsin a’ cleachdadh an algairim KNN no K Neighbour as fhaisge gus cumaidhean 3D a chruthachadh a tha coltach ris a’ cheist as motha, agus tha na toraidhean rim faicinn san fhigear gu h-ìosal. Mar a chithear, tha frèam Uni3D gu soirbheachail a’ cleachdadh ìomhaighean san t-saoghal fhìor gus cumaidhean 3D fhaighinn air ais. A bharrachd air an sin, is fhiach a bhith mothachail nach eil ìomhaighean trèanaidh ach airson adhbharan tairgse, agus gu bheil a’ bheàrn eadar dealbhan san t-saoghal fhìor agus trèanaidh gu math mòr. A bharrachd air an sin, bidh am modail cuideachd a’ toirt dà ìomhaigh cuir a-steach, agus a’ faighinn air ais cumaidhean coltach ris an dà ìomhaigh cuir a-steach le bhith a’ cleachdadh an coltas cosine eadar cuibheasachd freumhachadh an dà chuid na h-ìomhaighean, agus na cumaidhean 3D freumhaichte aca. Tha na toraidhean inntinneach leis gu bheil iad a’ nochdadh comas Uni3D air riochdachaidhean 3D eadar-mheasgte ionnsachadh, agus ioma comharran 2D fhaicinn. 

Anns a’ chiad cholbh, bidh am frèam a’ cleachdadh 2 ìomhaigh ceiste gus cumaidhean 3D a thilleadh a tha nas coltaiche ri ìomhaighean na ceiste. Anns an dàrna colbh, bidh am frèam a’ cleachdadh dà ìomhaigh cuir a-steach gus cumaidhean 3D fhaighinn air ais a tha coltach ris an dà ìomhaigh cuir a-steach. Mu dheireadh, anns a’ cholbh mu dheireadh, bidh am modail a’ cleachdadh theacsaichean ceiste, agus a’ tilleadh chumaidhean 3D a tha coltach ris a’ cheist teacsa aig a’ char as àirde. 

Final Thoughts

San artaigil seo, tha sinn air bruidhinn mu Uni3D, frèam pretraining 3D scalable agus aonaichte a chaidh a leasachadh leis an amas riochdachaidhean 3D air sgèile mhòr ionnsachadh a nì deuchainn air na crìochan aige aig sgèile còrr air billean paramadair, còrr air 10 millean ìomhaigh le paidhir le còrr air 70 millean teacsaichean, agus còrr air millean cruth 3D. Tha luchd-leasachaidh an fhrèam air cruth-atharrachaidh vanilla a thoirt a-steach leis an structar aige co-ionann ri ViTn a leigeas leotha frèam Uni3D a mheudachadh a’ cleachdadh ro-innleachdan sgèile 2D no NLP aonaichte. A bharrachd air an sin, faodaidh frèam Uni3D raon farsaing de fhrèaman 2D ro-thrèanadh agus ro-innleachdan 2D a ghluasad gu saoghal 3D. Tha na toraidhean deuchainneach mar-thà air comas mòr frèam Uni3D a nochdadh leis gu bheil frèam Uni3D a’ tilleadh toraidhean ceart is èifeachdach thar raon farsaing de shuidheachaidhean, agus a’ coileanadh nas fheàrr na na frèaman as ùire a th’ ann mar-thà.