Ko te whakanui ake i nga whakaaturanga o nga tuhinga me nga whakaaturanga he kaupapa nui o te rangahau i nga tau tata nei. Ko nga whanaketanga me nga rangahau i whakahaeretia i nga tau tata nei kua maha nga huringa o te ako reo me te tirohanga. Heoi, ahakoa te rongonui o te whakamaarama i nga tuhinga me nga whakaaturanga tirohanga, kaore ano kia ata matapakihia te whakamaaramatanga o nga whakaaturanga mo nga ahuatanga 3D me nga taonga.

I tenei ra, ka matapakihia a Uni3D, he tauira turanga 3D e whai ana ki te tuhura i nga whakaaturanga 3D whakakotahi. Ko te anga Uni3D e whakamahi ana i te anga 2D-ara ViT, kua whakangungua i mua i te mutunga-ki-te-mutunga, ki te whakahāngai i nga ahuatanga kupu-ahua me o raatau ahuatanga kapua tohu 3D.

Ko te anga Uni3D e whakamahi ana i nga mahi whakapae me te hoahoanga ngawari ki te whakamahi i te tini o nga tauira 2D kua oti te whakangungu me nga tauira whakatika-a-ahua-kuputuhi hei arataki me nga whaainga. Ko tenei huarahi e whakaputa ana i te tino kaha o nga tauira 2D me nga rautaki ki te whakarahi i a raatau ki te ao 3D.

I roto i tenei tuhinga, ka ruku hohonu tatou ki te 3D tirohanga rorohiko me te anga Uni3D, e torotoro ana i nga ariā me te hoahoanga o te tauira. Na, me timata.

Uni3D and 3D Representation Learning : He Whakataki

I roto i nga tau kua pahure ake nei, kua puta te tirohanga rorohiko ko tetahi o nga rohe tino haumi i roto i te ahumahi AI. Whai muri i nga ahunga whakamua nui i roto i nga anga matakite rorohiko 2D, kua huri nga kaiwhakawhanake i to ratau aro ki te tirohanga rorohiko 3D. Ko tenei mara, ina koa ko te ako whakaaturanga 3D, ka hanumi i nga ahuatanga o nga whakairoiro rorohiko, akoranga mīhini, te tirohanga rorohiko, me te pangarau hei whakaaunoa i te tukatuka me te mohio ki te ahuahanga 3D. Ko te whakawhanaketanga tere o nga pukoro 3D penei i te LiDAR, me o raatau tono whanui i roto i te umanga AR/VR, kua piki ake te aro o te ako whakakanohi 3D. Kei te tipu haere tonu ana tono mo ia ra.

Ahakoa kua whakaatuhia e nga anga o naianei te ahunga whakamua nui i roto i te hoahoanga tauira Ahu-3, te whakatauira-a-mahi, me nga whaainga ako, ko te nuinga ka torotoro i te hoahoanga Ahu-3 i runga i te tauine iti me te iti o nga raraunga, tawhā, me nga ahuatanga mahi. Ko te wero o te ako i nga whakaaturanga 3D ka taea te whakaineine, ka taea te whakamahi ki nga tono wa-tuuturu i roto i nga taiao kanorau, kare tonu i te tirotirohia.

Ko te neke haere, i nga tau kua pahure ake nei, ko te whakaheke tauira reo nui kua whakangungua i mua i awhina i te hurihanga i te te tukatuka o te reo māori rohe, me nga mahi o naianei kua tohu he whakamaoritanga kei te ahu whakamua ki te 2D mai i te reo ma te whakamahi i nga raraunga me te whakatauira tauira e whai huarahi ana mo nga kaiwhakawhanake ki te ngana me te ngana ano i tenei angitu ki te ako i tetahi whakaaturanga 3D ka taea te whakarahi me te whakawhiti ki nga tono i roto i te ao tuuturu. 

Ko te Uni3D he angamahi 3D pretraining, whakakotahi me te whakakotahi i hangaia me te whai ki te ako i nga whakaaturanga 3D nui-nui e whakamatautau ana i ona rohe i te tauine neke atu i te kotahi piriona tawhā, neke atu i te 10 miriona whakaahua kua honoa me te neke atu i te 70 miriona tuhinga, me te neke atu i te miriona ahua 3D. . Ko te whika i raro nei e whakataurite ana i te tika kore-pana ki nga tawhā i te anga Uni3D. I angitu te anga Uni3D ki te whakatau i nga whakaaturanga 3D mai i te 6 miriona ki te neke atu i te piriona. 

Ko te angamahi Uni3D he 2D ViT ranei Kaihuri Matakite hei whakawaehere 3D ka whakangungua i mua i te mutunga-ki-te-mutunga ki te whakahāngai i nga ahuatanga o te ahua-kuputuhi ki nga ahuatanga kapua tohu 3D. Ka whakamahia e te anga Uni3D nga mahi whakapae me te hoahoanga ngawari ki te whakamahi i te tini o nga tauira 2D kua oti te whakangungu me nga tauira whakahiato tuhinga whakaahua hei arataki me nga whaainga, na reira ka whakaputa i te kaha katoa o nga tauira 2D, me nga rautaki ki te tauine ki te ao 3D. Ko te ngawari me te tauineine o te anga Uni3D ka inehia i runga i nga tikanga o

1. Te whakatauira i te tauira mai i te 6M ki te neke atu i te piriona tawhā. 
2. Ko te arawhiti 2D ki te kuputuhi e tirotirohia ana mai i te tirohanga te ako whaiaro e tirotirohia ana. 
3. Ko te tauira whainga whakaahua-kuputuhi mai i te 150 miriona ki te neke atu i te piriona tawhā. 

I raro i te anga hangawari me te whakakotahitanga e tukuna ana e Uni3D, ka kite nga kaiwhakawhanake i te kaha o te kaha o te mahi ina tae mai ki te whakatikatika i ia waahanga. Ka whai hua nui hoki te ako whakakanohi 3D nui mai i nga rautaki tiritiri 2D me nga rautaki piki-nui. 

Ka kitea i roto i te ahua i raro nei, ko te anga Uni3D e whakaatu ana i te whakanui i te mahi ina whakaritea ki nga toi o mua i roto i nga waahanga-poto me te kore-pere. Me mahara ko te anga Uni3D e whakahoki mai ana i te kaute tika o te whakarōpū kore-pana neke atu i te 88% i runga i te ModelNet e rite ana ki te mahi o etahi tikanga whakahaere toi. 

I tua atu, ko te anga Uni3D ano hoki e kawe ana i te tino tika me te mahi i te wa e mahi ana i etahi atu mahi 3D maataki penei i te wehewehe waahanga, me te maaramatanga o te ao. Ko te anga Uni3D e whai ana ki te whakawhiti i te waahi i waenga i te tirohanga 2D me te tirohanga 3D ma te whakarahi i nga tauira turanga 3D me te huarahi whakangungu kotahi engari ngawari ki te ako i nga tohu 3D pakari ake puta noa i te tini o nga mahi, tera pea ka awhina i te whakakotahitanga o te 2D. me te tirohanga 3D puta noa i te whānuitanga o nga tikanga.

Uni3D : Mahi Paanga

Ko te anga Uni3D he whakahihiko, he ako mai i nga whanaketanga i mahia e nga akoranga whakakanohi 3D o mua, me nga tauira Foundational ina koa i raro i nga tikanga rereke. 

Akoranga Whakaaturanga Ahu-3

Ko te tikanga ako mo te whakaaturanga 3D e whakamahi ana i nga tohu kapua mo te maaramatanga 3D mo te ahanoa, a he maha nga wa i tirotirohia e nga kaiwhakawhanake tenei mara i mua tata nei, a kua kitea ko enei tohu kapua ka taea te whakangungu i mua i raro i te tirotiro whaiaro ma te whakamahi motuhake. Ko nga mahi whakapae 3D tae atu ki te whakatauira i nga tohu kanohi, te hanga-whaiaro, me te ako rereke. 

He mea tika kia mohiohia ko enei tikanga e mahi ana me te iti o nga raraunga, a he maha nga wa kaore e tirotirohia e ratou nga tohu maha ki te 3D mai i te 2D, i te NLP ranei. Heoi, ko te angitu o te angamahi CLIP tata nei e whakahoki mai ana i te tino pai ki te ako i nga ariā tirohanga mai i te tuhinga mata ma te whakamahi i te tikanga ako rereke, me te whai ano ki te ako i nga tohu Ahu-3 ma te whakahāngai i nga ahuatanga o te ahua, te tuhinga, me te tohu kapua ma te whakamahi i te tikanga ako rereke. 

Tauira Turanga

Kua whakapau kaha nga kaiwhakawhanake ki te hoahoa tauira turanga ki te whakarahi ake me te whakakotahi i nga tohu maha. Hei tauira, i roto i te rohe NLP, kei te mahi nga kaiwhakawhanake i nga anga ka taea te whakanui ake i nga tauira reo kua whakangungua, a kei te huri haere i te umanga NLP. I tua atu, ka kitea nga ahunga whakamua i roto i te rohe tirohanga 2D na te mea kei te mahi nga kaiwhakawhanake i nga anga e whakamahi ana i nga raraunga me nga tikanga whakatauira tauira hei awhina i te ahu whakamua o te reo ki nga tauira 2D, ahakoa he uaua ki te tarai i aua anga mo nga tauira 3D na te mea he iti te waatea o nga raraunga 3D, me nga wero ka pa ki te whakakotahi me te whakanui ake i nga anga 3D. 

Ma te ako mai i nga waahanga mahi e rua i runga ake nei, kua hangaia e nga kaihanga te anga Uni3D, te tauira turanga 3D tuatahi me te neke atu i te kotahi piriona tawhā e whakamahi ana i te hoahoanga whakakotahi ViT, Vision Transformer ranei e taea ai e nga kaiwhakawhanake te whakatau i te tauira Uni3D ma te whakamahi i nga rautaki 3D kotahi, NLP ranei hei whakanui i nga tauira. Ko te tumanako a nga Kaihanga ma tenei tikanga ka taea e te anga Uni3D te whakawhiti i te aputa e wehe ana i te tirohanga 2D me te 3D me te whakahaere i te whakakotahitanga maha.. 

Uni3D : Tikanga me te Hangahanga

Ko te atahanga o runga ake nei e whakaatu ana i te tirohanga whanui o te anga Uni3D, he angamahi 3D i mua i te whakangungu-whakangungu mo te ako whakaaturanga 3D nui. Neke atu i te 70 miriona nga tuhinga ka whakamahia e nga Kaihanga, me te 10 miriona atahanga e honoa ana me te neke atu i te kotahi miriona ahua 3D hei whakarahi i te anga Uni3D ki te neke atu i te piriona tawhā. Ko te anga Uni3D e whakamahi ana i te 2D ViT, Vision Transformer ranei hei whakawaehere 3D katahi ka whakangungua i te mutunga-ki-te-mutunga ki te whakahāngai i nga raraunga kupu-ahua ki nga ahuatanga tohu kapua 3D, ka taea e te anga Uni3D te whakaputa i te pai me te tika e hiahiatia ana puta noa i tetahi te whānuitanga o nga tohu tohu. Inaianei kia ata tirohia te mahi o te angamahi Uni3D. 

Whakatauine i te Anga Uni3D

Ko nga rangahau o mua mo te ako tohu tohu kapua kua tino aro nui ki te hoahoa hoahoanga tauira e pai ake ai te mahi puta noa i te whānuitanga o nga tono, me te mahi i runga i te iti o nga raraunga na runga i nga huingararaunga iti. Heoi ano, kua whakamatauria e nga rangahau o tata nei ki te tirotiro i te kaha ki te whakamahi i te whakangungu-a-mua i roto i te 3D engari kaore he hua nui na te waatea o nga raraunga 3D iti. Hei whakaoti i te raruraru tauineine o nga anga 3D, ka whakamahia e te anga Uni3D te mana o te hanganga hurihanga vanilla e tata ana ki te whakaata i te Vision Transformer, a ka taea te whakaoti i nga rapanga tauine ma te whakamahi i nga rautaki whakahiato 2D, NLP ranei ki te whakatau i te rahi o te tauira. 

Ko nga rangahau o mua mo te ako tohu tohu kapua kua tino aro nui ki te hoahoa hoahoanga tauira e pai ake ai te mahi puta noa i te whānuitanga o nga tono, me te mahi i runga i te iti o nga raraunga na runga i nga huingararaunga iti. Heoi ano, kua whakamatauria e nga rangahau o tata nei ki te tirotiro i te kaha ki te whakamahi i te whakangungu-a-mua i roto i te 3D engari kaore he hua nui na te waatea o nga raraunga 3D iti. Hei whakaoti i te raruraru tauineine o nga anga 3D, ka whakamahia e te anga Uni3D te mana o te hanganga hurihanga vanilla e tata ana ki te whakaata i te Vision Transformer, a ka taea te whakaoti i nga rapanga tauine ma te whakamahi i nga rautaki whakahiato 2D, NLP ranei ki te whakatau i te rahi o te tauira. 

Ka timata i te Uni3D

Ko tetahi atu wero nui i puta mai i nga mahi o mua i uru ki te whakatikatika i nga whakaaturanga Ahu-3, nga uauatanga o te whakakotahitanga, me te taapiri i te rahi na te rahi o nga tauira. Ko te huarahi whai hua ki te hinga i tenei raru ko te whakangungu i nga tuara 3D takitahi me nga mahi whakapae 3D kua tohua, me te arawhiti i nga tawhā kua whakangungua. Heoi, ka whai tahi te huarahi me nga utu whakangungu nui, he uaua hoki ki te whakatuu i te arataki pakari mo te ako-whakawhiti na te iti o nga raraunga 3D e waatea ana mo nga kaupapa whakangungu. 

Ko te anga Uni3D e whakamahi ana i te hurihanga vanilla, he rite tonu te hanganga ki a ViT. Ma tenei huarahi, ka taea e te anga Uni3D te tango i nga tauira nui kua oti te whakangungu me etahi atu tikanga hei arawhiti i te angamahi Uni3D. 

Whakaritenga Tikanga-maha

Ko te anga Uni3D e ngana ana ki te ako i nga tirohanga tauira-maha puta noa i te ahua, te reo, me nga kapua tohu ma te whakamahi i nga tauira rite ki OpenShape, me nga anga ULIP. I tua atu, ki te whakarite i te whakataurite tika ki etahi atu tikanga, ka whakamahia e te anga Uni3D te huingararaunga 3D e OpenShape mo nga kaupapa whakangungu. Ko tenei huingararaunga a OpenShape e 4 nga huingararaunga 3D: 

1. Objaverse. 
2. ShapeNet. 
3. 3D-A MUA. 
4. ABO. 

Nga Whakamatau me nga Hua

Ka whakamatauria te angamahi Uni3D puta noa i nga waahi rereke, me nga momo mahi whakarōpūtanga tae atu ki tana mahi i roto i nga tautuhinga-kore, me nga tautuhinga-poto-poto, nga hua huri noa i nga maaramatanga o te ao tuwhera, me etahi atu. Kia ata tirohia enei hua.

Whakarōpū Hanga Kore Kore

Hei arotake i te mahinga o te anga Uni3D puta noa i nga mahi whakarōpū ahua-kore, ka whakahaerehia e nga kaiwhakawhanake nga whakamatautau puta noa i nga tohu tohu e toru tae atu ki nga kohinga tohu tohu a ModelNet, ScanObjNN, me Objaverse-LVIS. Ko te ModelNet me te ScanObjNN he huingararaunga e whakamahia whanuitia ana mo nga mahi whakarōpūtanga, he 15, me te 40 nga waahanga ahanoa, engari ko te tohu tohu Objaverse-LVIS he huingararaunga kua horoia, kua tohuhia, neke atu i te 40,000 nga taonga puta noa i te 1,100+ nga waahanga. Ko te whakataurite i waenga i nga anga ka whakaatuhia ki te ahua i raro nei, a, ka kitea, ko te anga Uni3D he tino pai ake i te ahua o mua o nga anga toi puta noa i nga waahi rereke. 

Te Whakatairanga Raina Iti-Mapere

I roto i te AI, ko te Raina Raina he tikanga e whakamahia ana hei arotake i nga whakaaturanga ka akohia e tetahi anga, tauira ranei. Hei arotake i te kaha o te Uni3D ki te tirotiro raina, ka whakatio nga kaihanga i nga tawhā o te anga Uni3D ma te whakamahi i nga tautuhinga noa hei OpenShape. Whai muri i tenei, ka whakangungu nga kaiwhakawhanake i tetahi whakaroanga rarangi mo Uni3D ma te whakamahi i nga tapanga karaehe iti-pere. Ko te ahua i raro nei e whakaatu ana i te kaha o te tirotiro rarangi o nga anga rereke i runga i te huingararaunga Objaverse-LVIS, me te whakaatu i te mahinga toharite o te tauira puta noa i nga kakano matapōkere 10. E kitea ana, ko te anga Uni3D he tino pai ake i nga tikanga o naianei i raro i nga waahanga rerekee. 

Te Maramatanga o te Ao Tuwhera

Hei arotake i te kaha o te anga Uni3D ki te mohio ki nga ahua o te ao me nga taonga i roto i te waa-a-waa, ka whakamahi nga kaiwhakawhanake i nga huingararaunga ScanNet me te CLIP ki te torotoro i nga mahi a Uni3D. E tika ana kia mohio kei te watea te wehewehenga pono o te whenua, a ko te kaupapa tuatahi ko te mohio ki te waahanga o nga ahuatanga o ia ahuatanga i roto i te waahi kore-pere. Ko nga hua ka whakaatuhia i te ahua o raro. E kitea ana, ko te anga Uni3D te whakaputa hua tino pai i te wa e mahi ana i te maaramatanga me te mohiotanga o te ao. Ko te anga Uni3D he pai ake i nga anga o naianei na runga i te tawhga nui ahakoa karekau he whakangungu mo nga huingararaunga o te ao. 

Whakawhiti-Modal Retrieval

Ka taea e te angamahi te tiki i nga ahua 3D mai i nga tuhinga, i nga whakaahua ranei. Hei tiki mai i nga ahua Ahu-3, ka tatauhia e te tauira te ritenga o te cosine i waenga i nga whakaurunga o nga ahua Ahu-3, me nga whakaurunga o te patai kupu patai, he whakaahua patai ranei. Ka whakamahi te anga i te KNN or K Nearest Neighbor algorithm ki te whakaputa ahua 3D e tino rite ana ki te patai, a ka whakaatuhia nga hua ki te ahua i raro nei. E kitea ana, he angitu te whakamahi a te anga Uni3D i nga whakaahua o te ao hei tiki i nga ahua 3D. I tua atu, he mea tika kia mohio ko nga whakaahua whakangungu mo nga kaupapa whakaputa noa, he nui te waahi i waenga i nga whakaahua o te ao me te whakangungu. I tua atu, ka tango ano te tauira i nga whakaahua whakauru e rua, me te tango i nga ahua rite ki nga whakaahua whakauru e rua ma te whakamahi i te ahua o te cosine i waenga i nga tauwaenga whakauru o nga whakaahua e rua, me o raatau ahua 3D kua whakauruhia. He rawe nga hua i a raatau e whakaatu ana i te kaha o Uni3D ki te ako i nga tohu 3D kanorau, me te kite i nga tohu 3D maha. 

I te pou tuatahi, ka whakamahia e te angamahi nga whakaahua uiui e 2 hei whakahoki i nga ahua Ahu-3 e tino rite ana ki nga whakaahua patai. I te pou tuarua, e rua nga whakaahua whakauru e whakamahia ana e te anga hei tiki i nga ahua 3D e rite ana ki nga whakaahua whakauru e rua. Ka mutu, i te pou whakamutunga, ka whakamahia e te tauira nga tuhinga patai, ka whakahoki mai i nga ahua 3D e rite ana ki te patai kuputuhi te nui rawa atu. 

Thoughts Final

I roto i tenei tuhinga, kua korero matou mo Uni3D, he anga 3D pretraining me te whakakotahi i hangaia me te whainga ki te ako i nga whakaaturanga 3D nui-nui e whakamatautau ana i ona rohe i te tauine neke atu i te piriona tawhā, neke atu i te 10 miriona whakaahua takirua me te neke atu i te 70 miriona. tuhinga, me te neke atu i te kotahi miriona ahua 3D. Ko nga kaiwhakawhanake o te anga kua whakauruhia he huringa vanilla me tona hanganga e rite ana ki nga ViT e taea ai e ratou te whakanui ake i te anga Uni3D ma te whakamahi i nga rautaki whakatauine 2D, NLP ranei. I tua atu, ka taea e te anga Uni3D te whakamahi i te tini o nga anga 2D kua oti te whakangungu me nga rautaki 2D ki te ao 3D. Kua whakaatu kē nga hua whakamatautau i te kaha nui o te anga Uni3D i te whakahokinga mai o te anga Uni3D i nga hua tika me te whai hua puta noa i te whānuitanga o nga tautuhinga, me te pai ake o nga anga mahi hou o naianei.