Cercetători afiliați XPENG, Universității din Beijing, Universității din Hong Kong și altor instituții au publicat GroundingPI, un model de percepție vizuală cu aproximativ patru miliarde de parametri. Modelul poate indica în coordonate poziția unor obiecte sau a unor părți ale acestora. Echipa a pus la dispoziție lucrarea, codul și ponderile, în condițiile licențelor aplicabile.
În evaluarea realizată de echipă, GroundingPI a obținut un scor agregat de 73,68 pe 34 de teste publice de percepție, cel mai ridicat din comparația cu 44 de modele de referință. Testele au acoperit 11 tipuri de sarcini, inclusiv detectarea obiectelor, localizarea precisă și recunoașterea textului.
În simularea RoboCasa-GR1, sistemele de manipulare robotică bazate pe GroundingPI au avut rate de succes mai mari cu 50% din demonstrațiile disponibile decât sistemele comparate cu 75% din demonstrații. Cercetătorii au raportat și rezultate mai bune în patru scenarii RoboTwin 2.0 cu condiții diferite de cele de antrenare.
Pentru conducerea autonomă, echipa a testat modelul pe setul nuScenes și a raportat o eroare medie de 0,296 metri la predicția traiectoriei în buclă deschisă. Rezultatele provin din simulări și evaluări offline. Proiectul se află în etapa de cercetare.