Detektor instanci oblika (SID)

Podatci o inovaciji (HR)

Naziv inovacije: Detektor instanci oblika (SID)

Kratki opis inovacije: SID (engl. Shape Instance Detector) je algoritam koji omogućuje prepoznavanje jednog ili više ciljnih objekata na slikama snimljenim 3D kamerom, kao što je Microsoft Kinect, Asus Xtion Pro Live, Orbbec Astra, Intel RealSense itd. Kao rezultat daje informaciju o prisutnosti i položaju svih ciljnih objekata na 3D slici u tri dimenzije. Algoritam zahtijeva 3D modele ciljnih objekata u obliku mreže trokuta (engl. triangular mesh). Može prepoznati objekte koji su postavljeni na ravnu površinu u bilo koji položaj i kada je na sceni više objekata, od kojih neki djelomično zaklanjaju ciljne objekte.

Duži opis inovacije: SID je algoritam koji omogućuje prepoznavanje jednog ili više ciljnih objekata na slikama snimljenim 3D kamerom, kao što je Microsoft Kinect, Asus Xtion Pro Live, Orbbec Astra, Intel RealSense itd. Algoritam zahtijeva 3D modele ciljnih objekata u mreže trokuta (engl. triangular mesh). Sastoji se od tri glavna koraka: (1) detekcija ravnih i konveksnih površina na 3D slici; (2) pridruživanje Convex Template Instance (CTI) deskriptora svakoj konveksnoj površini; (3) Generiranje hipoteza o prisutnosti ciljnih objekata na slici u određenom položaju; (4) Evaluacija hipoteza i odbacivanje malo vjerojatnih hipoteza. Hipoteze koje ostanu nakon opisanog postupka predstavljaju konačni rezultat - interpretaciju scene, koja se sastoji od niza podatkovnih struktura, od kojih svaka predstavlja jedan objekt na sceni opisan identifikatorom objekta te njegovim položajem u 3D u odnosu na koordinatni sustav kamere. Generiranje hipoteza se temelji na poravnanju konveksnih ljuski modela ciljnog objekta s konveksnim površinama detektiranim na slici. Evaluacija hipoteza se provodi u tri razine. Na prvoj razini se uspoređuju CTI deskriptori modela i scene te se odbacuju hipoteze s vrlo različitim deskriptorima. Na drugoj se razini za svaku preostalu hipotezu model ciljnog objekta projicira na sliku, boduje se koliko dobro projicirani model opisuje dio scene koji prekriva te se odbacuju hipoteze s malim brojem bodova. Na trećoj se razini koristi sličan kriterij kao na drugoj, samo se prije bodovanja model precizno poravnava ICP algoritmom sa dijelom scene koji prekriva. Na kraju se hipoteze rangiraju prema dodijeljenim bodovima te se "pohlepnim" pretraživanjem odbacuju hipoteze koje se preklapaju s drugim više rangiranim hipotezama. Predloženi algoritam može prepoznati objekte koji su postavljeni na ravnu površinu u bilo koji položaj i kada je na sceni više objekata, od kojih neki djelomično zaklanjaju ciljne objekte. Opisani algoritam je predstavljen u znanstvenom radu Robert Cupec, Ivan Vidović, Damir Filko, Petra Pejić, Object recognition based on convex hull alignment, objavljenom u visoko rangiranom međunarodnom znanstvenom časopisu Pattern Recognition (doi.org/10.1016/j.patcog.2020.107199).

Podatci o inovaciji (EN)

Naziv inovacije: Shape Instance Detector (SID)

Kratki opis inovacije: SID is an algorithm which enables recognition of one or multiple target objects in images captured by a 3D camera, such as Microsoft Kinect, Asus Xtion Pro Live, Orbbec Astra, Intel RealSense etc. As the result, it returns the information about presence and 3D pose of all target objects in an input 3D image. The algorithm requires 3D models of target objects in the form of triangular mesh. It can recognize objects which are placed on a flat horizontal surface in any pose, even if multiple objects are present on the scene and the target objects are occluded.

Duži opis inovacije: SID is an algorithm which enables recognition of one or multiple target objects in images captured by a 3D camera, such as Microsoft Kinect, Asus Xtion Pro Live, Orbbec Astra, Intel RealSense etc. The algorithm requires 3D models of target objects in the form of triangular mesh. It consists of three main steps: (1) detection of planar and convex surfaces in the input 3D image; (2) computing Convex Template Instance (CTI) descriptor for every convex surface; (3) generating hypotheses about presence of target objects in the image in a particular pose; (4) Hypothesis evaluation and rejection of low-probability hypotheses. The hypotheses which remain after this procedure represent the final result of the algorithm – a scene interpretation in the form of a set of data structures, each representing an object on the scene described by its identifier and 3D pose with respect to the camera reference frame. The hypothesis generation is based on the alignment of the convex hulls of the target object model with the detected convex surfaces. The hypothesis evaluation is performed in three levels. At the first level, the model CTI descriptors are compared to the scene CTI descriptors. The hypotheses with low similarity between CTI descriptors are rejected. At the second level, for each remaining hypothesis, the target object 3D model is projected onto the image, a scene fitting score is computed and the hypotheses with a low score are rejected. A similar criterion is used at the third level, but before computing the score, the model is precisely aligned with the overlapping part of the scene using the ICP algorithm. Finally, the hypotheses are ranked according to their scene fitting scores and a greedy search algorithm is used to reject hypotheses which overlap with other higher ranked hypotheses. The proposed algorithm can recognize objects which are placed on a flat horizontal surface in any pose, even if multiple objects are present on the scene and the target objects are occluded. The algorithm is presented in the scientific paper Robert Cupec, Ivan Vidović, Damir Filko, Petra Pejić, Object recognition based on convex hull alignment, published in a highly ranked international scientific journal Pattern Recognition (doi.org/10.1016/j.patcog.2020.107199).

Prednosti inovacije

1. omogućuje istovremeno prepoznavanje jednog ili više ciljnih objekata na složenim scenama 2. može prepoznati objekte i kada je na sceni više objekata, od kojih neki djelomično zaklanjaju ciljne objekte 3. daje precizni položaj ciljnog objekta u tri dimenzije 4. brzina detekcije

Namjena inovacije

Omogućuje prepoznavanje jednog ili više ciljnih objekata na slikama snimljenim 3D kamerom, kao što je Microsoft Kinect, Asus Xtion Pro Live, Orbbec Astra, Intel RealSense itd. te određivanje položaja ciljnih objekata u tri dimenzije.

Zaštita intelektualnog vlasništva

Ostalo (engl. Other)

Traženo partnerstvo

Ugovor o licenci (engl. License agreement)
Ugovor o tehničkoj suradnji (engl. Technical cooperation agreement)

Kategorija

Digitalna tehnologija