Web-kameraer og styring via fagter har eksisteret i mange år, f.eks. med Sonys EyeToy-kamera fra 2003, men udfordringen bag Project Natal er, at Microsoft skal træne computeren til at forstå, hvad den ser.

Det sker i fem skridt, når man stiller sig foran Natals kamera:

1 Filmer

Kameraet ved fjernsynet filmer dig konstant og kan måle afstanden mellem forskellige punkter på din krop. Ud fra disse data skaber den en sky af 48 punkter, som den beregner som en grovskitse over dit skelet. Afhængig af spillerens afstand til kameraet kan Natal sågar kende forskel på fingrene.

2 Gætter

Hjernen i Natal gætter nu på, hvor dine kropsdele sidder. Dette baseres på et væld af standard-skeletmodeller, som Microsoft på forhånd har optrænet programmet til. Dermed har Natal en ’erfaring’, der bygger på flere tusinde forskellige skelettyper, og ud fra denne kan softwaren være mere eller mindre nøjagtig i sit gætteri.

3 Udregner

Ud fra hvad Natal tror, den ser, udregner den alle mulige skelettyper, der kan passe til netop dit skelet, og låser sig fast på en type.

4 Overfører

Skelettypen overføres til en simplificeret 3D-model, der nu får virtuelt tøj, hår og andre effekter, som skal bruges i spillet.

5 Gentager

Derefter gentager Natal hele processen fra punkt 1 til 4 en gang til, og for at øge præcisionen kører dette loop 30 gange i sekundet.