วิทยานิพนธ์นี้เสนอการตรวจหาและติดตามใบหน้าและมือมนุษย์สำหรับภาษามือ ขั้นแรกทำการคัดเลือกปริภูมิสีที่มีความเหมาะสมจาก 3 ปริภูมิสีย่อย คือ rg, HS แล CvCr โดยใช้วิธีของแบบจำลองชนิดไม่มีตัวแปร พบว่าปริภูมิสีย่อย CbCr มีความเหมาะสมมากที่สุดต่อการแยกสีผิวมนุษย์โครงสร้างระบบแบ่งออกเป็น 2 ส่วน คือ ส่วนเริ่มต้นและส่วนการติดตาม ส่วนเริ่มต้นจะใช้คุณลักษณะสีผิวในการหาตำแหน่งใบหน้าและมือของผู้แปลภาษามือ และเสนอให้ใช้แบบจำลองวงรีบนปริภูมิสีย่อย CbCr ในการแยกส่วนสีผิวเพื่อลดความซับซ้อนในการคำนวณ เมื่อแยกส่วนสีผิวออกมาแล้วจะใช้คุณลักษณะของขนาดและองค์ประกอบสำคัญบนใบหน้ามาทำการกำหนดว่าบล็อบนั้นเป็นใบหน้าหรือมือ และจากสมมติฐานที่ว่าใบหน้ามีการเคลื่อนไหวน้อยกว่ามือมาก ในส่วนการติดตามการประมาณการเคลื่อนที่จะถูกใช้สำหรับบล็อบบริเวณมือเพียงอย่างเดียวเท่านั้น ซึ่งอนุพันธ์อันดับหนึ่งและสองถูกนำมาคำนวณเพื่อทำนายตำแหน่งของมือ สังเกตพบว่าค่าผิดพลาดจะเกิดกรณีที่มือมีการเปลี่ยนตำแหน่งอย่างทันทีทันใดระหว่าง 2 เฟรมที่อยู่ติดกัน เพื่อเพิ่มประสิทธิภาพของการติดตามจึงเสนอวิธีชดเชยความผิดพลาดจากตำแหน่งของการติดตาม โดยใช้การปรับตัวของขอบเขตการค้นหาและทำการคำนวณซ้ำอีกครั้ง ผลที่ได้แสดงให้เห็นว่าขั้นตอนวิธีที่นำเสนอสามารถติดตามมือได้อย่างแม่นยำ โดยใช้เวลาในการคำนวณเพิ่มขึ้นเล็กน้อยเท่านั้น