งานวิจัยนี้น าเสนอ วิธีการเลือกเส้นทางที่ใช้พลังงานอย่างมีประสิทธิภาพในเครือข่ายเคลื่อนที่แบบแอดฮอค โดยการหาจุดสมดุลของวิธีการเลือกเส้นทางที่มีวัตถุประสงค์ขัดแย้งกันระหว่าง การเลือกเส้นทางที่ยืดอายุของเครือข่าย และ การเลือกเส้นทางที่ใช้พลังงานน้อย รูปแบบทั่วไปของเครือข่ายเคลื่อนที่แบบแอดฮอคประกอบด้วยโหนดซึ่งอาศัยพลังงานแบตเตอรี่ส าหรับการใช้งานและติดต่อกับโหนดอื่นในเครือข่าย ดังนั้นการเลือกเพื่อการใช้พลังงานอย่างมีประสิทธิภาพจึงมีความจ าเป็นอย่างยิ่ง โดยการเลือกเส้นทางที่พิจารณาพลังงานนั้น สามารถ แบ่งได้โดยทั่วไปเป็น 2 วิธีคือ วิธีการเลือกเส้นทางเพื่อยืดอายุของเครือข่าย ซึ่งกระจายการใช้งานยังโหนดต่างๆ และสามารถเพิ่มอายุของเครือข่ายได้นานขึ้นแต่ไม่สามารถลดการใช้พลังงานให้ต่ าลงได้ วิธีการที่สองคือการเลือกเส้นทางที่ใช้พลังงานน้อย สามารถลดการใช้พลังงานลงได้แต่โหนดที่ถูกใช้งานหนัก จะออกจากเครือข่ายเร็วขึ้นเนื่องจากระดับพลังงานแบตเตอรี่หมดลง ดังนั้นจะเห็นว่ามีข้อแลกเปลี่ยนของทั้งสองวิธี งานวิจัยนี้จึงมีจุดประสงค์ที่จะระบุปัญหาการหาเส้นทางที่มีสมดุลที่เหมาะสมที่สุดร่วมกันระหว่างการใช้พลังงานและอายุเครือข่ายในเครือข่ายเคลื่อนที่แบบแอดฮอคที่มีรูปร่างเครือข่ายพลวัติ วิทยานิพนธ์นี้มีองค์ความรู้หลักสองประการ: องค์ความรู้ประการแรก คือการก าหนดปัญหาการเลือกเส้นทางในเครือข่ายเคลื่อนที่แบบแอดฮอคให้เป็นกระบวนการการตัดสินใจแบบมาร์คอฟ (Markov decision process) ซึ่งจุดมุ่งหมายในการปรับปรุงการเลือกเส้นทางเพื่อหาเส้นทางที่ให้ค่าเฉลี่ยมูลค่าที่ต่ าที่สุด โครงสร้างมูลค่านี้ก าหนดให้เป็นฟังก์ชันของพลังงานที่ถูกใช้ไปและระดับแบตเตอรี่ที่เหลืออยู่ รวมทั้งจ านวนโหนดที่ยังคงอยู่และสัดส่วนของแพ็กเกตที่ส่งส าเร็จ เพื่อให้ได้นโยบายการเลือกเส้นทางที่ดี และมีสมดุลข้อแลกเปลี่ยน องค์ความรู้ประการที่สอง คือ การประยุกต์เทคนิครีอินฟอร์สเมนท์เลิร์นนิ่ง (Reinforcement learning) ที่แบ่งการเรียนรู้ออกเป็นเอพพิโซด (episode) ด้วยวิธีการที่เรียกว่า ออนโพลิซี มอนติ คาร์โล (On-policy Monte Carlo หรือ ONMC) เพื่อหาผลค าตอบของกระบวนการการตัดสินใจแบบมาร์คอฟที่ก าหนดขึ้น วิธีการ ออนโพลิซี มอนติ คาร์โลได้ถูกเลือกเนื่องจากการเลือกเส้นในเครือข่ายเคลื่อนที่แบบแอดฮอคมีรอบการท างานในลักษณะเอพพิโซดโดยธรรมชาติอยู่แล้ว จากผลการทดลองพบว่าวิธีการที่น าเสนอสามารถลดมูลค่าในระยะยาวได้สูงสุด 37% เมื่อเปรียบเทียบกับวิธีการหาเส้นทางที่ใช้พลังงานอย่างมีประสิทธิภาพที่มีอยู่เดิม โดยมูลค่าระยะยาวดังกล่าวคือ ฟังก์ชันวัตถุประสงค์ซึ่งบอกค่าแลกเปลี่ยนที่เหมาะสมในการหาจุดสมดุลของการเลือกเส้นทางในระยะยาว This research proposes an energy-efficient path selection algorithm which aims at balancing the contrasting objectives of maximum network lifetime routing and minimal energy consumption routing in mobile ad hoc networks (MANETs). A typical mobile ad hoc network consists of nodes that are usually battery operated. Hence, energy-efficient routing is a critical issue. There are two approaches broadly suggested for energy-aware route selection protocols. Firstly, the maximum lifetime routing protocols balance the load among nodes and can prolong the network lifetime, but do not decrease the total energy consumption. Secondly, the minimum energy consumption routing protocols aim at reducing the network energy consumption, but the nodes exhaustively used along the selected paths die very soon. Hence, there exists a tradeoff between the two approaches. The underlying aim of this research is to address the problem of jointly optimizing the energy consumption and network lifetime in MANETs with dynamic topology. There are two main contributions in this thesis: The first contribution is the formulation of the energy-efficient path selecting problem in MANETs as a Markov decision process (MDP), whose goal is to find a sequence of path selection that minimizes the expected accumulated cost for the system. The cost structure is a function of the energy consumed, the residual energy as well as the number of alive nodes and the ratio of successfully delivered packets, so as to achieve a good path selection policy which balances the tradeoffs. The second contribution is the application of a reinforcement learning method based on sample episodes, called the on-policy Monte Carlo (ONMC) method, to solve for a solution to the formulated MDP. The ONMC method is chosen due to the inherent episodic behavior of the routing process in MANETs. The simulation results show that the proposed algorithm can reduce the long-term cost, which is a function that depicts the optimal tradeoff balance in the long run, by up to 37% when compared to existing well-known energy-efficient routing schemes.