วัดเขานางบวช หรือที่ชาวบ้านรู้จักกันทั่วหรือที่เรียกว่า วัดเขาขึ้น เป็นวัดที่สำคัญมีเรื่องราวเล่าขานมา ยาวนานที่น่าสนใจ คือ ราวปี 1826 มีหญิงชื่อชบา เป็นสนมแห่งพระล่วงเจ้า กรุงสุโขทัย ออกบวชสละทางโลกเข้าจำพรรษารักษาศีลอยู่ในถ้ำบนยอดเขานี้ คนส่วนใหญ่จึงเรียกเขาแห่งนี้ว่า "เขานางบวช" (ถ้ำอยู่ด้านหลังศาลา) เล่ากันว่าภายในถ้ำมาข้าวของ เครื่องประดับจำนวนมาก สันนิฐานว่าเป็นของพวกที่ติดตามนางสนมชบา ต่อมาทรัพย์ สมบัติเหล่านี้ได้สูญหายไปตามกาลเวลา
ต่อมาพระอาจารยธรรมโชติ (ชื่อเดิมโชติ) ไดออกบวช และจําพรรษาที่วัดยาง ตำบลแสวงหาอำเภอวิเศษ ไชยชาญ จังหวัดอ่างทอง ซึ่งอยู่ตรงข้ามวัดโพธ์เก้าต้น หลังจากนั้นจึงได้ไปตั้งสำนักสงฆเพื่อบําเพ็ญ ณ บริเวณถ้ำบนยอดเขานางบวช จังหวัดสุพรรณบุรี ซึ่งเดิมยอดเขามีนางชบาได้ออกบวชเป็นภิกษุณีจำพรรษาที่ถ้ำแหล่งนี้ จน ต่อมาชาวบ้านจึงได้เรียกว่า “เขานางบวช” จนทุกวันนี้
ตอนเกิดศึกบางระจันและเสียค่ายบางระจัน พระอาจารยธรรมโชติอายุ 66 พรรษา ได้หลบไปจำพรรษาที่ นครจําปาศักดิ์ เป็นเวลา 3 ปี เมื่อสมเด็จพระเจ้าตากสินมหาราชกู้ชาติกลับมาได้ บ้านเมืองเกิดความสงบสุขจึง เดินทางมาพรอมพระภิกษุมายังสำนักเขาขึ้น ได้รับสมศักดิ์พัดยศเป็น พระครูธรรมโชติรังษี และมรณภาพด้วยโรคชรา อายุ 82 พรรษามีชาวบ้านหลายคนเชื่อกันว่าท่านได้สูญหายไปกับค่ายบางระจัน เนื่องจากทานไม่ปรากฏตัวให้ เห็นแต่อย่างใด ครั้งที่พระบาทสมเด็จพรจุลจอมเกล้าเจ้าอยู่หัว(รัชกาลที่ 5) ได้เสด็จประภาสวัดเขานางบวช วันที่ 9 ตุลาคม 2451 ทรงพระราชนิพนธไว้ว่า เขานางบวช เป็นที่ราษฎรนับถือมาก จึงได้กำหนดให้มีการไหว้พระทุกกลาง เดือน 4 เรื่อยมา เกียรติคุณของพระอาจารยธรรมโชติเป็นที่ศรัทธาของประชาชนทั่วไป
ปีพุทธศักราช 2519 ทางจังหวัดสุพรรณบุรี โดยผู้ว้าราชการจังหวัดร่วมกับชาวบ้านได้ทำการบูรณะวัดเขา นางบวช เพื่อใหเป็นแหล่งท่องเที่ยวของจังหวัดสุพรรณบุรี และต่อมาวัดเขานางบวชจึงเป็นวัดที่มีชื่อเสียงเป็นที่เคารพศรัทธาของชาวบ้านบริเวณใกล้เคียงและประชาชนทั่วไป
ภายในวัดมีโบราณสถานที่สําคัญหลายอย่างเช่น วิหารเก่า 200 ปี โบสถ์เก่าอายุกว่า 200 ปี สมัยพระ อาจารย์ธรรมโชติ เสมาโบราณ สถูปเจดีย์เก่า พระพุทธรูปองค์ใหญ่เป็นต้น ทางวัดได้ปรับบริเวณทางขึ้นเขานางบวชที่ให้มีบรรยากาศและสิ่งแวดล้อมไว้อย่างสวยงาม