พระครูสถิตย์ญาณชยุต(อาจารย์บุญมี) กล่าว ประวัติวัดศิริราษฏร์บำรุง สืบเนื่องจากเมื่อปี พ.ศ. 2519 นายยอด กลอยสวาท และนางจาง กาลพัฒน์ ได้ร่วมกับ กลุ่มขาวบ้านก่อสร้างที่พักสงฆ์ในถ้ำตากำจันทร์ พื้นที่หมู่ 4 ตำบลทะเลทรัพย์ อำเภอปะทิว จังหวัดชุมพร ซึ่งมีภิกษุจำพรรษา ตั้งแต่ปี 2519 - 2523 ต่อมาชาวบ้านมีความประสงค์ที่จะให้ที่ พักสงฆ์ย้ายออกมาอยู่ในหมู่บ้าน เพื่อสะดวกในการเดินทางและความเจริญของที่พักสงฆ์ ซึ่งนายยอด และนางแปลก กลอยสวาท ได้อุทิศที่ดิน จำนวน 5 ไร่ เพื่อสร้างสำนักสงฆ์ และตั้งซื่อว่า สำนักสงฆ์ยอดราษฏร์บำรุง(เขาวง) และต่อมาสำนักสงฆ์แห่งนี้ไม่มีภิกษุจำพรรษาโดย ปล่อยให้มีสภาพวัดร้างจนกระทั่ง พระอธิการสมศักดิ์ อาจารสมปนโณ ได้เดินธุดงค์หาวัดที่จะจำพรรษาที่อำเภอปะทิว จนได้พบสำนักสงฆ์ยอดราษฎร์บำรุง(ขาวง) ตั้งอยู่ หมู่ที่ 4 ตำบลทะเลทรัพย์ อำเภอปะทิว จังหวัดชุมพร ซึ่งขณะนั้นมีสภาพรกร้างแต่ทนก็ปรารถนาที่จะอยู่จำพรรษา ชาวบ้านได้มาพบท่าน และได้แนะนำให้ทนไปพบกับ นายประจวบ กลอยสวาท ผู้เป็นเจ้าของที่ดินที่สำนักสงฆ์ตั้งอยู่ ซึ่ง ได้รับการต้อนรับและความช่วยเหลือจาก นายประจวบ กลอยสวาท และญาติ พี่น้อง พร้อมทั้งชาวบ้านเป็นอย่างดี พร้อมกันนี้ พระอธิการสมศักดิ์ อาจารสมปนโณ และภิกษุพร้อมกับประชาชนร่วมกันมุงมั่นในการพัฒนาสำนักสงฆ์ให้มีความพร้อมเพื่ออำนวยความสะดวกกับประชาชนที่มาปฏิบัติ ธรรมมากขึ้น

และต่อมาทาสำนักสงฆ์ยอดราษฎร์บำรุง(เขาวง) โดยคณะกรรมการและชาวบ้านได้ ระดมเงินทุนเพื่อที่ดินของสำนักสงฆ์ได้อีก 1 ไร่ 3 งาน 12 ตารางวาในปี พ.ศ. 2558 นายประจวบ กลอยสวาท ได้โอนที่ดินที่สำนักสงฆ์ราษฎร์บำรุง เขาวง ตั้งอยู่รวมเป็นที่ดินจำนวน6ไร่ 3 งาน 12 ตารางวา ให้กับสำนักสงฆ์อย่างถูกต้องตามกฎหมาย และในปี พ.ศ. 2559 พระ อธิการสมศักดิ์ อจารย์สมปนโน ได้ดำเนินการขออนุญาตให้สำนักสงฆ์ยอดราษฎร์บำรุง (เขาวง) ยกฐานะขึ้นเป็นวัดและได้รับอนุญาตจากสำนักงานพุทธศาสนาแห่งชาติให้สำนักสงฆ์ยอดราษฎร์บำรุง ขึ้นทะเบียนเป็นลำดับที่ 28 ของอำเภอปะทิว ลำดับที่ 200 ในสังกัดคณะสงฆ์ มหานิกายและลำดับที่ 232 ของวัดในจังหวัดชุมพรพระอธิการสมศักดิ์ อจรสมปนโณ ได้รับแต่งตั้งเป็นเจ้าอาวาส วัดศิริราษฎร์บำรุงเป็นรูป แรกของวัดเมื่อวัน 20 พฤษภาคม พ.ศ. 2560 ในช่วงปี พ.ศ.2559 พระอธิการสมศักดิ์อาจารย์สมปนโณ เจ้าอาวาส ได้วางพื้นฐานในการสร้างอุโบสถของวัดโดยดำเนินการวางศิลา ฤกษ์อุโบสถเอาไว้แล้ว โดยมี พระราชวิจิตปฏิภาณ เจ้าคณะจังหวัดชุมพรมาเป็นประธานในพิธี