ในต้นสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เกาะสมุยเป็นเมืองส่งส่วยอากร ขึ้นกับเมืองนครศรีธรรมราช โดยมีที่ว่าการเมืองอยู่ที่บ้านดอนแตง ใกล้วัดประเดิม หมู่ที่ 1 ตำบลหน้าเมืองอยู่ทางทิศใต้ของเกาะสมุยมีข้อความปรากฏในหนังสือ " ชีวิวัฒน์ " พระนิพนธ์ของสมเด็จพระเจ้าบรมวงศ์เธอเจ้าฟ้ากรมพระยาภาณุพันธุวงศ์วรเดช ทรงนิพนธ์ไว้เป็นทำนองรายงานการเสด็จ ตรวจราชการหัวเมืองปักษ์ใต้ ทูลเกล้าฯ ถวายพระบาทสมเด็จ พระจุลจอมเกล้าเจ้าอยู่หัว เมื่อปีวอกพ.ศ. 2427 ได้กล่าวถึงเกาะสมุยในขณะนั้นใจความตอนหนึ่งว่า

" ในหมู่บ้านเกาะสมุยนี้ ถ้าจะประมาณโรงเรือนราษฎรที่ตั้งอยู่ จะเป็นไทยประมาณ 400 หลังเศษ จีน 100 หลังเศษเป็นจำนวนคนซึ่งประจำอยู่ ณ เกาะนั้น ไทยประมาณ 1,000 คนเศษ จีนสัก 600 คนเศษ คิดทั้งคนจรไปมาตั้งบ้างไปบ้างจะเป็นคนรวมประมาณถึง 2,000 คน แต่คนในเกาะสมุยนั้น มาก ๆ น้อย ๆ เป็นคราว ๆ เป็นต้นว่าถึงฤดูสักเลก คนหลบหนีมาอยู่เกาะสมุยเป็นอันมาก ถ้าจะคิดในเวลาอย่างมากจะเป็นคนประมาณถึง 5,000-6,000 คน คนไทยนั้นเป็นคนชาวนอก กริยาน้ำใจ และเสียสละเป็นชาวนอก กริยา น้ำใจเสียสละ เป็นชาวนอกทั้งสิ้น มักจะบิดเบือน พูดจาไล่ไม่จนและเป็นคนเกรงกลัวอาญานายกดขี่เป็นต้น ถ้าจะถามสิ่งใดก็พูดจาอ้อมค้อมวนเวียน ปิดบัง เป็นธรรมดา หาจริงยาก.....พวกนั้นมักจะเป็นชาติไหหลำทั้งสิ้น.....ฯลฯ "

เมื่อเกาะสมุยเป็นเมืองส่งส่วยแก่เมืองนครศรีธรรมราช เจ้าเมืองนครศรีธรรมราช ก็ส่งคนมาปกครองเกาะสมุยความอีกตอนหนึ่งในชีวิวัฒน์กล่าวว่า" เกาะสมุยนี้ มีตำแหน่งผู้ว่าราชการเป็นพระคนหนึ่ง คือนายฉิม ญาติพระยานครที่ตายเสียแล้ว ในเวลาบัดนี้ไม่มีตัวพระสมุยผู้ว่าราชการ มีแต่ปลัดอยู่คนหนึ่งเรียกว่า หลวงสมุยเป็นคนแก่อายุมาก" ชาวเกาะสมุยมักจะเรียกเจ้าเมือง เกาะสมุยว่า "ตาหลวงหมุย" และการปกครองสมัยเดิม เจ้าเมืองแต่ละคนจะอยู่จนแก่เฒ่า และเมื่อตายไปแล้วจะแต่งตั้งบุตรชายเป็นเจ้าเมืองแทนต่อไป

ในปี พ.ศ. 2427 ครั้งเมื่อสมเด็จฯ กรมพระยาภานุพันธุ์วงศ์วรเดช ได้มาตรวจราชการหัวเมืองปักษ์ใต้ ทำให้ทราบว่าชาวเกาะสมุยไม่อยากอยู่ภายใต้การปกครองของเมืองนครศรีธรรมราช เพราะถูกกดขี่ข่มเหง ทำให้ชาวเกาะสมุยเกรงอาญาเจ้าพระยานคร ดังนั้นชาวเกาะสมุยจึงได้ร้องทุกข์กับ สมเด็จฯ กรมพระยาภานุพันธุ์วงศ์วรเดช ต่อมาในคราวเดียวกันพระองค์ทรงแวะเยี่ยมเยียนที่เมืองไชยา อันเป็นเมืองสำคัญแห่งหนึ่งในสมัยนั้น ได้ทรงพบปะกับพระยาไชยา (ขำ ศรียาภัย) เจ้าเมือง ( ต่อมาได้รับพระราชทานบรรดาศักดิ์เป็น พระยาวจีสัตยารักษ์ ) ก็ทรงชอบพอัธยาศัยของพระยาไชยามาก ด้วยเหตุนี้เองจึงได้กราบทูลให้ พระบาทสมเด็จฯ พระจุลจอมเกล้าเจ้าอยู่หัว ทรงทราบถึงความต้องการของชาวเกาะสมุย จึงทำให้เกาะสมุยมาขึ้นกับเมืองไชยาด้วยเหตุนี้เอง

ต่อมาเมื่อปีพ.ศ. 2440 (ร.ศ. 116) ได้มีการจัดระบบการปกครองท้องถิ่นขึ้นใหม่ โดยยุบรวมหัวเมืองต่าง ๆ ตั้งเป็นมณฑล จังหวัด และอำเภอเมืองเกาะสมุยกับเกาะพะงันถูกยุบรวมเป็นอำเภอเดียวกัน และได้ส่งหลวงพิพิธอักษร (สิงห์ สุวรรณรักษ์) ไปเป็นนายอำเภอคนแรกของเกาะสมุย

หลวงพิพิธอักษร เป็นทั้งนักบริหารและนักปกครองและนักพัฒนาที่ดี จึงเป็นที่ชื่นชอบของชาวเกาะสมุยมากและได้นานนาม ท่านว่า " พ่อนาย " ท่านได้ย้ายที่ว่าการ จากบ้านดอนแตงมาตั้งที่บ้านหน้าทอน หมู่ที่ 3 ตำบลอ่างทอง ( อันเป็นที่ตั้งของที่ว่าการอำเภอปัจจุบันนี้ ) ด้วยเห็นว่าที่บ้านหน้าทอน อยู่ใกล้กับที่ทำการของเมืองไชยา มีอ่าวจอดเรือที่ดีและท่านได้สละที่ดินส่วนตัว จำนวน 6 ไร่ ให้เป็นที่ตั้งที่ว่าการ อำเภอในปี พ.ศ.2449 แต่ตัวอาคารที่ว่าการอำเภอเป็นแบบสมัยรัชกาลที่ 5 ต่อมาเมื่อ พ.ศ.2468หลวงพิพิธอักษร ได้รับพระราชทานยศเป็น พระยาเจริญราชภักดี ดำรงตำแหน่งนายอำเภอตั้งแต่ พ.ศ.2440-พ.ศ.2471 รวมเวลานานถึง 31 ปี จึงได้ลาออกรับบำนาญและถึงแก่กรรมเมื่ออายุ 84 ปี ในวันที่ 8 เมษายน พ.ศ. 2482

ครั้นเมื่อวันที่ 24 เมษายน พ.ศ.2505 พระบาทสมเด็จพระเจ้าอยู่หัวสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ และสมเด็จพระศรีนครินทราบรมราชชนนี ได้เสด็จประพาสเกาะสมุย และได้ทรงปรารภถึงความเก่าแก่ ของอาคารที่ว่าการอำเภอ และทรงเห็นว่าสมควรจะสร้างใหม่ได้แล้วดังนั้นทางอำเภอจึงได้ของบประมาณไปยังส่วนกลางจนกระทั่งปี พ.ศ.2514 ได้รับงบประมาณ เป็นเงิน 300,000 บาท (สามแสนบาทถ้วน) โดยให้สร้างแบบอาคารไม้สองชั้น ทางอำเภอพิจารณาเห็นว่าเกาะสมุยเป็นสถานที่ท่องเที่ยว มีนักท่องเที่ยวทั้งชาวไทย และชาวต่างประเทศไปเที่ยวปีละมาก ๆ จึงได้ขอทบทวนใหม่ในปี พ.ศ.2516และได้รับงบประมาณในปี พ.ศ. 2518 และสร้างเสร็จเรียบร้อยในปี พ.ศ.2519 ลักษณะของอาคารเป็นคอนกรีตเสริมเหล็กตัวตึก 2 ชั้น

การคมนาคมบนเกาะสมุยในสมัยก่อนปี 2510 เป็นไปด้วยความยากลำบาก ท่านนายอำเภอดิลก สุทธิกลม จึงดำริที่จะปรับปรุงถนนบนเกาะสมุยให้ดีขึ้น และได้ตัดถนนให้รอบเกาะซึ่งแต่เดิมยังไม่รอบ ตรงจุดบริเวณอ่าวละไมไปสู่ตำบลบ่อผุดโดยจะต้องข้ามภูเขาลูกหนึ่ง คือ เขาหมาแหงน ภูเขาลูกนี้เคยเปรียบเสมือนหนึ่งปราการยักษ ์ที่แยกชาวตำบลมะเร็ตกับตำบลบ่อผุดให้อยู่ห่างไกลกัน เพราะว่าถนนรอบเกาะที่สร้างกันมาเรื่อยๆ นั้น เมื่อมาถึงเขาหมาแหงนก็ไม่สามารถจะสร้างถนนผ่านไปได้ เพราะไม่สามารถพิชิตภูเขานี้ได้ ดังนั้นเมื่อก่อนถนนรอบเกาะสมุยจึงไม่รอบเกาะ ทางด้านเหนือก็ผ่านมาทางตำบลแม่น้ำ เรื่อยมาจนถึงตำบลบ่อผุดก็สุดทาง ส่วนทางด้านใต้มาจนถึงตำบลมะเร็ตจดเชิงหมาแหงน ก็หมดทางเช่นกันชาวมะเร็ตและชาวบ่อผุดจึงดูห่างไกลกันเหลือเกินทั้ง ๆ ที่อยู่ติดกันแท้ ๆ

มีผู้ที่พยายามตัดถนนข้ามเขาหมาแหงนนี้หลายครั้ง ทั้งนายอำเภอคนก่อน ๆ และทั้งพระภิกษุรูปหนึ่ง ซึ่งมีนามว่าพระครูสมุห์เลียบ ซึ่งชาวเกาะสมุยเรียกติดปากว่า " พระนักทำ " ซึ่งท่านพระครูองค์นี้ได้ช่วยสร้างถนนทำประโยชน์ให้แก่ชาวเกาะสมุยมาก เมื่อท่านลงมือทำอะไรก็มีชาวบ้านมาช่วยกันมากมาย เมื่อมีใครต่อใครพยามสร้างทางข้ามเขาหมาแหงนหลายครั้งไม่สำเร็จ ท่านก็ลงมือทำบ้างมีชาวบ้านทั้งจากตำบลมะเร็ตและตำบลบ่อผุดมาช่วยกันมากมาย พยายามตัดทางข้ามเขาหมาแหงน อยู่นานถึง 4 เดือนก็ไม่สำเร็จต้องเลิกไป ปล่อยให้เขาหมาแหงนเป็นอุปสรรคขวางกั้นการไปมาต่อไป

ต่อมาเมื่อปลายปี พ.ศ.2510 อำเภอเกาะสมุยได้รับความช่วยเหลือจากคณะกรรมการพัฒนาภาคใต้อันมี ฯ พณ ฯ พันเอกถนัด คอร์มัน เป็นประธานคณะกรรมการ ได้มอบรถแทรกเตอร์ ที.ดี.4 ให้เกาะสมุยหนึ่งคัน พอถึงเกาะสมุย นายอำเภอดิลก สุทธิกลม (สมัยนั้น) ได้นำรถแทรกเตอร์คันนั้นไปปรับถนน บริเวณเขาหมาแหงนทันที ทั้งนี้โดยได้นิมนต์ พระมหาพิมล ฐานสุนทโร เจ้าอาวาสวัดสระเกศ ต.ตลิ่งงามไปร่วมงานสร้างถนนนี้ด้วย เพราะพระมหาพิมล เป็นที่เคารพขอชาวเกาะสมุยมาก เมื่อท่านร่วมมือด้วยชาวบ้านก็มาช่วยกันเป็นจำนวนมาก จากนั้นการตัดทางเชื่อมตำบลมะเร็ตกับตำบลบ่อผุดโดยผ่านเขาหมาแหงนก็เริ่มขึ้น ตั้งแต่วันที่ 14 ตุลาคม 2510 เป็นต้นมา งานตัดถนนผ่านเขาหมาแหงนนี้เต็มไปด้วยความยากลำบาก เพราะต้องระเบิดภูเขาจำนวนมาก

ในปี 2512 เมื่อกรป.กลาง จัดส่งหน่วยพัฒนาการเคลื่อนที่ ออกปฎิบัติการที่จังหวัดสุราษฎร์ธานี จึงได้รับการขอร้องจากนายอำเภอ ให้สนับสนุนเครื่องมือในการทำทางก่อสร้างถนนรอบเกาะสมุย เพื่ออำนวยความสะดวกในการขนถ่ายสินค้าไปยังท่าเรือซึ่ง กรป.กลาง ได้จัดส่งชุดเครื่องมือหนัก ประกอบด้วยรถเครื่องจักรทุ่นแรง จำนวน 5 คัน ไปดำเนินการปรับปรุงขยายผิวจราจร ให้ แต่การปรับปรุงและขยายผิวจราจรก็ดำเนนไปได้ไม่เร็วเท่าที่ควร เพราะเครื่องมือไม่เพียงพอ

วันที่ 29 เมษายน 2515 พระบาทสมเด็จพระเจ้าอยู่หัว และสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ ได้เสด็จประพาสเกาะสมุย เป็นการส่วนพระองค์อีกครั้งหนึ่ง ณ บริเวณศาลาคอย อ่าวเฉวง ต่อมาในปลายปี 2515 ได้เกิดอุทกภัยกระหน่ำภาคใต้อย่างรุนแรง ในหลายจังหวัดโดยเฉพาะเกาะสมุย ได้รับความเสียหายอย่างหนัก มีเรือล่มถึง23 ลำ บ้านเรือนราษฎรพังเสียหาย 581 หลัง ต้นมะพร้าวโค่นล้มประมาณ 57,000 ต้น และต้นทุเรียนกว่า 8,000 ต้น คิดค่าเสียหายทั้งสิ้นประมาณ 31 ล้านบาท เป็นเหตุให้ภาวะทางเศรษฐกิจของเกาะสมุยทรุดตัวลงเป็นอย่างมาก กรป.กลาง จึงได้จัดส่งชุดทหารช่างก่อสร้าง ออกเดินทางมายังเกาะสมุยในต้นปี 2516 เพื่อปฎิบัติการฟื้นฟูและก่อสร้างเส้นทางรอบเกาะสมุย โดยเริ่มปฎิบัติการฟื้นฟูเกาะสมุยและก่อสร้างเส้นทางโดยทันที ซึ่งปรากฎว่า การปฎิบัติงานในระยะเริ่มต้นเป็นไปได้ไม่รวดเร็วเท่าที่ควร เนื่องจากสภาพภูมิอากาศ คือมีฤดูฝนถึง 6 เดือน และเป็นฝนชนิดที่ตกอย่างไม่มีเค้าบางวันไม่สามารถจะปฎิบัติงานได้ ยิ่งกว่านั้น การตัดถนนผ่านภูมิประเทศที่เป็นภูเขาและโขดหิน จำเป็นต้องอาศัยการระเบิดหินเป็นส่วนใหญ่ แต่เจ้าหน้าที่ทุกคนก็มิได้ท้อถอย คงพยายามปฎิบัติงานไปโดยเต็มความสามารถ อย่างไม่หยุดยั้ง

ในปี พ.ศ. 2516 พลอากาศเอกทวี จุลทรัพย์ ได้สั่งให้หน่วยทหารช่างก่อสร้างที่ 4 ซึ่งมีเครื่องมือที่สมบูรณ์กว่าดำเนินการทดแทน ชุดทหารช่างก่อสร้างเกาะสมุยชุดเดิม หน่วยทหารช่างก่อสร้างที่ 4 ได้เคลื่อนย้ายเครื่องมือหนักเข้าที่ตั้งบนเกาะสมุยโดยทันที และเริ่มการก่อสร้างถนนตั้งแต่เดือนธันวาคม 2516 เป็นต้นมา ถนนรอบเกาะสมุยที่หน่วยทหารช่างก่อสร้างที่ 4 ดำเนินการสร้างนี้ มีระยะทางยาวทั้งสิ้น 50.228 กิโลเมตร เป็นถนนมาตรฐานอัดดินแน่นเขตทางกว้าง 12 เมตร ซึ่งมีผิวจราจรกว้าง 6 เมตร กับไหล่ทางกว้างอีกข้างละ 1 เมตร ได้เริ่มตั้งต้นก่อสร้างจากหน้าที่ว่าการอำเภอเกาะสมุย ลงไปทางใต้ผ่านพื้นที่ตำบลอ่างทอง, ตำบลลิปะน้อย, ตำบลตลิ่งงาม, ตำบลหน้าเมืองจนถึงบ้านหัวถนน แล้ววกไปทางทิศตะวันออก ผ่านตำบลมะเร็ตไปช่องเขาหมาแหงนทางทิศตะวันออก ต่อไปยังอ่าวท้องตะเคียน ช่องบุญตา พุ่งขึ้นไปทางทิศเหนือ ถึงตำบลบ่อผุด แล้วเลยไปทางทิศเหนือของเกาะสมุย ผ่านตำบลแม่น้ำ ไปเขาแหลมใหญ่ แล้วจึงวกกลับมาบรรจบกันกับจุดเริ่มต้น ณ ที่ว่าการอำเภอเกาะสมุยซึ่งอยู่ที่ตำบลอ่างทอง นับว่าถนนสายนี้ตัดผ่านทุกตำบล โดยเฉพาะทางด้านทิศใต้กับทิศเหนือตัดผ่านหมู่บ้านริมทะเล ที่มีทิวทัศน์อันสวยสดงดงาม โดยตั้งชื่อถนนรอบเกาะสมุยว่า " ถนนทวีราษฎร์ภักดี "

ตามโครงการ และแผนที่ได้สำรวจ และประมาณการไว้นั้น ถนนสายนี้จะต้องสร้างสะพาน 15 แห่ง เป็นสะพานคอนกรีตเสริมเหล็ก 3 สะพาน สะพานไม้ 12 สะพาน รวมความยาวของสะพานทั้งสิ้น 190 เมตร งานวางท่อระบายน้ำ 160 แห่ง และมีงานระเบิดหินบริเวณช่องเขาหมาแหงน ระหว่างท้องตะเคียน ถึงบ้านเฉวงน้อย อีกระยะทางประมาณ 3 กิโลเมตร

การสร้างทางรอบเกาะสมุยนี้มีอุปสรรคอยู่หลายประการ โดยเฉพาะอย่างยิ่ง เกี่ยวกับสภาพดินฟ้าอากาศในภาคใต้ซึ่งมีฝนตกอยู่เสมอเกือบตลอดปี นอกจากนั้นเส้นทางนี้ยังมีแหล่งลูกรังจำกัดต้องขนลูกรังในระยะทางไกล ประกอบกับเส้นทางที่ตัดผ่านเขาหมาแหงนเลียบชายฝั่งทะเล เป็นบริเวณที่ยากแก่การทำถนนเพระต้องใช้ดินระเบิดทำการระเบิดหินก้อนใหญ่ ๆ หลายลูกติดกันในระยะทางยาวเกือบ 3 กิโลเมตร ในการก่อสร้างถนนรอบเกาะสมุย ของหน่วยทหารช่างก่อสร้างที่ 4 แม้จะประสบกับอุปสรรคหลายประการ แต่ก็ได้รับความร่วมมือจากเจ้าหน้าที่ส่วนท้องถิ่น และประชาชนชาว เกาะสมุยเป็นอย่างดีในทุกๆ ด้านตลอดมา ทำให้การปฏิบัติงานสามารถฟันฝ่าปัญหาและอุปสรรค ต่าง ๆ ลุล่วงไปด้วยดี