ในสมรภูมินากาชิโนะ (ปี 1575) ซุกะนุมะ ซะดะทะดะ ได้ร่วมรบกับทาเคดะ คัตสึโยริ ในช่วงการบุกยึดปราสาทนากาชิโนะ แต่ได้รับบาดเจ็บอย่างหนักในระหว่างการต่อสู้ คัตสึโยริจึงได้จัดแจงตัวเองให้หลบหนีออกมาจากสมรภูมิรบพร้อมกับซะดะทะดะ และไปหลบภัยที่ปราสาทดามิเนะของซะดะทะดะ เมื่อเดินทางไปถึง พวกเขากลับพบว่า ซุกะนุมะ ซะดะนะโอะ ลุงของซะดะทะดะ ซึ่งได้รับการสนับสนุนจากอิมะอิซุมิ โดเซ็น ผู้รับใช้ของตระกูล ได้แปรพักตร์ไปเข้ากับตระกูลโอดะ และปิดประตูปราสาทใส่หน้าซะดะทะดะและคัตสึโยริ พวกเขาจึงไม่มีทางเลือกนอกจากต้องหนีไปยังปราสาทบุเซ็ตสึซึ่งอยู่ห่างออกไป 20 กิโลเมตร

เพื่อล้างแค้นการทรยศนี้ ซะดะทะดะจึงจัดฉากการตายของตัวเองเพื่อผ่อนคลายการรักษาความปลอดภัยที่ปราสาทลง และในเช้าตรู่วันหนึ่ง ซะดะทะดะและกองทัพเหล่าผู้ติดตามที่ภักดีได้เข้าโจมตีปราสาท ยึดป้อมปราการ และจับตัวซะดะนะโอะ ลุงของเขา และอิมะอิซุมิ โดเซ็น ทั้งคู่ถูกประหารชีวิตในพื้นที่สาธารณะใกล้ปราสาท พร้อมกับคนทรยศอีก 100 คน หลังจากนั้นไม่ถึง 6 ปี กลุ่มทาเคดะก็ถูกทำลายไป ด้วยความกลัวในอำนาจที่กล้าแกร่งขึ้นของตระกูลโทคุกาวะ ซะดะนะโอะจึงละทิ้งปราสาทดามิเนะ และล่าถอยไปสู่อินะ (ปัจจุบันคือภาคใต้ของจังหวัดนากาโนะ) ไม่นานหลังจากนั้น ปราสาทดามิเนะก็ถูกยึดโดยฝ่ายโทคุกาวะ ซึ่งแต่งตั้งอีกสายของตระกูลซุกะนุมะและผู้รับใช้ที่ไว้ใจได้ให้เป็นผู้ดูแลปราสาทแทน

ปราสาทดามิเนะ ตั้งอยู่บนเส้นทางอินะไคโด เส้นทางสำคัญที่เชื่อมต่ออินะ นากาชิโนะ อิวามุระในมิโนะ (ปัจจุบันคือจังหวัดกิฟุ) โคโรโมะ (ปัจจุบันคือเมืองโทโยตะ) ในจังหวัดไอจิ ไปยังฮามะมัตสึในจังหวัดชิสุโอกะ และครอบคลุมพื้นที่สี่เหลี่ยมจัตุรัส กว้างด้านละประมาณ 200 เมตร มีคูเมืองแห้งและเขื่อนดินล้อมด้านตะวันตกด้านหน้าปราสาท กำแพงเมืองแบบมีทางเดินเรียกว่า "คุรุวะ" โดยกำแพงเมืองชั้นบนสุด "ฮมมารุ" เป็นรูปวงรี ประกอบไปด้วยที่พักและห้องทำงานของผู้ครองปราสาท หอคอยปราสาท ห้องพักของบริวาร ป้อมยาม และสถานที่ที่อาจเป็นคอกสัตว์และครัว ส่วนฝั่งตะวันออกที่อยู่ด้านหลังของปราสาทนั้นไม่ได้เสริมการป้องกันมากนัก เพราะได้รับการป้องกันโดยหน้าผาธรรมชาติสูงชันและแม่น้ำโทโยคาวะที่อยู่ต่ำลงไปเบื้องล่าง

แม้ปราสาทจะถูกทิ้งร้างไปในยุคเอโดะ แต่ซากปราสาทยังอยู่ในสภาพที่แทบจะสมบูรณ์ และมีส่วนช่วยในการวิจัยและการก่อสร้างฟื้นฟูโครงสร้างต่างๆ มากมาย รวมถึงพระราชวังโกเท็น หอคอยปราสาท ประตู และกำแพง เพื่อจะสรรค์สร้างปราสาทยุคเซ็นโกคุที่งดงามกลับขึ้นมาใหม่ได้