Øya er i sin helhet viet Forsvaret. Her finner en Rauøy fort, ett av fortene i Ytre Oslofjord festning. 9. april 1940 ble Rauøy fort varslet om det tyske angrepet av bevoktningsfartøyet «Pol III». Fortet åpnet ild, men uten virkning. Det ble senere angrepet av tyske infanteristyrker og ble oppgitt om ettermiddagen den 10. april. De tyske styrkene led tap på Rauøy.