1700-1800 talen
Svenskarna rustar upp och reparerar
Efter det att fästningen överlämnades till svenskarna 1645 har det inte skett några större förändringar på den beträffande försvarsfunktionerna.
Ett stort antal byggnader byggdes dock däremot fästningen fungerade ju dock som en utpost från Göteborg och när det svenska stormaktsväldet rasade samman i början av 1700-talet kom fästningen att få en större betydelse ur ren försvarssynpunkt.
De största resurserna gick dock hela tiden till att reparera. Det var främst fästningsurarna som rasade samman, frostsprängningen inne i murbruket gjorde att stora murpartier helt plötsligt rasade samman (senast 1974). Mot slutet av 1700-talet minskade pengadonationerna och fästningen började sakta förfalla det skulle den göra under hela följande århundrade också och inte förrän efter första värdskriget började man på alvar restaurera fästningen. Under 1700-talet byggdes det annars mest mellan nedre och mellerstavalvet
där man uppförde bostäder och verktysbodar samt verkstäder för artilleriet och infanteriet. Det var under denna tid som bla. tyggården växte fram.
Fästningen blir fängelse
Efter freden i Nystad 1721 då det svenska stormaktsväldet blev historia, kom de svenska gränsfästningarna mer att fungera som fästningar än försvarsverk.
Fångar har det nog alltid funnits på Varbergs fästning, i den norra längan skall de ha suttit men när kockenborg blev omodern fylldes den översta ingången med jord. Via en annan (lägre belägen) ingång kom spiralgången att tjäna som fängelse. Det var strafffångar och sådana som dömts till arbete som förvarades på fästningen och även Varbergs stad hyrde in sig med sina fångar på fästningen eftersom att man annsåg den säkrare än stadens rådhus.
1734 kom den nya svenska lagen som förbjöd tortyr, man fick alltså inte tortera och tvinga fram erkännanden från fångarna tidigare hade gatlopp och stympning förekommit som sådana metoder men det var det alltå slut med nu.
Fångarna hystes in där det fanns plats, vid nedersta valvet och i vita munken förvarades ett flertal, i kockenburg som tidigare nämnts och även i den västra slottslängan. Under 1800-talet ändrades synen på fånghantering man ville inte bera straffa utan också försöka återannpassa fången så att han efter sitt straff skulle kunna återvända in i samhället. Detta medförde att man stälde högre krav på fängelserna ,det skulle helst vara en cell åt varje fånge. Dödsstraffen omvandlades i de flesta fall till livstids straffarbete. Alla de lösdrivare som inte förmådde
försörja sig själva tvingades ofta till arbete. Denna delvis nya grupp av fångar kom att skickas till fästningarna och deras arbetsuppgifter blev främst att reparera och bygga på fästningarna. Efter det att Varbergs fästning slutat att fungerar som sådan 1830 och tagits bort från rikets fasta försvar. Satsademan mer på fängelseverksamheten. Man beslutade att inrätta ett straffängelse och ombyggnaderna på slottet började 1850. På den obebyggda tomten i sydöst (efter det under nordiska sjuårskriget sönderbombade huset) bebyggdes med ett hus i två våningar och 30 celler. I nordöstra delen av slottet skedde ochså om och tillbyggnader för prästen, vakterna och manskapet som hade hand om fångarna. Fängelsedirektören fick överta kommendantens bostad i kommendanthuset. I södra huset fanns sovsalar och en fängelsekyrka. borggården delades in med plank vilket bildade på så sätt fånggård. Alla hus på borggården fyllde någon funktion såsom arbetsrum celler eller sovsalar, men mycket förstördes i en smärre brand 1872. 1863 byggdes vid nedersta valvet det sk. kronobageriet där fångarna kunde arbeta.