I sin nuværende skikkelse stammer Amtsstuegården fra begyndelsen af 1800-tallet. Dens bygherre var i første omgang landinspektør Ahrendt Aschlund, der efter de store landboreformer i slutningen af 1700-tallet kom til byen for at opmåle og optegne herredets sogne med henblik på udstykning af jorder og udflytning af gårde til landsbyerne.
Der er ingen tvivl om, at der også før den tid lå bygninger på stedet, for dels er der angivet huse her på bykortet til Reesens Atlas i 1600-tallet, og dels har man i 1930-erne afdækket et stengulv på den nuværende gårdsplads, som formentlig er middelalderligt.
Gården blev den 17. januar 1643 købt af byens daværende borgmester Jørgen Mortensen, søn af Morten Thuesen, der anses for Grundtvigslægtens stamfader. Gården blev i slægtens eje i generationer. Ellers ved man ikke meget om gården og dens ejere frem til 1800-tallet, hvor Achlund tilsyneladende har genopbygget den. Alt i alt fremtrådte gården som et moderne og stateligt anlæg midt i byen, og var en passende ramme for justitsråd og godsinspektør, der i sin husholdning foruden familien talte en guvernante, en huslærer, en fuldmægtig og en kontorbetjent, samt en halv snes tjenestefolk. Haven bagved strakte sig helt ned til hovedgaden.
Embedet som godsinspektør havde Jens Petersen muligvis fået overtaget efter Ahrendt Aschlund, der kan have fået det efter Frants Vilhelm Trojel på Anneberg. Indtil 1810 forvaltedes Trojel de kongelige godser i Odsherred, og han og Aschlund havde et nært samarbejde om landboreformen.
Amtsstuegården blev tidligt forvaltningssted for statens ejendom. De forvaltningsmæssige interesser var sikkert en af grundene til at kongen købte gården, og det skete formentlig omkring 1840. Men en årsag var også, at som kronprins havde Christian VIII ofte besøgt vennen, Kaptajn Frederik von Buchwald på Anneberg, men da han i 1839 blev konge bød etiketten ham, at man fandt en anden løsning. Inden da havde han erhvervet Grønnehave skov uden for byen, hvor det var hans hensigt at bygge et jagtslot, og som foreløbig ordning overtog han tillige Amtsstuegården, som han da også indtog nogle gange til stor bevågenhed fra byens borgere. Men Grønnehave skov og engen blev solgt, og stedet fik derefter navnet Kongeengen.
De efterfølgende årtier skete der ikke de store ændringer udover der knyttedes yderligere en offentlig institution til Amtsstuegården, idet man fra 1876 flyttede byens posthus hertil, og samtidig gjorde stedet til endestation for diligencen, der bragte post og passagerer til byen.
På billedet der er taget fra kirken, ses indgangen til postkontoret i gavlen og på siden af bygningen skimtes ”Kongelig post og telegraf skiltene”
I løbet af 1900-tallet ombyggedes gården til beboelseskompleks, uden at ejendommens karakter ændredes afgørende, og fremstår stadig i sin empireskikkelse som et eksempel på en af de store gårde, der prægede købstaden.
Som tidligere nævnt havde der tidligere været postkontor i bygningen, og her på kontoret udspilledes der sig et besynderligt optrin i 1885.
Vi ved, at Holger Drachmann og fru Emmy boede i Rørvig i årene 1885 og 1886 i en lejet stue i Tolder Olsens hus ved fjorden. Det lidt specielle er, at Holger Drachmann, netop i 1885 skrev Midsommervisen – ”Vi elsker vort land”, så sandsynligheden for at den kendte sang er skrevet i Rørvig er ret stor.
Men det er sommer i Odsherred, og Holger Drachmann skal have sendt nogle breve og er derfor ankommet til Amtsstuegården.
Postassistenten, der sad ved pulten kendte ham ikke. Pludselig gik døren op og ind trådte en gammel krumbøjet morlille ude fra Lyngen (det blev arealet efter Lindeallé kaldt). Med sin kurv på armen gik hun hen til assistenten, tog fra kurven en konvolut og en seddel med en adresse på og rakte dette til assistenten. Men næppe havde hun åbnet munden, før hun blev skarpt afbrudt af følgende salut fra postassistenten:
– Kan hun se at få lukket døren ordentligt. Hvad er det for en måde, hun kommer ind på et Kgl. Kontor på?
Men inden hun havde besindet sig, havde Drachmann været henne og lukke døren for hende, hvilket ikke gjorde assistenten blidere stemt, og fortsatte i samme brøsige tone:
– Hvad hun så ville?
– Ja, hun ville da så gerne have assistenten til at skrive hendes søns adresse på brevet, da hun ikke var særlig stiv i skrivekunsten. Sønnen lå ved dragonerne i Næstved, og denne adresse var særlig vanskelig at skrive, syntes hun.
Assistenten svarede i en meget overlegen tone,
– Om hun troede, han ikke havde andet at bestille end at skrive adresser for byens madammer?
Med en rask bevægelse havde Drachmann snuppet brevet og papiret med adressen og hurtigt skrevet adressen på kuverten. Herefter satte han et af sine egne frimærker på og smed det hen på skranken til den forbløffede assistent, idet han sagde:
– Lad mig få en telegramblanket
Drachmann skrev nogle få ord og rakte blanketten tilbage med en bemærkning om at afsende den med det samme. Da assistenten havde læst indholdet, kan det nok være, han blev bleg om næbbet. Blanketten var nemlig adresseret til Postdirektoratet og var en klage over assistentens opførsel og forlangte ham afskediget og bar tilmed underskriften Holger Drachmann. Det var et navn, der havde sin betydning.
Assistenten bad nu for sig, om Drachmann ikke nok vilde tage den tilbage, da det for ham var frygteligt at miste sin stilling.
– Jo, på den betingelse, unge mand, at De giver den gamle kone en undskyldning for Deres næsvise optræden og følger hende pænt ud og ned på trappen.
Dette skete prompte, og siden den tid var assistenten flink og høflig overfor alle.
Byens politibetjent Sørensen havde oprettet en præserveringsfabrik. Før kølerummenes tid præserverede man æggene til længere holdbarhed ved at lægge dem i en kalkholdig væske. På dette gamle billede, der ikke er af bedste kvalitet og som menes at være fra 1890, foregår ægpakningen i fri luft, og midt i billedet i baggrunden ses den digre politibetjent Sørensen.
