Jedná se vlastně o jakousi “zámeckou novostavbu”. Zámek byl totiž vystavěn až v letech 1842 až 1845 a to pro bývalého nejvyššího purkrabího Českého království, hraběte Karla Chotka, který se zde po svém penzionování rozhodl strávit podzim života. Starý zámek ve Velkém Březně, který byste našli blíže k Labi, už totiž neodpovídal představám hraběte Chotka o pohodlném bydlení, a tak v září roku 1842 začíná ve Velkém Březně stavba zámku nového, a od května 1844, kdy je nový zámek dokončen, zde Chotek i se svou rodinou bydlí. Budova zámku po svém dokončení vypadala poněkud jinak než dnes, byla mnohem jednodušší; s trochou nadsázky se dá říci, že připomínala spíše železniční nádraží té doby. Ale i když se jednalo o stavbu vzhledem prostou, poskytoval tento tehdy tak moderní empírový zámek veškerý komfort a byl vybaven vším pohodlím své doby. Takže můžeme věřit, že hraběti Chotkovi, čerstvému penzistovi, se v jeho zdech žilo velmi dobře.

Zámek byl v letech 1885 až 1910 přestavěn v novorenesančním slohu. Stalo se tak za celkové přestavby zámku, kterou realizoval vnuk zakladatele – hrabě Karel Maria Chotek (1853–1926), předposlední majitel panství, aristokrat nedbalé elegance, věnujícího se především svým zálibám: cestování, zahradničení a fotografování. Mimochodem, byl členem prestižního vídeňského Camera-clubu a získal několik cen a uznání za umělecké fotografie. Na zámku se dodnes dochoval celý kufr jeho negativů a fotografií.

Z velkobřezenské linie rodu Chotků pochází Žofie Chotková, pozdější manželka arcivévody Ferdinanda d´Este, která byla společně se svým manželem 28. června 1914 zastřelena při známém sarajevském atentátu, jenž se stal záminkou k vypuknutí první světové války.

Chotkové, starý český rod a mající v některých případech dalekosáhlý vliv na chod mezinárodních dějin, vymírají po meči v osobě posledního majitele zámku Karla Chotka v roce 1970. Zámek mu byl na základě Benešových dekretů zkonfiskován již v roce 1945, poté byl zámek využíván jako domov pro nezaopatřené děti, politická škola a také jako sklad československé lidové armády. Díky činnosti A. Pifla se zachoval značný mobiliář z majetku Chotků a po získání statutu chráněné památky byl opět inventář postupně navracen zpět. Zámek byl postupně zpřístupňován od 80. let 20. století a v dnešní době se pyšní rozsáhlou sbírkou obrazů, fotografií či mobiliáře vzniklou z činnosti rodu, který tento zámek obýval poměrně krátce.