Budowę okazałego pałacu w Dowspudzie rozpoczął gen. Ludwik M. Pac w 1820 r. po powrocie z Włoch. Wiązało się to z decyzją o przeniesieniu do Dowspudy siedziby rodowej. W latach 1814-1815 Pac przebywał w Anglii, tam też prawdopodobnie narodził się pomysł budowy w Dowspudzie neogotyckiego pałacu, nawiązującego do ówczesnych rezydencji rodowych angielskich lordów. Dowspudzki zamek miał być zatem rezydencją wiejską, ale też swego rodzaju pomnikiem chluby oręża polskiego i znamienitości oraz poświęcania dla ojczyzny rodu Paców. Budowę pałacu rozpoczęto według planów i pod kierownictwem włoskiego architekta Piotra Bosio, ale od 1822 r. prowadził ją już sprowadzony specjalnie przez Paca z Włoch Henryk Marconi.
Pałac w Dowspudzie zbudowany był z cegły, otynkowany, na planie odwróconej litery T. Elewację korpusu głównego zdobiły rzeźbione postacie czterech królów i ośmiu hetmanów. Reprezentacyjną część pałacu dowspudzkiego stanowiły pomieszczenia usytuowane na parterze zarówno w korpusie jak i pawilonie. Mieściły się tam w zachodniej części korpusu biblioteka wojskowa i zbrojownia, we wschodniej zaś oranżeria i sala koryncka. Centralną część pawilonu stanowiła wysoka na dwie kondygnacje kaplica, za nią była galeria obrazów, w zachodnim skrzydle znajdowały się biblioteka, sypialnia reprezentacyjna oraz łazienka, we wschodnim natomiast sala bilardowa i jadalnia.
Wszystkie pomieszczenia były bardzo bogato zdobione freskami, obrazami, rzeźbami, sztukateriami oraz militariami. Nie mogło w tak wystawnych wnętrzach zbraknąć kominka z kararyjskiego marmuru oraz fantazyjnej fontanny. Okna upiększały witraże. Na piętrze pałacu znajdowały się pokoje mieszkalne i gościnne. W dwukondygnacyjnych piwnicach na ich górnym poziomie mieściły się łazienki nazywane termami, również one były strojnie zdobione arabeskami i malowidłami o tematyce przyrodniczej. Przed fasadę korpusu głównego wysunięty był ocalały do dziś portyk, pełniący funkcję podjazdu.
Wizualizacja pałacu L.M. Paca w Dowspudzie powstała w ramach Programu Współpracy Transgranicznej Litwa-Polska 2007-2013 fundusz Małych Projektów współfinansowanego z Europejskiego Funduszu Rozwoju Regionalnego oraz budżetu państwa.
W dobrym stanie do czasów dzisiejszych przetrwał w Dowspudzie budynek kordegardy usytuowany przy bramie wjazdowej prowadzącej do pałacu. W budynku zgodnie z jego przeznaczeniem i umiejscowieniem przebywała straż pałacowa.