Плунге в письменных источниках упоминается с 1565 г. Старый дворец стоял напротив сегодняшнего центрального дворца. Первый этаж здания был каменным, а второй деревянным. Дворец украшали четыре дубовые колонны.
Известно, что в этом дворце, проезжая по западной границе империи, гостил Российский император Александр I. В 1807 г. Наполеон готовился к войне с Россией, а Александр I об этом знал. Поэтому Российский император решил получше ознакомиться с западной границей империи, на которую Наполеон мог напасть в первую очередь. С небольшой свитой Александр I по пути остановился в Плунге. Его торжественно встретили у старого дворца. Традиционный хлеб и соль были предоставлены в деревянной узорной тарелке, которая сохранилась до сих пор и находится в Тельшяе.
Хоть владельцы с XVI в. постоянно менялись, однако до самого начала XX в. эта резиденция принадлежала важным аристократам, духовенству, художникам и талантливым культурным людям.
Золотой век во дворце начался, когда в 1873 г. город Плунге и его окрестности приобрел князь Михаил Огинский (1849–1902). Князь решил построить новый дворец, поэтому старый снес. Из остатков стройматериалов был сооружен большой дом у главных ворот парка, на месте теперешней улицы Дарюса и Гиренаса. Во времена Огинских здесь был основан дом для престарелых (богадельня). К тому же продолжая семейные традиции Огинских, князь в 1873–1902 г. основал оркестр-школу, где учился художник и композитор Микалоюс Константинас Чюрленис.
В 1879 г. Огинские построили дворец в стиле итальянского неоренессанса, из-за чего дворец славился красотой и культурной деятельностью.
Роскошный ансамбль дворца, органически вписывающегося в парк, смешанного стиля на месте старого естественного леса и с добавляющими разнообразие двумя прудами, спроектировал архитектор немецкого происхождения Карл Лоренц. Архитектурным акцентом ансамбля ставший дворец с двумя официнами и напротив построенным конным заводом неоготического стиля основан на северной самой высокой и живописной стороне парка. В западной официне (с левой стороны) во времена Огинских были устроены гостевые комнаты. В них жили няни-монашки, которые работали в приютах, содержимые князем. В 1883 г. была открыта двуязычная литовская школа. Рядом с этим зданием, на лужайке была обогреваемая оранжерея и семейная часовня Огинских.
Восточная официна (с правой стороны) предназначена для администрации - здесь работал бухгалтер, приятными запахами манила кухня.
Интерьер центрального дворца устроен в 1882–1885 гг. Декорировали мастера мастерских Казимира Соммера (отделка, скульптуры готовились из гипса, известки, клея и песка или мраморного порошка) из Варшавы. Исключительность к интерьеру добавляют слепленные детали, панно, узорные печи, коллекционная мебель. Особенно дворец отличается крышу украшающими скульптурами античного стиля.
После смерти М. Огинского в 1902 г. за дворцом следила его жена. В 1903 г. она основала даракторскую школу имени М. Огинской, а в 1905 г. открыла школу для детей служащих работников при дворе, протежировала дом для престарелых, содержала детский сад.
В 1994 г. во дворце был основан и до сих пор работает Жемайтийский художественный музей. В нем собрано и выставлено на экспозицию по всему миру распространившееся творчество жемайтийских художников, музейные ценности, отражающие культурное и историческое разнообразие Жемайтийского региона, а также предоставлено культурное наследие, отображающее историю Плунгенского поместья и семьи Огинских.
