Stavba nedávno zbouraného pivovaru stála v těsné blízkosti kostela sv. Vavřince. Byla až do roku 1994 nejstarší budovou v Olešnici vůbec. Byla postavena kolem roku 1500. Na jeho stavbu si olešničtí měšťané vypůjčili od vrchnosti.

Ta jim splácení dluhu později odpustila. Jmenovitě Jan z Pernštejna a na Helfenštejně v roce 1540. Za jeho života vznikla podoba hradu Pernštejna, jak ho známe dnes. Ne náhodou kamenné veřeje vstupních dveří do patrové budovy připomínaly ty na hradě. Pivovar také poničil požár v roce 1827. Vyhořely provozní budovy a střecha s horním patrem. Škody se daly napravit, a tak se v Olešnici vařilo pivo až do roku 1882.

Po tomto roce měl v provozních budovách umístěnu svoji výzbroj hasičský sbor, až do doby, kdy dostavěl hasičskou zbrojnici (1957). V podzemí náměstí byla prý v průběhu třicetileté války vybudována síť prostor a chodeb, kam byl ukrýván majetek měšťanů. Klenuté kamenné sklepy pivovaru byly prý součástí tohoto olešnického podzemí.

O zbourání pivovaru se v průběhu minulého století již jednalo. V roce 1913 tomu zabránili právovárečníci, v roce 1943 památkový úřad v Brně. O definitivním konci této budovy bylo rozhodnuto v roce 1993 a v roce 1994 byla zbourána, aby zde byla vystavěna budova spořitelny. Z tohoto záměru sešlo, a tak je po odtěžení terénu v místech budovy pivovaru od roku 1998 parčík s lavičkami a kašnou, novou dominantou náměstí.

Bývalá ledárna pivovaru dnes slouží jako expozice „Muzea strašidel a postav pověstí Olešnicka“.