Osada Brumovický mlýn u Brumovic se nachází asi 15 km severozápadně od města Opavy. Brumovice jsou poprvé připomínány v roce 1377. Ves byla nazývána Bronsdorf (později německy Braunsdorf), což znamená ves lidí Brunových, Brunova ves. V rámci knížectví Krnovského zůstaly Brumovice až do zrušení patrimoniální správy v polovině 19.století, poté spadaly k okresu Krnov, a to až do územní reorganizace v roce 1960, odkdy jsou součástí okresu Opava. V 19. století se obec Brumovice v důsledku úspěšného rozvoje místního podnikání změnila ve vyspělé sídlo s místním průmyslem. V obci fungoval pivovar se sladovnou, továrna na jemné pečivo, výrobna mazadel a obuvi. Dominantou obce je jednolodní barokní farní kostel Narození Panny Marie z roku 1784, který je doplněn dalšími církevními objekty – souborem kapliček, z nichž jedna je situována právě v osadě Pustý Mlýn.
V těchto místech stával v období třicetileté války mlýn, který patřil loděnickému panství. Za války byl mlýn zpustošen a zůstal dlouho v troskách, kterým lidé začali říkat pustý mlýn. Toto jméno přešlo i na novou osadu, kterou založil v roce 1787 Karel, rytíř Topfer, majitel loděnického panství. Ještě před založením osady zde však stával hostinec, jehož majitelem byl Jan Ditel. Proto se nové osadě též říkalo Ditelovo. Po zřízení státní silnice z Krnova do Opavy stal se jmenovaný hostinec zájezdním a byl často navštěvován formany, kteří tam často i přenocovali. Když byla v roce 1872 vybudována železnice z Krnova do Opavy, ztratil hostinec na svém významu. Pustý Mlýn pozůstával ze 14 čísel popisných a v roce 1930 při sčítání lidu měl 52 obyvatel, z toho 12 české národnosti. V roce 1970 bylo v osadě evidováno celkem 106 obyvatel.