Josef se narodil 14. 3. 1812 ve Veverské Bítýšce Josefovi a Marii, majitelům místního Dolního mlýna, který leží na řece Svratce. V roce 1834 se Josef oženil s Josefou Kovářovou, která pocházela ze stejné vesnice. Aktivně se zapojoval do života ve své rodné obci. V letech 1839 – 1844 působil ve Veverské Bítýšce jako cechmistr cechu stolařského a mlynářského. V roce 1856 nechal postavit kapličku Panny Marie Pomocné nad pramenem.

V polovině 19. století mění své působiště a přechází ze Svratky na Svitavu. Od Eduarda Ryby kupuje cacovický mlýn a přichází i s rodinou do Cacovic. Jejich nejmladší dcera Gabriel se narodila v Cacovicích v roce 1851. Josef se snaží zabezpečit svoji rodinu. Jeho synové Emil a Eduard studují. Eduard brněnskou techniku, Emil práva. Špatně na tom nejsou ani jeho dcery. Marie zůstala v mlynářské rodině a vzala si majitele komárovského mlýna Carla Antona Schindlera. Po jeho smrti v roce 1866 se vdala podruhé za zástupce ředitele rakouské banky Creditanstalt Hugo Krimma. Ani s druhým mužem ale nežije dlouhou dobu. Hugo Krimm, který se zasloužil o rozvoj brněnského cukrovarnictví prohrál svůj boj s rakovinou žaludku těsně před Vánoci roku 1881 ve věku pouhých 50 let. Druhá dcera Bertha se provdá za obchodníka Johannese Guttenfelda. V únoru 1878 umírá jeho žena Josefa a Josef ji přežije jen čtyři měsíce. Umírá 10. 6. roku 1878. Přišel kdysi z Veverské Bítýšky, ale jeho potomci zdárně zakořenili v Brně a v dalších městech.

Jeho nejstarší syn Eduard se po smrti otce stává majitelem mlýna. K přepisu došlo až v roce 1884, kde je zapsána firma Eduarda Kottowitze pod názvem Kunstmühle in Zazowitz. V únoru 1885 je už ale firma zrušena a Eduard prodává mlýn Ferdinandu Frankovi.

Jeho druhý syn, právník Emil, byl v roce 1875 jmenován notářem v Brně. Později byl na vlastní žádost přesunut do Ostravy poté do Mikulova.