Zakladateľ a prvý riaditeľ ústavu profesor Mikuláš Gregor 27. júna 1953 na zasadnutí Oddelenia prírodných a matematických vied Slovenskej akadémie vied obhájil vedeckú koncepciu Laboratória anorganickej chémie. Tento deň sa považuje za začiatok histórie ústavu. Vedecká koncepcia laboratória bola orientovaná na potreby a požiadavky vtedajšieho priemyslu, preto bola zameraná na chemické postupy spracovania anorganických surovín, predovšetkým na výrobu cementov, žiaruvzdorných materiálov a aktívnych smektitov. Okrem tohto bola venovaná pozornosť výskumu súvisiaceho s výrobou hliníka. V roku 1960 sa z laboratória stal Ústav anorganickej chémie SAV, samostatná organizačná jednotka Slovenskej akadémie vied. V tom čase ústav pozostával zo štyroch oddelení: Oddelenia silikátovej chémie, Oddelenia hydrosilikátov, Oddelenia soľných tavenín a Oddelenia syntéz a štruktúrnej chémie. V jemne modifikovaných formách sú tieto štyri oddelenia doteraz prirodzenou súčasťou ústavu.
Počas vyše 60-ročnej histórie stálo na čele ústavu deväť riaditeľov. Každý z nich priniesol so sebou nové myšlienky a posunul ústav smerom k vyššej národnej a medzinárodnej vedeckej reputácii. Im patrí naše najvyššie uznanie. Ústav sa vyvinul do modernej výskumnej inštitúcie s dobre definovanými cieľmi a širokou medzinárodnou spoluprácou a reputáciou. V roku 2002 bola časť ústavu vymenovaná za Integrované centrum pre progresívne materiály a molekulárny výskum Ústavu anorganickej chémie SAV. Toto centrum bolo finančne podporované Európskou komisiou zmluvou č. G5MA-CT-2002-04051.
Ústav anorganickej chémie je jednou zo 70 inštitúcií zastrešujúcich výskumné aktivity Slovenskej akadémie vied. Je začlenený do II. oddelenia vied o živej prírode a chemických vedách. Toto oddelenie koordinuje aktivity 22 vedecko-výskumných ústavov. V súčasnosti sú vedecké aktivity ústavu zamerané na výskum anorganických a bioanorganických sústav vhodných na vývoj nových materiálov a technológií, ktorý úzko súvisí s vývojom nových teoretických a experimentálnych metód.