Instytut Fizyki został powołany do życia jesienią 1953 r. We wrześniu 1953 r. ówczesne władze państwowe nadały Instytutowi osobowość prawną, określiły jego siedzibę w Warszawie i przyznały budżet. Starania o utworzenie Instytutu podjęły rok wcześniej władze nowo wówczas powstałej Polskiej Akademii Nauk. W listopadzie 1952 władze PAN przyjęły uchwałę o utworzeniu Instytutu Fizyki, „który będzie miał za zadanie prowadzenie prac naukowych z zakresu fizyki doświadczalnej i teoretycznej w działach szczególnie ważnych dla gospodarki narodowej oraz kształcenia kadr naukowych”.

Proces tworzenia nowej, scentralizowanej organizacji nauki w powojennej Polsce związany był z jednej strony z potrzebą lepszego wykorzystania i rozwoju skromnego kadrowo i materialnie potencjału naukowego w kraju wyniszczonym wojną, z drugiej zaś wynikał z obowiązujących wówczas w krajach bloku radzieckiego przesłanek ideologicznych, dostosowania organizacji nauki do modelu wprowadzonego wcześniej w ZSRR. Nie bez znaczenia była także opinia towarzystw i organizacji naukowych, które zarówno w okresie okupacji jak i bezpośrednio po zakończeniu wojny wyrażały potrzebę utworzenia w Polsce jednolitej organizacji nauki obejmującej cały kraj.

Instytut Fizyki powstał na bazie kadry naukowej, głównie przedwojennej, wydziałów fizyki wiodących placówek akademickich: Uniwersytetu Warszawskiego, Politechniki Warszawskiej, Uniwersytetu Jagiellońskiego, Akademii Górniczo-Hutniczej i Uniwersytetu Adama Mickiewicza w Poznaniu oraz utworzonych już po wojnie, w oparciu o przedwojenną kadrę uczelni we Lwowie i w Wilnie, Politechniki Wrocławskiej i Uniwersytetu Mikołaja Kopernika w Toruniu. Pomieszczenia i wyposażenie tych wydziałów uniwersyteckich stanowiły także pierwotną bazę lokalową i aparaturową nowo utworzonego Instytutu. W analogiczny sposób powstało kilkanaście innych instytutów badawczych, utworzonych w tym okresie przez PAN.

W zamierzeniu organizatorów - pierwszego dyrektora Instytutu profesora Stefana Pieńkowskiego i przewodniczącego Rady Naukowej profesora Leopolda Infelda - Instytut miał stać się wiodącym ogólnopolskim centrum naukowym, prowadzącym badania podstawowe na najwyższym poziomie we wszystkich aktualnych dziedzinach współczesnej fizyki. Inne zadania obejmowały kształcenie doktorantów, organizowanie nowych placówek naukowych oraz przekazywanie do przemysłu wyników badań przydatnych w zastosowaniach. Język ówczesnej ekipy politycznej określał te ostatnie wymagania, jako „trzeba zaplanować i wykonać te badania, które potrzebne są do wywalczenia i wypracowania wyższej stopy życiowej.”

Po śmierci Stefana Pieńkowskiego, wkrótce po objęciu przez profesora funkcji dyrektora nowoutworzonego Instytutu, pierwszym urzędującym dyrektorem Instytutu został w 1954 r. profesor Leonard Sosnowski. Jego osobowość, zainteresowania naukowe, wszechstronne wykształcenie i doświadczenie uzyskane w laboratoriach brytyjskich przed i po wojnie oraz umiejętności organizacyjne pozostawiły niezatarte ślady na dalszym rozwoju Instytutu, zarówno w czasie jego dwunastoletniej kadencji jako dyrektora jak i w latach późniejszych, kiedy kierował Radą Naukową. Do jego najważniejszych osiągnięć należy zaliczyć przede wszystkim stworzenie z Instytutu aktywnej i kreatywnej placówki naukowej, organizację badań na światowym poziomie i rozwój przyszłej kadry naukowej, zwłaszcza w pierwszej dekadzie działalności, w trudnym ekonomicznie i politycznie okresie wczesnego PRL. Do trwałych zasług prof. Sosnowskiego należy także nawiązanie i podtrzymywanie w tym okresie kluczowych dla działalności naukowej Instytutu kontaktów z wiodącymi naukowcami i placówkami badawczymi Zachodu.

W 1955 r., w związku z utworzeniem Urzędu Pełnomocnika Rządu ds. Wykorzystania Energii Jądrowej oraz Instytutu Badań Jądrowych, z Instytutu zostały wydzielone warszawskie i krakowskie laboratoria fizyki jądrowej i fizyki cząstek elementarnych. Od tego czasu kształtuje się także, obowiązujący po dziś dzień podstawowy profil badawczy Instytutu, jako placówki skupionej na badaniach materii skondensowanej, wraz z metodami charakteryzacji, oraz badaniach fizyki promieniowania, obejmujących spektroskopię, fizykę atomową i molekularną.

W tym samym okresie (w latach 1954-1957) w Warszawie, Poznaniu, Toruniu i Wrocławiu powstało w ramach Instytutu szereg pracowni i zakładów, które później przekształciły się w samodzielne placówki naukowe. Należały do nich między innymi Zakład Dielektryków w Poznaniu, kierowany przez późniejszego (w latach 1966-68) dyrektora Instytutu prof. Arkadiusza Piekarę, przekształcony w 1975 r. w Instytut Fizyki Molekularnej PAN, i Zakład Niskich Temperatur prof. Ingardena we Wrocławiu, który po połączeniu z kierowanym przez prof. Włodzimierza Trzebiatowskiego Zakładem Fizyko-Chemicznych Badań Strukturalnych został przekształcony w 1966 r. w Instytut Niskich Temperatur i Badań Strukturalnych PAN. Początkowy okres tworzenia Instytutu wieńczy uzyskanie w 1957 r. pierwszej, choć tymczasowej, własnej siedziby w odbudowanym gmachu przedwojennej centrali telefonicznej „PASTA” przy ul. Zielnej w Śródmieściu Warszawy. W budynku tym umieszczono dyrekcję, administrację, zaplecze techniczne i część laboratoriów. W ciągu sześciu lat od utworzenia Instytutu jego kadra wzrosła czterokrotnie do prawie 200 pracowników na koniec roku 1959. W tym samym roku Instytut uzyskał uprawnienia do nadawania stopni naukowych doktora i docenta nauk fizycznych.

W latach sześćdziesiątych ważną rolę w badaniach doświadczalnych odgrywało zaplecze techniczne Instytutu, które pełniło także funkcję producenta sprzętu pomiarowo-laboratoryjnego. W związku z panującą wówczas autarkią gospodarczą, brakiem walut obcych, chronicznymi niedoborami na rynku i embargiem obowiązującym na Zachodzie na dostawy nowoczesnego sprzętu do krajów bloku radzieckiego zakupy specjalistycznego a nawet podstawowego wyposażenia laboratoryjnego były na ogół niemożliwe. Rozwój produkcji aparatury w Instytucie doprowadził w 1962 r. do utworzenia, na bazie pracowni aparatury elektronicznej i pomiarowej, przedsiębiorstwa UNIPAN. W 1972 r. Instytut utworzył trzy dalsze zakłady doświadczalne produkujące aparaturę naukową: WILMER, UNIPRESS i RADIOPAN.

Tematyka prac badawczych prowadzonych w Instytucie w latach pięćdziesiątych i sześćdziesiątych w ramach ogólnie zakreślonego profilu naukowego obejmowała z jednej strony zagadnienia, które były przedmiotem zainteresowania kierowników zespołów naukowych na ich macierzystych uczelniach, z drugiej zaś była wymuszana utylitarnymi potrzebami państwowego przemysłu. Praca stricte naukowa, która odzwierciedlała na ogół główne nurty badań na świecie, była możliwa dzięki w miarę regularnemu dostępowi do zagranicznej literatury naukowej oraz dzięki kontaktom osobistym z kolegami za granicą. Formalne, państwowe programy badawcze Instytut realizował w ramach Rządowych Planów Rozwoju Nauki i Techniki. Programy te nakierowane były w dużej mierze na bieżące potrzeby rozbudowanego w tym okresie przemysłu: elektronicznego, maszynowego i zbrojeniowego, a zwłaszcza na rozwiązywanie aktualnych problemów technologicznych. Na początku lat sześćdziesiątych w polskich kręgach decyzyjnych wzrosło w związku z tym zainteresowanie technologiami półprzewodnikowymi na potrzeby rozwijanej wówczas w Polsce produkcji diod i tranzystorów. Stworzyło to szansę powiązania badań podstawowych z potrzebami przemysłu, a zarazem umożliwiło pozyskiwanie przez Instytut większych środków na badania, także podstawowe. Fizyka, techniki wzrostu i metody charakteryzacji półprzewodników stały się w ciągu kolejnych lat najważniejszymi kierunkami badań w Instytucie, które doprowadziły do jego późniejszych sukcesów w tej dziedzinie. Drugą ważną, także związaną z potrzebami przemysłu, dziedziną badań była fizyka i własności domenowe materiałów magnetycznych na potrzeby pamięci komputerowych.

Dekada lat siedemdziesiątych to ważny okres rozwoju Instytutu, który po raz pierwszy w swojej historii uzyskał nowoczesną i adekwatna do swoich potrzeb siedzibę, przy Alei Lotników na warszawskim Służewcu. Dzięki bardziej prorozwojowej polityce gospodarczej i naukowej ekipy rządzącej, która objęła władzę po 1970 r., Instytut uzyskał także znaczniejsze środki na zakup nowoczesnej aparatury naukowej za granicą, a złagodzenie polityki paszportowej umożliwiło wydatne poszerzenie kontaktów naukowych z Zachodem. W 1970 r. stanowisko dyrektora Instytutu objął profesor Jerzy Kołodziejczak, dotychczasowy wicedyrektor i kierownik Zakładu Spektroskopii Ciała Stałego, uczeń prof. Sosnowskiego. Jego 12 letnią kadencję charakteryzował znaczący rozwój bazy doświadczalnej Instytutu, rozwinięcie nowych tematyk badań oraz wprowadzenie szeregu nowoczesnych technik pomiarowych. Nastąpił znaczący rozwój kadry (ponad 600 osób w 1974 r.) i wydatny rozwój wielostronnych i dwustronnych międzynarodowych kontaktów naukowych. Instytut stał się ważnym krajowym, a później także międzynarodowym centrum badań półprzewodników.

W 1973 r. zmieniona została struktura organizacyjna Instytutu. Istniejące dotychczas liczne niewielkie Zakłady i Pracownie połączono w duże Oddziały Naukowe. Początkowo powstały trzy takie oddziały, a po 1978 r. utworzono kolejny, czwarty. Utworzone także w ramach nowego podziału Laboratoria skupiają unikalne w skali kraju specjalistyczne urządzenia pomiarowe. Wprowadzony wówczas schemat organizacyjny Instytutu pozostał niezmieniony do chwili obecnej.

Instytut stał się w latach siedemdziesiątych także miejscem ciekawej pracy lub studiów doktoranckich dla coraz liczniejszej grupy absolwentów wydziałów fizyki. Wielu z nich stanowi dziś trzon kadry naukowej Instytutu, a ponad dwadzieścia osób spośród byłych pracowników i doktorantów zostało profesorami na amerykańskich i europejskich uczelniach.

Jedną z najważniejszych specjalności naukowych, rozwiniętych w Instytucie pod koniec lat sześćdziesiątych i w latach siedemdziesiątych, stały się badania półprzewodników z wąską przerwą, a w późniejszym okresie badania półprzewodników półmagnetycznych. Te dziedziny stały się także obszarem największych sukcesów naukowych Instytutu, liczonych liczbą cytowań publikacji, zaproszonych referatów, nagród naukowych, itp.

W wyjątkowo trudnym ekonomicznie i politycznie okresie lat osiemdziesiątych XX w. Instytut utracił szereg pracowników, a na pewien czas także kontakty naukowe ze światem. Inflacja i ograniczenia handlowe doprowadziły do zubożenia i deprecjacji części bazy technicznej, dekapitalizacji budynków i ograniczenia możliwości pracy doświadczalnej. Dyrektorzy Instytutu z tamtego okresu, prof. Jerzy Prochorow (1981-1987) i prof. Henryk Szymczak (1988-1997), dokładali wszelkich starań i wykonali olbrzymia pracę starając się utrzymać poziom naukowy, zapewnić zaplecze materialne i chronić w miarę możliwości Instytut przed negatywnymi skutkami perturbacji polityczno-gospodarczych.

Okres po transformacji ustrojowej wymagał natomiast nauczenia się i wprowadzenia zupełnie nowych metod administrowania, gospodarki pieniężnej i zarządzania nauką, a zwłaszcza stałego i coraz trudniejszego funkcjonowania w warunkach konkurencyjnej gospodarki. Jednym z najbardziej widocznych skutków tych procesów był znaczący odpływ młodych pracowników do prywatnych firm i zmniejszenie atrakcyjności zawodu fizyka dla utalentowanych studentów. Instytutowi udało się jednak zachować wysoki poziom naukowy, czego wyrazem były sukcesy w pozyskiwaniu grantów w krajowych i międzynarodowych konkursach badawczych oraz coraz częściej pojawiający się zagraniczni doktoranci i stażyści.

Jedną z ważnych konsekwencji transformacji ustrojowej przełomu lat 1989/1990 było otwarcie dla polskiej fizyki dostępu do technologii i urządzeń do tworzenia i badania struktur niskowymiarowych. W latach siedemdziesiątych ubiegłego wieku badania nad półprzewodnikami na świecie zaczęły koncentrować się na układach niskowymiarowych. Początkowo były to struktury typu MIS (metal – insulator – semiconductor), w których quasi-dwuwymiarowy gaz ładunków elektrycznych indukowany był w okolicach powierzchni półprzewodnika poprzez przyłożenie napięcia elektrycznego do metalowej bramki. Nieco później rozpoczęły się badania półprzewodnikowych studni kwantowych i supersieci wytwarzanych metodami epitaksjalnymi: metodą epitaksji z wiązek molekularnych lub osadzania chemicznego z prekursorów metaloorganicznych. Niestety, w Polsce, a w Instytucie Fizyki PAN w szczególności, takie metody były niedostępne ze względu na istniejące embargo na ich import do Polski oraz ze względu na brak środków na ich zakup. W latach siedemdziesiątych i osiemdziesiątych ograniczono się zatem do badania struktur typu MIS wytwarzanych dość prymitywnymi metodami, przez nałożenie izolującego lakieru (przywiezionego przez indywidualnych naukowców powracających ze staży w zagranicznych laboratoriach) na powierzchniach hodowanych w Instytucie kryształów półprzewodnikowych, następnie napylenie cienkiej warstwy metalu. Z oczywistych powodów struktury takie charakteryzowały się niską ruchliwością nośników prądu i nie mogły konkurować z próbkami otrzymywanymi znacznie subtelniejszymi metodami epitaksjalnymi. W IF PAN podjęto także próbę zbudowania urządzenia do epitaksji z wiązek molekularnych zatrudniając w tym celu pracowników istniejącego wówczas warsztatu mechanicznego. Pracami tymi kierował prof. Marian Herman, późniejszy zastępca dyrektora Instytutu ds. naukowych. Zbudowana przez niego maszyna nie była konkurencyjna w stosunku do urządzeń dostępnych komercyjnie na Zachodzie (użyte do jej wytworzenia materiały i zainstalowane układy pompowe nie były najwyższej jakości), ale po uruchomieniu wytworzono przy jej pomocy szereg próbek warstw i studni kwantowych. NB maszyna ta działa do dzisiejszego dnia w Zespole kierowanym przez profesora Tomasza Storego, po wymianie pomp do wytwarzania wysokiej próżni na wydajniejsze i po zainstalowaniu komercyjnych komórek efuzyjnych (źródeł strumieni molekuł, z których powstaje w czasie procesu epitaksji rosnąca bardzo cienka warstwa kryształu półprzewodnika).

W nowych warunkach, po roku 1989, podjęto w Instytucie dyskusję na temat konieczności nadrobienia zaległości powstałych w wyniku braku bezpośredniego dostępu do aparatury hodującej warstwy epitaksjalne. Jednocześnie ceny takiej aparatury na świecie spadły i zakup skromnego urządzenia przez Instytut stał się możliwy. Rozpoczęto poszukiwania najlepszego rozwiązania i w roku 1993 z inicjatywy ówczesnej dyrekcji, profesorów Henryka Szymczaka i Henryka Lachowicza, zakupiona została i uruchomiona w Instytucie przez zespół kierowany przez prof. Jacka Kossuta maszyna firmy EPI z sześcioma komórkami efuzyjnymi. Wytworzono przy jej pomocy do tej pory ponad 3000 próbek, a jej wygląd obecny zupełnie nie przypomina pierwotnej konstrukcji. Przeszła ona szereg modyfikacji i ulepszeń w wyniku pomysłów użytkujących ją naukowców, w miarę jak nabierali oni doświadczenia w trudnej technice wzrostu kryształów. Obecnie wytwarzane są nie tylko studnie kwantowe i inne struktury quasi-dwuwymiarowe, ale również tzw. nanodruty oraz quasi-bezwymiarowe kropki kwantowe powstające w drodze samoorganizacji. Specjalnością Instytutu są struktury zawierające jony metali przejściowych o własnościach magnetycznych. Domieszkowane struktury z CdTe i CdMgTe wytwarzane przez profesorów Tomasza Wojtowicza i Grzegorza Karczewskiego posiadają najwyższą na świecie ruchliwość elektronów i są cenione w wielu współpracujących z Instytutem laboratoriach na całym świecie: w Japonii, Niemczech, Wielkiej Brytanii, Francji, Rosji, Stanach Zjednoczonych, Korei, itd. Wiele z uzyskanych wyników powstało we współpracy z grupą profesora Jana Gaja z Instytutu Fizyki doświadczalnej Uniwersytetu Warszawskiego. Duża część z nich jest cytowana w książkowej monografii „Introduction to the Physics of Diluted Magnetic Semiconductors, wydanej przez J. Kossuta i J. Gaja w wydawnictwie Sprinter Verlag w 2010 roku.

Równolegle do rozwoju laboratorium niskowymiarowych struktur półprzewodnikowych w Instytucie rozpoczęto prace nad epitaksją z wiązek molekularnych cienkich warstw metalicznych. Inspiracją do tych badań było zjawisko gigantycznego magnetooporu, zaobserwowane po raz pierwszy w Niemczech i Francji, występujące w „kanapkach” składających się z dwóch warstw metalu ferromagnetycznego rozdzielonych warstwą metalu niemagnetycznego. Struktury te zrewolucjonizowały urządzenia do przetwarzania i przechowywania informacji i są podstawą nowej generacji urządzeń logicznych, a odkrywcy zjawiska gigantycznego magnetooporu zostali niedawno uhonorowani nagrodą Nobla. Prace w tym zakresie w Instytucie Fizyki PAN prowadzili dr hab. Lech Baczewski i dr hab. Andrzej Wawro ze współpracownikami.

Redukcja efektywnej wymiarowości układów fizycznych może również odbywać się drogą litograficzną. Aby wejść do świata nanotechnologii nie wystarczy już litografia optyczna stosowania w mikroelektronice, ale konieczne jest zastosowanie albo litografii w głębokim nadfiolecie, albo litografii przy pomocy wiązki elektronowej. Pierwszy elektronolitograf w IF PAN zainstalowano w laboratorium prof. Tomasza Dietla w połowie lat dziewięćdziesiątych. Przy jego pomocy wytworzono struktury, na których udało się zaobserwować np. zjawisko Sterna-Gerlacha dla elektronów przewodnictwa, co uważane było do tej pory za rzecz niemożliwą do osiągnięcia. Obecnie w IF PAN działają dwa elektronolitografy (drugi został zainstalowany na przełomie 2011 i 2012 roku).

W 2004 r. Instytut rozszerzył zakres prowadzonych badań na obszar Fizyki Biologicznej. Pod kierunkiem Prof. Marka Cieplaka utworzono, całkowicie od podstaw, nowe laboratorium, którego zadaniem jest prowadzenie prac teoretycznych i eksperymentalnych w tej dziedzinie.

Nową epokę w historii Instytutu rozpoczęło przyjęcie Polski do Unii Europejskiej i związany z tym proces integracji Instytutu z Przestrzenia Badawczą. Najbardziej widocznym i spektakularnym elementem tego procesu stał się dostęp do Funduszy Strukturalnych i innych środków Unijnych przeznaczonych na budowę i rozwój infrastruktury badawczej. Szereg laboratoriów Instytutu zostało gruntownie wyremontowanych, przebudowanych i wyposażonych w nowoczesną aparaturę. Zakupiono kilka instalacji do hodowli warstw techniką wzrostu z wiązek molekularnych, nowoczesne laboratoria mikroskopii elektronowej oraz aparaturę do diagnostyki i obrazowania powierzchni z atomową rozdzielczością. Drugim, niezmiernie ważnym elementem tego procesu było otwarcie dla pracowników Instytutu nieskrępowanego dostępu do Wielkich Instalacji Naukowych, zwłaszcza do laboratoriów z promieniowaniem synchrotronowym i do laboratoriów silnych pól magnetycznych.

W październiku 2013 r. Instytut obchodził uroczyście 60 rocznicę swojego powstania, pod honorowym patronatem Prezydenta Polski Bronisława Komorowskiego. Z tej okazji władze Państwa i Polskiej Akademii Nauk doceniły osiągnięcia Instytutu. Siedemdziesięciu pracowników naukowych i technicznych Instytutu otrzymało odznaczenia państwowe.