Grunden till Juridiska biblioteket lades 1935 genom att Sveriges advokatsamfund, Juristföreningen i Stockholm och Föreningen för utgivande av Svensk juristtidning slog samman sina boksamlingar.
Advokatsamfundets boksamling omfattade huvudsakligen advokat Gunnar Collins bibliotek som efter dennes död år 1927 köptes in av några Stockholmsadvokater och överlämnades till samfundet.
Juristföreningens boksamling bestod huvudsakligen av de böcker justitierådet Tore Almén donerat till föreningen.
Juristtidningens boksamling utgjordes av recensionsexemplar av juridiska arbeten som tidskriften erhållit alltsedan sin tillkomst 1916.
Advokat Emil Heijne visade under sin livstid stort intresse för Juridiska biblioteket.
Vid sin död hade han lagt grunden till stiftelsen ”Emil Heijnes stiftelse för rättsvetenskaplig forskning”. I stiftelseurkunden nämns som en av stiftelsens uppgifter att bidra till Juridiska bibliotekets fortlevnad.
Juridiska biblioteket är sedan 1963 en stiftelse som enligt stadgarna har till ändamål att genom sin verksamhet främja rättsvetenskaplig forskning.
Biblioteket organiserades och sköttes under många år av professor Phillips Hult (1895–1960) som bl.a. tog initiativ till utgivande av en omfångsrik katalog över bibliotekets boksamling 1958. Under åren 1964–1981 var professor Knut Rodhe (1909–1999) verksam som bibliotekets vetenskaplige rådgivare.
Biblioteket, som ursprungligen låg på Mäster Samuelsgatan 4 där Advokatsamfundet hade sitt sekretariat, flyttade 1957 till samfundets fastighet vid Kammakargatan 10, Stockholm. 1981 flyttade biblioteket till nuvarande lokaler i advokatsamfundets hus, Tryggerska villan vid Laboratoriegatan 4 i Stockholm. Delar av det stora garaget och en angränsande lokal har byggts om för att bli lämpliga som bibliotekslokal.