Skógasafn á upphaf sitt að rekja til ársins 1945 þegar tekin var ákvörðun í sýslunefnd Rangárvallasýslu að efna til byggðasafns sýslunnar. Sama ár var skipuð stjórn verðandi byggðasafns en í henni sátu: séra Jón M. Guðjónsson í Holti, Guðmundur Erlendsson frá Núpi og Þórður Tómasson í Vallnatúni. Safnið er í eigu héraðsnefnda Rangæinga og Vestur-Skaftfellinga.

Skógasafn hefur tekið stakkaskiptum frá stofnun þess og mikil uppbygging hefur átt sér stað. Safnið hefur verið leiðandi í menningarstarfsemi og markmið þess er að safna og sýna menningarminjar Rangæinga og Vestur-Skaftfellinga og varðveita þær fyrir komandi kynslóðir.

Sagan
Byggðasafn Rangæinga hóf starfsemi sína í húsi Skógaskóla árið 1949. Fyrsta sýning safnsins var gerð aðgengileg fyrir almenning þann 1. desember 1949, en fyrstu árin var komið upp sýningum á munum safnsins í kennslustofum skólans á sumrin í samvinnu við sumarhótelið í Skógum. Fljótlega varð þó ljóst að safninu var ekki sniðinn stakkur eftir vexti. Þórður Tómasson sá um safnið í byrjun og var ráðinn sem safnvörður Byggðasafnsins árið 1959.
Árið 1952 gerðist Vestur-Skaftafellssýsla aðili að safninu með fjórðungs eignarhlut og eftir það hét safnið Byggðasafn Rangæinga og Vestur-Skaftfellinga. Fyrstu Skaftfellingar í safnstjórn voru Jón Þorsteinsson sýslufulltrúi og bóndi í Norður-Vík og Óskar Jónsson verslunarmaður í Vík. Sama ár fékk safnið að gjöf áttæringinn Pétursey frá Jóni Halldórssyni kaupmanni í Suður-Vík.
Árið 1954 var hafist handa við að byggja safninu húsnæði og árið 1955 var risið myndarlegt safnhús sem rúmaði áttæringinn Pétursey og gott betur. Þar var ekki látið staðar numið því Þórður Tómason hélt ótrauður áfram að viða að sér fleiri munum og fljótlega fór að þrengja að á ný. Árið 1968 hófst uppbygging á gömlum bæjarhúsum á safnsvæðinu. Fyrsta húsið sem flutt var að Skógum og endurreist þar var skemma frá Varmahlíð undir Eyjafjöllum sem langafi Þórðar, Sigurður Jónsson, byggði á bæ sínum um 1830. Suðurhluti safnhússins var byggður á árunum 1990-95 og áraskipinu Pétursey markaður þar staður í öndvegi. Héraðsskjalasafni Rangæinga og Vestur-Skaftfellinga var komið fyrir í kjallara í viðbyggingunni. Tengibygging úr gleri milli gamla og nýja hússins varð gestamóttaka safnsins. Þann 20. júlí 2002 var opnuð safndeild í nýju 1510 fm sýningarhúsi sem reis austan við aðalbyggingu safnsins. Þetta safn hlaut nafnið Samgöngusafnið í Skógum og var fyrsta safn sinnar tegundar hér á landi. Hlutverk safnsins er söfnun, varðveisla og sýning muna og minja er tengjast þróun samgangna í landinu á 19. og 20. öld. Í húsinu eru einnig safnverslun og veitingastaðurinn Skógakaffi. Helsti hvatamaður að þessu verki var Sverrir Magnússon, þáverandi framkvæmdastjóri safnsins. Fljótlega eftir tilkomu Samgöngusafnsins í Skógum var byrjað að notast við nafnið Skógasafn sem yfirheiti yfir alla safnheildina sem risið hafði í Skógum. Föstudaginn 1. september 2017 var vígt nýtt móttökuhús í Skógasafni með stórbættri aðstöðu fyrir gesti og starfsfólk, nýjum snyrtingum og rúmgóðri afgreiðslu. Jafnframt var gamla safnhúsið frá 1955 gert upp og gömlu móttökunni breytt í sýningarrými og nýjar sýningar settar þar upp. Þann 1. júlí 2018 tók Andri Guðmundsson við sem forstöðumaður Skógasafns.
Árið 2019 voru gestir safnsins samtals 43.452 talsins og stöðugildi við safnið voru 10,7. Þar af voru stöðugildi háskólamenntaðra starfsmanna 5,7 talsins.