Pirmoji sinagoga Ukmergėje minima 1685 m., tačiau nežinoma kur ji stovėjusi. Kada pirmą kartą pastatyta Didžioji sinagoga šioje vietoje, taip pat nėra žinoma, tačiau tikrai ne vėliau nei XVIII a. amžiuje.
Didžioji sinagoga buvo pati didžiausia ir svarbiausia žydų religinė įstaiga Ukmergėje. Į ją rinkdavosi daugiausiai turtingi, pasiturintys žydai, kurie čia ne tik melsdavosi, bet ir aptardavo verslo, prekybos ir kitus klausimus. Sinagoga turėjo vykdyti ir valstybės paskirtą užduotį – vesti žydų tautybės asmenų metrikaciją.
Iš pradžių Didžioji sinagoga, kaip ir dauguma to meto miesto pastatų buvusi medinė, tačiau maždaug 1855 m. perstatyta į mūrinę. Per didįjį 1877 m. gaisrą Didžioji sinagoga sudegė ir jau tais pačiais metais ji pradėta atstatyti toje pačioje vietoje. Sinagogos ankstesnysis dydis ir fasadai nebuvo pakeisti, pertvarkytas tik išdegęs vidus. Tai buvo didelis mūrinis neobarokinio stiliaus pastatas.
Didžioji sinagoga veikė iki 1941 m. Paskutinis jos rabinas J. Zusmanovičius kartu su kitais žydų bendruomenės nariais buvo nužudyti Pivonijos šile. Karo metu pastatui kliuvo bombos skeveldra, todėl stipriai apdegė. Po karo ilgą laiką tai tebuvo tik sandėlis, o nuo 1953 m. pastate buvo įkurta sporto mokykla. Buvo padarytas remontas, nugriaunant nedidelį priestatą priešais pagrindinį įėjimą, sunaikinant papuošimus, interjerą, skliautų puošybą. Sinagoga neteko baroko stiliaus pėdsakų. Taip atrodantis pastatas išliko iki šiol.
Prie pastato pritvirtinta atminimo lenta su užrašu „1851-1941 m. čia buvo Ukmergės žydų bendruomenės Didžioji sinagoga“. 2013 m. ant sinagogos sienos pritvirtinta atminimo lenta Ukmergėje gyvenusiam garsiam žydų Apšvietos – haskalos – ir sionizmo veikėjui, rašytojui Mošei Leibai Lilienbliumui. Kėdainiuose gimęs M. L. Lilienbliumas į Ukmergę atvyko sulaukęs trylikos metų, kuomet tėvas jį „apvesdino“ su vienuolikamete žydaite iš Ukmergės.
2016 m. pagerbti du šiame krašte prieškariu gyvenę ir dirbę šalyje garsūs žydų tautybės asmenys Chackelis Lemchenas ir Solomonas Levitas. Jų atminimui atidengtos memorialinės lentos būtent ant Didžiosios sinagogos sienos.