Nors archeologinių ar rašytinių šaltinių nerasta, bet daugelis autorių teigia, kad Zarasų įkūrimo pradžios reikia ieškoti XVI a. pradžioje. Iki tol čia gyveno sėliai. Oficialiai miesto pradžia laikoma 1506 metai. Tuo metu dabartinio miesto teritorijoje buvęs Zarasų dvaras, o Zaraso ežero Didžiojoje saloje – vienuolynas (tikriausiai karmelitų) su mūrine bažnyčia, kurių griuvėsius dar XX a. pradžioje zarasiškiai ardė miesto statyboms. Salą su ežero krantu jungęs 200 m ilgio medinis tiltas. Nors vietovė nepažymėta nė viename XV a. pabaigos – XVI a. pradžios Lietuvos ar Livonijos žemėlapyje, gyvenvietei čia atsirasti tuo laiku sąlygos buvo palankios, nes vietovė labai tinkama gyventi, per ją nuo seno ėjo vienas iš pagrindinių prekybos kelių iš centrinės Lietuvos į Rygą ir Pskovą. 1530 m. Zaraso ežero salos vienuolynas perkeltas į Antalieptę, o Zarasų bažnyčia – į krantą, dabartinę jos vietą.
Vietovė nuo XIV iki XVIII a. priklausė Vilniaus vyskupui. XV a. pabaigoje minimas Zarasų dvaras, 1522 m. miestelis. 1598 m. minimas Zarasų valsčius. 1610 m. Zarasuose pastatyta nauja Zarasų bažnyčia, kuri kartu su miestelio dalimi sudegė 1654–1667 m. kare ir tik 1674 m. buvo atstatyta. Nuo 1613 m. Zarasai žymimi LDK žemėlapiuose. 1669 m. miestelyje gyveno daugiau kaip 300 žmonių, buvo smuklė, kalvė, susiformavęs penkių gatvių tinklas – pagrindiniai keliai į kitus miestus.
Miestelis sunyko per Šiaurės karą, jo gyventojus praretino 1708–1711 m. siautėjęs maras. 1721 m. inventoriaus žiniomis, čia gyveno apie 100 žmonių, amatininkų nebuvo. Vėlesnių inventorių šaltiniai nurodo nežymų gyventojų skaičiaus svyravimą, nebuvo turgų, gyveno viena prekybininkų žydų šeima, keitėsi tik pavienių amatininkų sudėtis. Miestelis virto žemdirbių gyvenviete. Jie atlikinėjo daug prievolių dvarui: taisė miestelio tiltą, špitolę, smuklę, vyko su pastotėmis į Vilnių, Rygą. Zarasai kiek atgijo XVIII a. 2-ojoje pusėje: įsteigta mokykla, taip pat muitinė, kuri davė valstiečiams leidimus parduoti Rygoje linus. 1735 m. Baraukoje pastatyta pirmoji Zarasų sentikių cerkvė.
Karo su Napoleonu metu ties Zarasais įvyko rusų ir prancūzų kariuomenių susirėmimas, per juos ėjo vienas iš Napoleono kariuomenės kelių. Tolesniam Zarasų augimui didelę reikšmę turėjo 1830 m. pradėtas tiesti Daugpilio–Kauno plentas. 1831 m. prie miesto keliskart su caro kariuomene kovėsi sukilėliai. Miesteliui žymių nuostolių padarė 1834 m. prekymečio metu kilęs gaisras, kuris sudegino visą centrinę jo dalį. 1843 m. paskelbti caro įsakai įkurti miesto rotušę ir patvirtinti 1836 m. nurodymus, padaryti miestą apskrities centru, suteikti herbą ir pervadinti Novoaleksandrovsku. Miestas išaugo 1836–1842 m. nutiesus traktą Sankt Peterburgas-Varšuva. Per du dešimtmečius gyventojų pagausėjo 7 kartus (iki 5520). 1847 m. sentikių cerkvė sugriauta. 1872 m. įkurta vientikių cerkvė, bet vėliau sentikiai atsiskyrė nuo stačiatikių.
Zarasai su netvarkingai išsidėsčiusiais pastatais nuolat degė. Siekiant to išvengti, 1837 m. patvirtintas Zarasų miesto planas su įdomiu, labai tinkančiu vietovaizdžiui aikštės ir gatvių sprendimu. Projekte buvo numatyta keturkampė, viename gale pusapvalė aikštė, iš kurios eina radialinės gatvės, besikertančios su žiedinėmis. Nuo tų laikų miesto centrinės dalies išplanavimas su mažais pakitimais išliko iki mūsų dienų. Zarasai – vienintelis tokio plano respublikos rajono centras.
1919 m. rugpjūčio 25 d. miestas išvaduotas nuo bolševikų (vėliausiai iš visų Lietuvos miestų). 1932 m. Zarasams suteiktas kurortinio miesto ir vasarvietės statusas.
1946 m. rugpjūčio 3 d. tapo apskrities pavaldumo miestu. 1955 m. pastatytas paminklas Marijai Melnikaitei (skulpt. Jonas Mikėnas, archit. G. Valiuškis), įsteigtas jos garbei muziejus, 1975 m. pastatytas dabartinis savivaldybės pastatas (archit. V. Geibūnas), 1976 m. pašto rūmai (archit. E. Pšenisnovas).
1992 m. pašventinta nauja sentikių cerkvė, parapijai priklauso apie 1000 tikinčiųjų. 1996 m. patvirtintas Zarasų herbas. 2008 m. Zarasai paskelbti pirmąja Lietuvos kultūros sostine. 2008 m. rugsėjo 10 d. Zarasams suteiktas kurortinės teritorijos statusas.
2011 m. Zaraso ežero pakrantėje įrengtas įspūdingas kraštovaizdžio apžvalgos ratas. Unikalus ir vienintelis Lietuvoje statinys yra 17 m aukščio ir 34 m pločio, jis įrengtas remiantis Latvijos ir Lietuvos bendradarbiavimo per sieną programos projektu.
