Žagarė XIX a. garsėjo kaip iškilių rabinų bei žydų šviesuolių kilmės vieta. Vienas iš jų rabinas Izraelis Salanteris Lipkinas (1810–1883 m.) buvo religinio judėjimo Musar pradininkas. Taip pat iš Žagarės kilęs ir pasaulyje garsus filantropas bei sionistas Kalonimas Vulfas Visockis (1824–1904 m), kuris XIX a. Maskvoje įkūrė savo arbatos pramonės įmonę „Wissotzky tea“, tebeveikiančią ir iki šių dienų. Pats Žagarės miestelis gali pasigirti tiek išlikusiais žydų kultūros bei kasdienybės paveldo objektais, tiek reiškiama pagarba žydų istorijos atminimui miestelyje – ant individualių (daugiausia – privačių) namų Žagarėje vietine iniciatyva ir gyventojų sutikimu buvo iškabintos lentelės, primenančios apie tuose namuose iki Holokausto gyvenusias žydų šeimas. Švėtės upė dalina Žagarės miestą į dvi istorines teritorijas: Senąją Žagarę kairėje ir Naująją Žagarė dešinėje.
Nuo XVI a. abi Žagarės vystėsi kaip savarankiški miestai ir buvo sujungtos į vieną tik XX a. pradžioje. Dėl to žydai apsigyvenę šioje vietovėje sudarė dvi atskiras, Senosios ir Naujosios Žagarės, bendruomenes, kurios tokiomis išliko, net sujungus abi Žagares į vieną miestą. Apie tokį dviejų bendruomenių egzistavimą liudija iki šiol išlikusios atskiros Senosios Žagarės ir Naujosios Žagarės žydų kapinės, kuriose laidota iki pat šių bendruomenių sunaikinimo Antrojo pasaulinio karo metais. Abiejose miestuose žydams leista įsikurti XVIII a. pradžioje, kuomet šie ekonomiškai nusilpo ir ištuštėjo po Šiaurės karo bei maro epidemijos. Čia žydai apsigyveno centrinėse miestų dalyse aplink turgaus aikštes, Naujojoje Žagarėje istorinis žydų kvartalas apima dabartines Vilniaus, Kęstučio, Joniškio ir P. Cvirkos gatves. Įsikūrimą šioje miesto dalyje lėmė Lietuvos žydams būdinga ekonominė veikla – šiuose miestuose jie vertėsi įvairaus pobūdžio prekyba, amatais, teikė įvairias paslaugas. Nors buvo ir stambesnių verslininkų, kurie vertėsi importu bei eksportu su šalia esančiais Latvijos miestais – Ryga ir Jelgava, tačiau didžiuma vietos žydų užsiėmė smulkiais verslais – namas prie namo miestelio centre sutilpo įvairiausio pobūdžio verslai: Miesto a. 21 buvo žydų kirpykla, Miesto a. 62 stovėjo malūnas, Miesto a. 65 – vilnų karšykla, Kęstučio g. 15 dirbo žydų akušerė, padėjusi visų tautybių gimdyvėms. Netorli P. Avižonio g. esančio sinagogų komplekso buvo ir pirtis (Avižonio g. 18), o prie Šventės upės kranto, Malūno g. veikė kiekvienai kašruto besilaikančiai žydų bendruomenei būtina ritualinė skerdykla. Iki šių dienų geriausiai išliko Naujosios Žagarės turgaus aikštės užstatymas ir joje buvę XIX a. pab. žydų pastatai. Turgaus aikštėje ir aplinkinėse gatvėse iki pat Antrojo pasaulinio karo žydai turėjo įvairių prekių krautuvėles ir amatininkų dirbtuves. Čia veikė keli žydų laikomi užvažiuojamieji namai, kepykla, savo paslaugas siūlė fotografai ir kirpėjai. Rauktuvės g. 1 ir dabar veikia kavinė „Raktė“ išlaikydama tęstinumą nuo tarpukario, kai tuo laikotarpiu tame pačiame veikė vienas ištaigingiausių miestelio restoranų, priklausęs lietuviui ir žydui.