1883. gadā Haims Sujers Kr. Barona ielā, ēkā kur pašlaik izvietots veikals “Sākums A”, atvēra pirmo Ludzas grāmatu veikalu. Jau 1884. gadā pie šī veikala viņš atvēra pilsētas publisko bibliotēku. Četrus gadus vēlāk tās krājumā bija 1116 grāmatas, bibliotēkas pakalpojumus izmantoja 44 pilsētas iedzīvotāji, t.sk. 38 vīrieši un 6 sievietes.

Otru publisko bibliotēku XX gs sākumā atvēra pie Ludzas sabiedriskās valdes, taču tai lielas nozīmes nebija, jo tā kalpoja tikai valdes locekļu vajadzībām un tajā galvenokārt bija žurnāli un avīzes.

Toties vietējie iedzīvotāji labprāt izmantoja Tautas atturībnieku biedrības bezmaksas bibliotēku, kura arī tika atvērta XX gs sākumā. Šīs bibliotēkas krājumos varēja atrast populārus izdevumus un zālē bija uzstādīts atvestais no St.Pēterburgas mūzikas skapis, tāpēc vietējie iedzīvotāji labprāt izmantoja bibliotēkas pakalpojumus. Bibliotēka atradās Marcinkeviča mājā tagadējā Tālavijas ielā, visas bibliotēkas grāmatas bija izvietotas divos skapjos un tās izsniedza  divas darbinieces.

1920. gadā maijā Ludzas pilsētas valde pieņēma lēmumu dibināt pilsētas bibliotēku. Par bibliotēkas vadītāju bija nozīmēts Iļja Slavinskis – enerģisks, erudīts cilvēks, kas labi pārzināja bibliotēku darbu. Viņš savāca daudz grāmatu no pilsētas iedzīvotājiem, rūpīgi tās iesēja un glabāja. Katru gadu grāmatu iepirkšanai pilsētas valde piešķira 1200 latu. Bibliotēkas grāmatas bija dažādās valodās – latviešu, krievu, vācu, franču, angļu, ebreju, poļu. I.Slavinskis bibliotēkas vajadzībām galvenokārt iegādājās klasisko literatūru, literāros žūrnālus. Sākumā bibliotēka bija izvietota vienā, vēlāk divās istabās, tajā bija 140 pastāvīgi lasītāji. Pakāpeniski bibliotēka izveidojās par nozīmīgu pilsētas kultūras centru.   

1935. gadā Ludzā bija pilsētas bibliotēka, Latgales kultūras veicināšanas biedrības bibliotēka un Valsts ģimnāzijas bibliotēka. Pilsētas bibliotēkas krājumos bija 1600 grāmatas latviešu valodā, 2500 – krievu, 800 – citās valodās un 1000 eksemplāru dažādu žurnālu. 1940. gadā bibliotēkas krājumos iekļāva vairāk nekā 2000 padomju izdevumu.

1942. gadā par bibliotēkas vadītāju kļuva Mateušs Pugovičš. Viņš mīlēja un saudzēja grāmatas un uzskatīja sevi par “kultūrizglītibas jomas darbinieku, kurš strādā tautas labā”. Pēc viņa iniciatīvas vairākās pilsētas vietās bija uzstādīti stendi, kuros tika izvietotas republikas centrālo avīžu numuri. Katrs interesents varēja nākt pie stenda un lasīt svaigo avīzes numuru.  

Pēckara gados bibliotēkā mainījās vadītāji, kas bibliotēkas darbā diemžēl bija gadījuma cilvēki un bibliotēka būtība tika izpostīta. 1951. gadā par bibliotēkas vadītāju kļuva Marija Knauere un 1958. gadā viņu nomainīja Lilita Kornele. Viņu vadībā bibliotēka atdzima un kļuva par nozīmīgu mūžizglītības centru pilsetā.
Mainoties laikiem ir mainījušies arī bibliotēku pakalpojumi, tie kļūst mūsdienām atbilstoši, bet pilsētas bibliotēku tradīcijas ir pārņemtas un aktīvi tiek piekoptas Ludzas bibliotēkā arī šodien.