ইতিহাসের বহু স্মৃতি আজও রয়ে গেছে রায়গঞ্জের নিশীথ সরণীর রায়চৌধুরী বাড়ির দুর্গা মন্ডপে। এই পুজো বহু বছরের বিদ্রোহের সাথে জড়িত। সিপাহী বিদ্রোহে ব্যবহৃত সেনার খড়্গ থাকে দেবী দুর্গার হাতে।
এই রায়চৌধুরী বাড়ির পুজো শুরুও হয়েছিল ১৮৫৭ সালে ঘনশ্যাম কুন্ডুর হাত ধরে। তিনি গোপনে সিপাহী বিদ্রোহের সাথে জড়িত ছিলেন। অধুনা বাংলাদেশের হরিপুরে এই পুজোর প্রচলন হয়। ইংরেজদের কানে আসেনি তাঁর সাথে সিপাহী বিদ্রোহ যোগের কথা। তৎকালীন ব্রিটিশ শাসনে বাংলার বড়লাট ঘনশ্যাম কুন্ডুকে ‘রায়চৌধুরী’ উপাধি দেন। এরপর থেকে এই পুজো রায়চৌধুরী বাড়ির পুজো বলে প্রচলিত।
বর্তমান রায়চৌধুরী পরিবারের অধিকাংশ সদস্য কর্মসূত্রে বাইরে বসবাস করলেও পুজোর সময়ে সকলেই ছুটে আসেন পারিবারিক দুর্গোৎসবে। জড়ো হন এলাকার বাসিন্দারাও। সিপাহী বিদ্রোহের সেনার ব্যবহৃত খড়গ আজও শোভা পায় দেবীর হাতে। রায়চৌধুরী পরিবারের বর্তমান বংশধর শিবশঙ্কর রায়চৌধুরী জানান, খুবই নিয়ম নিষ্ঠার সাথে এই পুজো করা হয়ে থাকে। একচালার প্রতিমায় জমিদারি প্রথা মেনে নবমীর রাতে মোষ বলি দেওয়া হত। বর্তমানে বলির চল তুলে দেওয়া হয়েছে। তবে বিন্দোল এলাকায় ভৈরবী মন্দিরে আজও পরিবারের পক্ষ থেকে পাঁঠা বলি দেওয়া হয়।
১৯৪৭ সালে ভারত স্বাধীন হয়ে দেশভাগের পর রায়চৌধুরী পরিবার চলে আসে এপার বাংলার উত্তর দিনাজপুর জেলার রায়গঞ্জ শহরে। সেসময় নগেন্দ্র বিহারী রায়চৌধুরী ধারাবাহিকতা বজায় রেখে সেই পুজো চালু রাখেন।