আনুমানিক ২৫০ বছর আগে মসজিদটি নানা চড়াই উৎরাইয়ের মধ্য দিয়ে ইতিহাস আর ঐতিহ্যের সাক্ষী হয়ে দাঁড়িয়ে আছে। মুসলিম স্থাপত্যের নিদর্শন হিসেবে বৃহত্তম অঞ্চল জুড়ে মসজিদটির খ্যাতি রয়েছে বেশ। নানা সময়ে সংস্কারের মধ্য দিয়ে ধীরে ধীরে এর সমৃদ্ধি আরও বেড়েছে। লেগেছে আধুনিকতার ছোঁয়া।

মসজিদের দুপাশের সুউচ্চ ২টি মিনার ও মিনারের বর্ণিল আলোর ছটায় হয়েছে আরও সুন্দর। এটি শহরের প্রাণকেন্দ্র শেরপুর সরকারি কলেজের দক্ষিণ পাশে অবস্থিত। নামাজের সময় মুসুল্লিদের পদচারণায় মুখরিত হয় মসজিদ প্রাঙ্গণ। স্থাপনাটি তিন তলা বিশিষ্ট ও ৬ হাজার মানুষ এক সাথে নামাজ পড়তে পারে। বর্তমানে ১০ হাজার লোকের একসাথে নামাজ পড়ার ব্যবস্থা, মহিলাদের নামাজের স্থান ও সমগ্র মসজিদ শীততাপ নিয়ন্ত্রিত করার কাজ চলছে। নিরাপত্তা জন্য রয়েছে সিসি ক্যামেরা।
এই মসজিদের নির্মাণ ইতিহাস থেকে জানা গেছে, ২শ বছর পূর্বে এই মসজিদটি গড়ে উঠে। মসজিদের প্রতিষ্ঠাকাল থেকে এর সংরক্ষণ ও তত্ত্বাবধান করেন সালেমুন নেছা বিবি (জীবদ্দশা পর্যন্ত)। তার মৃত্যুর পর ভাগনে সৈয়দ আব্দুল আলীর ওপর দায়িত্ব অর্পণ হয়। খোদার ধ্যানে সর্বদা মগ্ন ওই সালেমুন নেছাকে সবাই মা সাহেবা বলে সম্বোধন করতেন।ওই মা সাহেবার সম্বোধন করা থেকেই এর নামকরণ করা হয় “মাই সাহেবা মসজিদ”।

মসজিদ কমিটির বর্তমান সাধারণ সম্পাদক আলহাজ সাইফুল ইসলাম স্বপন জানিয়েছেন, কোটি কোটি টাকার উন্নয়ন কাজ করা হলেও টাকার কোন অভাব কখনও হয়নি। এই মসজিদটির ব্যবস্থাপনা চলে সতাতার সাথে। এই ধর্মীয় প্রতিষ্ঠানটি এখানের সকল মানুষের আস্থার প্রতীক।