मंदिर की विशेष महत्ता है क्योंकि एक ही जलहरि में एकसाथ दो शिवलिंग स्थापित हैं. मान्यता है कि इन शिवलिंग की स्थापना स्वयं भगवान परशुराम और उनके पिता ऋषि जमदग्नि ने की थी.
मंदिर के मुख्य महंत बताते हैं मंदिर का इतिहास सदियों प्राचीन है. मान्यता है कि परशुराम जी अपने पिता ऋषि जमदग्नि के साथ कैलाश पर्वत पर विराजमान भोलेनाथ की आराधना की, उनकी तपस्या से प्रसन्न होकर भगवान शिव ने दोनों को एक-एक शिवलिंग प्रदान किया, जिसे लेकर वे अपने आश्रम लौटने लगे.
आश्रम से करीब 20 किसी दूर अधिक रात्रि होने पर वह विश्राम के लिए रुक गए, लेकिन अगली सुबह शिवलिंग अपने स्थान से नहीं हटे, इसके बाद पिता-पुत्र ने दोनों शिवलिंग को वहां पूरे विधि-विधान से स्थापित कराया.
पूरे देश में एक ही जलहरि में दो शिवलिंग वाला यह मंदिर अपने आप में बेहद खास है, जिसके किनारे से यमुना गुजरती है. यमुना का जलस्तर बढ़ने पर वह मंदिर में बाबा का अभिषेक करने स्वयं गर्भग्रह में दाखिल होती हैं.
लगे झूले और स्टाल सिकंदरा से लेकर मंदिर तक मार्ग में विभिन्न सामानों की दुकानें और छोटे-बडे झूले भी लग चुके हैं। सिकंदरा स्मारक के पास एक प्लाट में बड़े झूले लगाए गए हैं.