يقع المسجد في حي الغزة الذي يعتبر أقدم الأحياء القريبة من المسجد الحرام، وتحديداً عند تقاطع الطريق المؤدي إلى مقبرة المعلاة وبين شارع المعلاة، وهو من وجهات السياحة في مكة لأن موقعه كان شاهداً على اجتماع النبي (ص) مع الجن ليلاً، ليتلو عليهم آيات من القرآن الكريم وليعلمهم الإسلام ويجيب على أسئلتهم حتى الفجر.
سماه البعض مسجد البيعة لأن الجن بايعوا النبي الكريم عنده، وفيه نزلت سورة الجن لذلك سُمى مسجد الجن، ومن ههنا اكتسب الموضع أهميته في تاريخ الرسالة المحمدية، فأُسس المسجد، وتعاقبت عليه أشكال العناية والرعاية والتجديد بمرور العصور الإسلامية المختلفة حتى يومنا هذا.