Ketika Nabi (صلى الله عليه وسلم) datang ke Madinah, dia tinggal lebih dulu bersama kakek atau paman dari pihak ibu dari Ansar. Dia memanjatkan doanya menghadap Baitul-Maqdis (Yerusalem) selama enam belas atau tujuh belas bulan, tetapi dia berharap dia bisa berdoa menghadap Ka'bah (di Mekah). Doa pertama yang ia panjatkan menghadap Ka'bah adalah shalat Ashar di antara beberapa orang. Kemudian salah seorang dari mereka yang telah shalat itu bersamanya keluar dan melewati beberapa orang di sebuah masjid yang sedang membungkuk saat shalat mereka (menghadap Yerusalem). Dia berkata kepada mereka, "Demi Allah, aku bersaksi bahwa aku telah berdoa bersama Rasulullah (صلى الله عليه وسلم) menghadap ke Mekah (Ka'bah).' Mendengar itu, orang-orang itu segera mengubah arah mereka ke arah Ka'bah. Orang-orang Yahudi dan orang-orang dalam kitab suci dulu senang melihat Nabi (صلى الله عليه وسلم) menghadap Yerusalem dalam doa, tetapi ketika dia mengubah arahnya ke arah Ka'bah, selama shalat, mereka tidak menyetujuinya.
Al-Bara' menambahkan, "Sebelum kami mengubah arah kami menuju Ka'bah (Mekah) dalam shalat, beberapa Muslim telah meninggal atau telah terbunuh dan kami tidak tahu apa yang harus dikatakan tentang mereka (mengenai doa mereka). Allah kemudian menyatakan: Dan Allah tidak akan pernah membuat imanmu hilang (yaitu doa-doa orang-orang Muslim itu sah).' " (2:143).