توفي رافع بن خديج سنة 73 هـ أو 74 هـ في المدينة المنورة، وعمره 86 سنة، وشهد جنازته ابن عمر،[2] وكان له من الولد سهل وعبد الرحمن ورفاعة وعبيد الله وزياد وعائشة وأم عبد الله أمهم أسماء بنت زياد بن طرفة؛ وعبد الله أمه لبنى بنت قرة بن علقمة؛ وإبراهيم أمه أم ضمرة بنت أبي حثمة بن ساعدة بن عامر؛ وحبابة أمها أم محمد بنت محمد بن مسلمة؛ وأسيد وأمامة وعبد الحميد أمهاتهم أمهات ولد.[3]
^ابن سعد، محمد بن سعد بن منيع الزُهري - تحقيق د. علي محمد عمر (1421 هـ/ 2001 م). الطبقات الكبير (ط. الأولى). القاهرة - مصر: مكتبة الخانجي. ج. الجُزء الرابع. ص. 272. {{استشهاد بكتاب}}: تحقق من التاريخ في: |سنة= (مساعدة)