1938年的新年，难民收容所的难民们在约翰·拉贝宅邸的院子里排队向拉贝三鞠躬，献给他一块写着“您是几十万人的活菩萨”的大红绸布。同年2月拉贝离开南京，南京安全区国际委员会对拉贝给予了高度评价，中国国民政府授予拉贝三色彩玉勋章，编号98。
1938年2月22日，约翰·拉贝奉西门子公司之命离开南京，返回德国。回国后，德国国务秘书、大区党部领导人授予约翰·拉贝一枚红十字勋章，在斯图加特约翰·拉贝还被授予国外德侨银质奖章。在柏林，他在西门子总厂任远东人事部长。
在5月2日至25日的二十多天中，约翰·拉贝连续举行五场演讲，向人民展示有关证据，揭露日军在南京的暴行， 6月8日，写信给希特勒，提交关于南京大屠杀的报告，但报告当时没有公开。之后，他甚至一度被盖世太保逮捕，同时带走了6本日记和约翰·马吉拍摄的影片胶卷。 战争期间，约翰·拉贝工作是照料西门子公司出差在国外的职员。先是负责照料在阿富汗喀布尔的西门子公司职员，后来负责照料关押在印度拘留营里的西门子公司职工，代这些职工保持与总公司的联系。