1938年的新年,难民收容所的难民们在约翰·拉贝宅邸的院子里排队向拉贝三鞠躬,献给他一块写着“您是几十万人的活菩萨”的大红绸布。同年2月拉贝离开南京,南京安全区国际委员会对拉贝给予了高度评价,中国国民政府授予拉贝三色彩玉勋章,编号98。
1938年2月22日,约翰·拉贝奉西门子公司之命离开南京,返回德国。回国后,德国国务秘书、大区党部领导人授予约翰·拉贝一枚红十字勋章,在斯图加特约翰·拉贝还被授予国外德侨银质奖章。在柏林,他在西门子总厂任远东人事部长。
在5月2日至25日的二十多天中,约翰·拉贝连续举行五场演讲,向人民展示有关证据,揭露日军在南京的暴行, 6月8日,写信给希特勒,提交关于南京大屠杀的报告,但报告当时没有公开。之后,他甚至一度被盖世太保逮捕,同时带走了6本日记和约翰·马吉拍摄的影片胶卷。 战争期间,约翰·拉贝工作是照料西门子公司出差在国外的职员。先是负责照料在阿富汗喀布尔的西门子公司职员,后来负责照料关押在印度拘留营里的西门子公司职工,代这些职工保持与总公司的联系。