以后便离开了岛原。还在忙着打扫战场的小笠原的家臣们，几乎没有人来为他送别。据说老武藏带着一个童子向血盆一样的落日走去，那样子多少有些孤独失落。后来，他曾有过一次机会，差点让筑前的黑田家以三千石雇佣，但藩中将领纷纷提出异议，这件事只好作罢了。再后来，宽永十七年（公元1640年），武藏得到了一个职位。肥后的细川家，俸禄只有十七人粮饷，现米三百石。但是藩主细川忠利将给武藏的施舍米特意称为“忍耐粮”，还给他宅地，并允许他用鹰猎鸟。与俸禄相比，给了他特殊的待遇。然而，这位细川忠利，在次年三月便去世了。