Вы серьёзно? Слушайте, если у вас на глазах вашему близкому человеку проломят голову насмерть, а потом он внезапно обернётся какой-то живой тенью вы во что больше поверите (ну кроме очевидного варианта, что у вас глюки) - что это ваш близкий человек или это кто-то кто им притворяется?
А после этого он с ними вообще не взаимодействовал вплоть до текущей арки. В которой они действуют вместе по вполне рациональной причине - Кагемори очень сильные союзники.
Ну да, за время одиночного блуждания по горам он привык доверять своему чутью. Ему потом Хана наглядно показала, чем это чревато. Но с точки зрения того момента он поступил вполне резонно: понял, что Дзин и его сотоварищи вреда ему причинять не собираются, сложил это со словами Асы, что она пришла вытащить его из деревни и будучи уверен в своих боевых навыках и силе Стражей решил не нагнетать.