Да, такое происходит даже при использовании разных приложений на разных телефонах. 

Или может быть есть какая-то неочевидная возможность использовать одно устройство на двух аккаунтах? 

Основной вопрос в том, что после логина на одном телефоне в пушах оказывается он, а после входа на втором - в пушах оказывается только второй телефон. После следующего входа на первом - первый. После следующего входа на втором - второй. Как сделать так, чтобы в пушах были оба телефона? 

Да, именно, приложение выходит из аккаунта и просит заново ввести пароль.