马氏链例题讲解.doc

随机过程中关于马尔科夫链的一些例题，过程很详细； 举例：1、 每天早上张三都要出门跑步，张三的家有前后两个门，门口都有一些鞋，两个门口鞋的数目之和为 。张三出门时，如果门口有鞋时则穿上，如果没有，就只好光脚跑了；跑步回来进门时，如果穿着鞋，则将鞋脱下放在门口。假定张三出门时选择前后门的概率相同，回家时也同样。试将此情况提炼成一马氏链，并请计算充分长时间以后，张三出门时不幸要光脚跑步的概率。