出典 は列挙するだけでなく、脚注 などを用いてどの記述の情報源であるかを明記 してください。記事の信頼性向上 にご協力をお願いいたします。（2018年1月 ）
マルコフ再生過程 （英 : Markov renewal process; MRP ）は、確率過程 の一つであり、ジャンプ型マルコフ過程（Markov jump process）の考え方を一般化したものである。マルコフ連鎖 やポアソン点過程 （英語版 ） 再生過程 （英語版 ）
マルコフ再生過程の実例 状態空間を S {\displaystyle \mathrm {S} } T {\displaystyle \mathrm {T} } { ( X n , T n ) ∈ S × T } n ≥ 0 {\displaystyle \{(X_{n},T_{n})\in \mathrm {S} \times \mathrm {T} \}_{n\geq 0}} T n {\displaystyle T_{n}} X n {\displaystyle X_{n}} マルコフ連鎖 の状態である (図を参照）。また、到着間時刻 (inter-arrival time) を τ n = T n − T n − 1 {\displaystyle \tau _{n}=T_{n}-T_{n-1}} { ( X n , T n ) } n ≥ 0 {\displaystyle \{(X_{n},T_{n})\}_{n\geq 0}}
Pr ( τ n + 1 ≤ t , X n + 1 = j ∣ ( X 0 , T 0 ) , ( X 1 , T 1 ) , … , ( X n = i , T n ) ) = Pr ( τ n + 1 ≤ t , X n + 1 = j ∣ X n = i ) ∀ n ≥ 1 , t ≥ 0 , i , j ∈ S {\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\quad \forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}} 準マルコフ過程 [ 編集 ] t ∈ [ T n , T n + 1 ) {\displaystyle t\in [T_{n},T_{n+1})} Y t := X n {\displaystyle Y_{t}:=X_{n}} Y t {\displaystyle Y_{t}} 準マルコフ過程 (semi-Markov process) と呼ばれる確率過程となる。MRP と準マルコフ過程の違いは、前者は状態と時刻の組で定義されるのに対し、後者は時間発展する実際の時系列の確率過程であり、実現値が任意の時刻における状態の値として定義される点である。
この確率過程は全体を見ればマルコフ性 を持たない（すなわち無記憶性を持たない）が、ジャンプする瞬間に限りマルコフ性を持つ。これが準 マルコフという名前の理論的根拠である。隠れ準マルコフモデル （英語版 ）
（上に定義した）準マルコフ過程のうち、保持時間 (holding time) が指数分布で表されるものを連続時間マルコフ連鎖、または連続時間マルコフ過程 (continuous-time Markov chain/process; CTMC) と呼ぶ。言い換えると、到着間時間が指数分布に従い、かつある状態における待ち時間 (waiting time) と次に遷移する状態が独立であれば準マルコフ過程は CTMC となる。
Pr ( τ n + 1 ≤ t , X n + 1 = j ∣ ( X 0 , T 0 ) , … , ( X n , T n ) ) = Pr ( X n + 1 = j ∣ X n = i ) ( 1 − e − λ i t ) , ∀ n ≥ 1 , t ≥ 0 , i , j ∈ S {\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),\ldots ,(X_{n},T_{n}))\\&\quad =\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),\quad \forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}} 他の確率過程との関係 [ 編集 ] 系列 { X n } n ≥ 0 {\displaystyle \{X_{n}\}_{n\geq 0}} Pr ( X n + 1 = j ∣ X 0 , … , X n = i ) = Pr ( X n + 1 = j ∣ X n = i ) , ∀ n ≥ 1 , i , j ∈ S {\displaystyle \Pr(X_{n+1}=j\mid X_{0},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i),\quad \forall n\geq 1,i,j\in \mathrm {S} } 系列 { τ n } n ≥ 0 {\displaystyle \{\tau _{n}\}_{n\geq 0}} 独立かつ同一の分布 に従い、かつそれらの分布が状態 X n {\displaystyle X_{n}} 再生過程 （英語版 ） Pr ( τ n + 1 ≤ t ∣ T 0 , … , T n ) = Pr ( τ n + 1 ≤ t ) , ∀ n ≥ 1 , t ≥ 0 {\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t),\quad \forall n\geq 1,t\geq 0} 参考文献 [ 編集 ] Medhi, J. (1982). Stochastic processes . New York: Wiley & Sons. ISBN 978-0-470-27000-4 Ross, Sheldon M. (1999). Stochastic processes. (2nd ed.). New York [u.a.]: Routledge.. ISBN 978-0-471-12062-9 Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Semi-Markov chains and hidden semi-Markov models toward applications : their use in reliability and DNA analysis . New York: Springer. ISBN 978-0-387-73171-1 
