یک ماتریس مارکوف (نام‌های زیادی برای این مفهوم به کار رفته‌است همانند stochastic matrix که ترجمهٔ فارسی‌اش را ماتریس تصادفی کرده‌اند ولی ابهام‌زا است و بیشتر مناسب برای ماتریسی با درایه‌های تصادفی‌است، بنابراین من از Markov matrix استفاده می‌کنم که هم رایج است و هم ابهام‌زا نیست)، ماتریس مربعی‌است با درایه‌های حقیقی نامنفی. پس هر ماتریسی که مربعی باشد و درایه‌هایش عددهای حقیقی مثبت یا صفر باشند یک ماتریس مارکوف است. اکنون یک ماتریس را ماتریس مارکوف منظم می‌نامند اگر یک ماتریس مارکوف باشد و یک توان از آن یافت شود که همهٔ درایه‌هایش مثبت اکید باشند. آشکارا اگر ماتریس مارکوفتان درایهٔ صفر نداشته باشد توان یک آن شرط منظم بودن را برایش فراهم می‌کند. اکنون دو ماتریس مارکوف زیر را در نظر بگیرید:
A=\begin{bmatrix}1 & 1\\ 0 & 1\end{bmatrix},\quad B=\begin{bmatrix}0 & 1\\ 1 & 1\end{bmatrix}
برای ماتریس
A توجه کنید که
\forall n\in\mathbb{N}\colon A^n=\begin{bmatrix}1 & n\\ 0 & 1\end{bmatrix}
پس
A مارکوف منظم نیست. اما برای ماتریس
B داریم
B^2=\begin{bmatrix}1 & 1\\ 1 & 2\end{bmatrix}
پس
B مارکوف منظم است.
اینک به سراغ پرسش شما برویم. قرار دهید
\forall m\in\mathbb{N}\colon C_m=\begin{bmatrix}1 & 0\\ 1-(\tfrac{1}{2})^m & (\tfrac{1}{2})^m\end{bmatrix}
ضرب دو ماتریس مربعی که هر دو درایهٔ سطر نخست-ستون دومشان صفر است، دارای درایهٔ سطر نخست-ستون دومِ صفر است که مستقیم با یک مرحله ثابت می‌شود.
\begin{bmatrix}a_{11} & 0\\ a_{21} & a_{22}\end{bmatrix}\begin{bmatrix}b_{11} & 0 \\ b_{21} & b_{22}\end{bmatrix}=\begin{bmatrix}a_{11}b_{11} & 0\\ a_{21}b_{11}+a_{22}b_{21} & a_{22}b_{22}\end{bmatrix}
عدد طبیعی
m را دلخواه انتخاب و ثابت بگیرید.
C_m^2 بنا به چیزی که ثابت کردیم دارای درایهٔ
(1,2)اُم صفر است. فرض کنید برای
C_m^{n-1} نیز برقرار باشد. آنگاه چون
C_m^n=C_m^{n-1}C_m دوباره بنا به چیزی که ثابت کردیم، این توان از ماتریس
C_m نیز دارای درایهٔ
(1,2)اُم صفر است. پس با استقرای ریاضی ثابت کردیم که برای هر n طبیعی ماتریس
C_m^n دارای درایهٔ صفر است و چون
m دلخواه بود، هیچ یک از
C_mها مارکوف منظم نیستند.
