Ta có \(\overrightarrow {AB} = \left( {1;1;1} \right),\overrightarrow {AD} = \left( {0; - 1;0} \right),\overrightarrow n = \left[ {\overrightarrow {AB} ,\overrightarrow {AD} } \right] = \left( {1;0; - 1} \right)\).

Mặt phẳng \(\left( {ABD} \right)\) đi qua \(A\left( {1;0;1} \right)\) và nhận vectơ \(\overrightarrow n = \left( {1;0; - 1} \right)\)làm vectơ pháp tuyến có dạng

\(\left( {x - 1} \right) - \left( {z - 1} \right) = 0\) hay \(x - z = 0\).

Chiều cao của hình hộp \(ABCD.A'B'C'D'\) chính là \(d\left( {C',\left( {ABD} \right)} \right)\).

Ta có \(d\left( {C',\left( {ABD} \right)} \right) = \frac{{\left| {4 - \left( { - 5} \right)} \right|}}{{\sqrt 2 }} = \frac{{9\sqrt 2 }}{2}\). Suy ra \(a = 9;b = 2\).

Vậy \(ab = 18\).