a) Ta có:

Kẻ AH là chiều cao của tam giác ABC

Lúc này, AH = \(\sqrt {A{C^2} - H{C^2}} \) = \(\sqrt {25 - {{\left( {\frac{x}{2}} \right)}^2}} \) = \(\frac{1}{2}\sqrt {100 - {x^2}} \).

Diện tích tam giác ABC là:

S_∆ABC = \(\frac{1}{2}\)BC. AH = \(\frac{1}{2}\)x\(\frac{1}{2}\sqrt {100 - {x^2}} \) = \(\frac{1}{4}x\sqrt {100 - {x^2}} \).

Thể tích khối lăng trụ là:

V = S_∆ABC. AA' = 5x\(\sqrt {100 - {x^2}} \) (m³) với 0 < x < 10.

b) Xét hàm số thể tích f(x) = 5x\(\sqrt {100 - {x^2}} \) trên khoảng (0; 10).

Ta có: f'(x) = 5\(\sqrt {100 - {x^2}} \) + 5x.\(\frac{{ - 2x}}{{2\sqrt {100 - {x^2}} }}\) = \(\frac}{{\sqrt {100 - {x^2}} }}\);

           f'(x) = 0 ⇔ x = \(5\sqrt 2 \) (x > 0).

Bảng biến thiên:

Vậy hình lăng trụ có thể tích lớn nhất khi x = \(5\sqrt 2 \) (m).

Vậy \(\mathop {\max }\limits_{x \in (0;10)} V = V\left( {5\sqrt 2 } \right) = 250\)(m³).