Để tính khoảng cách giữa hai đường thẳng AC và SM, ta cần tìm vector pháp tuyến của mỗi đường thẳng.

Đường thẳng AC là đường thẳng đi qua hai điểm A và C. Vì tam giác ABC là tam giác vuông cân tại A, nên đường thẳng AC là đường thẳng đối xứng qua trục đứng của mặt phẳng (ABC) (gọi là đường thẳng d). Do đó, vector pháp tuyến của đường thẳng AC cũng là vector pháp tuyến của mặt phẳng (ABC), và nó vuông góc với đường thẳng SM.

Để tìm vector pháp tuyến của mặt phẳng (ABC), ta cần tìm hai vector chỉ phương của hai đường thẳng AB và AC.

Vector chỉ phương của đường thẳng AB là vector AB. Vì tam giác ABC là tam giác vuông cân tại A, nên vector AB cũng là vector chỉ phương của đường thẳng AC. Ta có:

AB = B - A = (0 - a) i + (0 - 0) j + (0 - 0) k = -a i

Vector chỉ phương của đường thẳng AC là vector AC. Ta có:

AC = C - A = (0 - 0) i + (0 - a) j + (0 - 0) k = -a j

Vậy, vector pháp tuyến của mặt phẳng (ABC) là tích vector của hai vector chỉ phương AB và AC:

n = AB x AC = (-a i) x (-a j) = a^2 k

Do đó, vector pháp tuyến của đường thẳng AC cũng là vector pháp tuyến của mặt phẳng (ABC), và nó có dạng a^2 k.

Đường thẳng SM là đường thẳng đi qua hai điểm S và M. Ta có:

S = (0, 0, a√3)
M = (0, b/2, 0)

Vector chỉ phương của đường thẳng SM là vector SM. Ta có:

SM = M - S = (0 - 0) i + (b/2 - 0) j + (0 - a√3) k = (b/2) j - a√3 k

Vậy, vector pháp tuyến của đường thẳng SM có dạng (b/2) j - a√3 k.

Khoảng cách giữa hai đường thẳng AC và SM là khoảng cách giữa hai điểm S và AC. Ta có:

d = |(S - A) · n| / |n|

Trong đó, · là phép nhân vector, | | là độ dài vector.

Thay các giá trị vào công thức, ta có:

d = |(0, 0, a√3) · a^2 k| / |a^2 k|

= |0 + 0 + a^3√3| / |a^2 k|

= a^3√3 / a^2

= a√3

Vậy, khoảng cách giữa hai đường thẳng AC và SM là a√3.