Để tìm các kích thước tối ưu của bể cá bằng kính hình hộp chữ nhật không nắp, có đáy là hình vuông, với diện tích kính là 6 m² và dung tích lớn nhất, ta thực hiện theo các bước sau:

1. **Xác định các thông số**:
- Gọi chiều dài cạnh đáy là \( a \).
- Gọi chiều cao bể là \( h \).

2. **Diện tích mặt kính**:
Bể cá có 1 đáy và 4 mặt bên. Diện tích kính sẽ được tính như sau:
\[
S = a^2 + 4ah = 6 \quad (1)
\]

3. **Dung tích bể cá**:
Dung tích bể cá được tính bởi công thức:
\[
V = a^2h \quad (2)
\]

4. **Thay h vào biểu thức diện tích**:
Từ phương trình (1), ta có:
\[
4ah = 6 - a^2
\]
Từ đó, suy ra:
\[
h = \frac{6 - a^2}{4a} \quad (3)
\]

5. **Thay h vào công thức dung tích**:
Thay (3) vào (2):
\[
V = a^2 \left( \frac{6 - a^2}{4a} \right) = \frac{a(6 - a^2)}{4}
\]
Suy ra:
\[
V = \frac{6a - a^3}{4} \quad (4)
\]

6. **Tìm cực trị của V**:
Để tìm cực trị, ta lấy dérivatif theo a và đặt bằng 0:
\[
\frac{dV}{da} = \frac{6 - 3a^2}{4} = 0
\]
Giải phương trình trên:
\[
6 - 3a^2 = 0 \implies 3a^2 = 6 \implies a^2 = 2 \implies a = \sqrt{2}
\]

7. **Tính h**:
Thay \( a = \sqrt{2} \) vào (3):
\[
h = \frac{6 - (\sqrt{2})^2}{4\sqrt{2}} = \frac{6 - 2}{4\sqrt{2}} = \frac{4}{4\sqrt{2}} = \frac{1}{\sqrt{2}} = \frac{\sqrt{2}}{2}
\]

8. **Kết luận**:
- Chiều dài cạnh đáy \( a = \sqrt{2} \) m
- Chiều cao \( h = \frac{\sqrt{2}}{2} \) m

Như vậy, các kích thước của bể cá để dung tích lớn nhất là:
- Chiều dài cạnh đáy: \( \sqrt{2} \) m
- Chiều cao: \( \frac{\sqrt{2}}{2} \) m.