Để giải bài toán này, ta cần đi qua một số bước cụ thể như sau:

1. **Thay thế y bằng x**: Từ phương trình \(5x + y = 4\), ta có thể viết \(y = 4 - 5x\).

2. **Thay vào phương trình log**: Thay giá trị của \(y\) vào phương trình log:
\[
\log_{x+y} \left(\frac{x^2 + 2y + m}{x+y}\right) + x^2 - 3x - y + m - 1 = 0
\]

Khi đã thay vào, ta cần tính \(x + y = x + (4 - 5x) = 4 - 4x\).

Phương trình trở thành:
\[
\log_{4 - 4x} \left(\frac{x^2 + 2(4 - 5x) + m}{4 - 4x}\right) + x^2 - 3x - (4 - 5x) + m - 1 = 0
\]

3. **Thay \(y\) và sắp xếp lại**: Tìm giá trị tại đơn vị logarit để xác định điều kiện có nghiệm.

4. **Phân tích nghiệm**: Để phương trình có nghiệm, điều kiện của logarit cần thoả mãn.

5. **Tính giá trị m**: Dựa trên các điều kiện đã tìm ra, xác định giá trị các m nguyên và tính tổng.

Cuối cùng, từ các giá trị tìm được, cộng lại các giá trị nguyên được đưa ra và so sánh với các lựa chọn A, B, C, D để đưa ra đáp án đúng.

Kết quả là tổng giá trị nguyên của tham số \( m \) sẽ được tính rồi đưa ra đáp án cuối cùng.