Ta có: y=x3−3x2+m=(x3−3x2+m)2⇒y'=(x3−3x2+m)(3x2−6x)(x3−3x2+m)2.

Để đồ thị hàm số đã cho có 5 điểm cực trị khi và chỉ khi phương trình: y'=0 có 5 nghiệm phân biệt. Điều này tương đương với (x3−3x2+m)(3x2−6x)=0. Đặt g(x)=(x3−3x2+m)=0 phải có 3 nghiệm phân biệt khác 0 và 2.

Ta có: −x3+3x2=m, tức là ta cần đi tìm giá trị của m để đường thẳng y =m cắt đồ thị hàm số y=f(x)=−x3+3x2 tại 3 điểm phân biêt.

Do đó ta khảo sát hàm số f(x)=−x3+3x2 thì ta có được: −4+m<0

Vậy S={1;2;3},tổng tất cả các giá trị của S là 6.