Phương pháp suy luận của Holmes thường là đi từ những chứng cứ quan sát được đến ý nghĩa của những chứng cứ đó, tức là "Nếu có A thì có B". Ví dụ trong truyện ngắn Vụ tai tiếng xứ Bohemia, sau khi nhìn thấy Watson, Holmes suy luận được rằng ông này mới bị ướt sũng và có một cô hầu gái vụng về và bất cẩn nhất trên đời, ông giải thích cho lập luận của mình như sau:

- Phía bên trong lớp da chiếc giầy bên trái của bác sĩ Watson có sáu vết xước gần như song song. Rõ ràng là những vết xước đó gây ra do một người bất cẩn khi chà xát xung quanh mép gót giầy để lau bùn.

- Người lau giầy cho bác sĩ chỉ có thể là người hầu gái của ông.

- Người lau bùn mà để lại những vết xước như vậy hẳn phải là người bất cẩn và vụng về.

- Đôi giày có nhiều bùn đến mức phải lau như vậy chỉ có thể là người mang nó vừa phải đi trong thời tiết giá lạnh và ẩm ướt.

Ở đây "A" là những vết xước nhìn thấy trên đôi giày của bác sĩ Watson, còn "B" là việc ông này bị ướt và người hầu gái bất cẩn.

Sự thành công trong suy luận của Holmes cũng còn do ông có phương pháp nghiên cứu hiện trường vụ án rất khoa học và cẩn thận, và do ông rất am hiểu những lĩnh vực liên quan như pháp y hay chất độc. Theo Holmes, những kết luận logic của ông thực ra là "đơn giản" và "hiển nhiên". Điều quan trọng trong những suy luận của Holmes là phải triệt tiêu được càng nhiều khả năng xảy ra càng tốt. Bác sĩ Watson đôi khi cũng thử áp dụng phương pháp này nhưng ông thường sai trong hầu hết các trường hợp.