Gọi số thợ xây dựng ban đầu là \( x \).

Năng suất của mỗi người thợ là như nhau, nên tổng năng suất của đội thợ là \( x \) thợ × \( N \) ngày (trong đó \( N \) là năng suất của mỗi người trong 1 ngày).

Thời gian dự kiến là 20 ngày:
\[ \text{Tổng công việc} = x \times 20 \]

Sau khi giảm 20 người, số thợ còn lại là \( x - 20 \) người, và thời gian hoàn thành là 30 ngày (20 ngày + 10 ngày trễ):
\[ \text{Công việc hoàn thành} = (x - 20) \times 30 \]

Ta có phương trình:
\[ x \times 20 = (x - 20) \times 30 \]

Mở rộng phương trình:
\[ 20x = 30x - 600 \]

Giải phương trình:
\[ 600 = 30x - 20x \]
\[ 600 = 10x \]
\[ x = 60 \]

Vậy số thợ xây dựng trong đội lúc đầu là **60 người**.