Colosseo bị cướp đá chủ yếu sau khi Đế chế La Mã sụp đổ, khi Roma bước vào thời kỳ Trung cổ. Khi đấu trường không còn được sử dụng cho các sự kiện giải trí nữa, nó trở thành nguồn cung cấp vật liệu xây dựng dễ tiếp cận.
Vào thời kỳ này, thành phố Roma cần xây dựng lại và mở rộng; nhiều tòa nhà mới, nhà thờ và cung điện được xây dựng. Đá từ Colosseo, gồm đá vôi, đá cẩm thạch và các vật liệu khác, đã bị lấy đi để sử dụng trong việc xây dựng những công trình mới. Thậm chí, một số phần của đấu trường còn bị tháo dỡ để tái sử dụng cho các dự án công trình nổi tiếng như Vương cung thánh đường San Pietro.
Ngoài ra, sự xuống cấp tự nhiên qua thời gian và các trận động đất đã khiến một phần của đấu trường bị hủy hoại, càng tạo điều kiện thuận lợi cho việc cướp đá. Việc này kéo dài suốt nhiều thế kỷ, cho đến khi Colosseo được công nhận là một di sản lịch sử cần được bảo tồn.
