До XV века район улицы Воронцово поле почти сплошь был покрыт лесом , лишь вблизи от устья Яузы его пересекала дорога на Владимир. А выше, над крутым северным берегом Яузы уже в XIVвека стояло село бояр Воронцовых – Вельяминовых, один из которых Николай Воронец приходился свояком великому князю Дмитрию Донскому.
В конце XV века село уже принадлежало Ивану III, устроившему здесь свою усадьбу. Здесь он разбил сад, который находился на месте нынешнего большого квартала между Подсосенским переулком и бульваром, поэтому тут же образовалась небольшая Садовая слобода. От села же к началу XVII века осталось лишь принадлежавшее ему поле, и дорога из города, мимо старой усадьбы стала улицей Воронцово поле.