Уистлер был сыном Джорджа Вашингтона Уистлера, инженера-железнодорожника, и Анны Мак-Нейл, набожной прихожанки епископальной церкви. В 1842 году семья выехала из Массачусетса в Россию, куда Джорджа пригласили, чтобы он принял участие в строительстве железной дороги Санкт-Петербург-Москва.