Улица Сумская — ровесница города. В XVII — XVIII веках она была намного короче, чем сейчас, и заканчивалась возле нынешней Театральной площади. Там высился защитный земляной вал, от которого шла дорога на Сумы.
Интенсивная застройка Сумской началась в середине XIX века, когда между Харьковом и Курском стали прокладывать шоссе. Пассажиры почтовых экипажей на выезде из Харькова лицезрели типичный провинциальный пейзаж: ветхие мазанки, крытые соломой, винные лавки вдоль обочины... Такая картина совсем не соответствовала статусу губернского города, поэтому архитектурный облик улицы решили «окультурить». С 1831 года на Сумской разрешалось строить исключительно каменные здания и только по «образцовым» проектам, добро на которые давал специальный комитет. Благодаря таким жестким мерам городских властей уже в начале XX века улица превратилась в своеобразный музей архитектуры под открытым небом. Экскурсию по этой уникальной экспозиции лучше начать на площади Конституции, возле станции метро «Исторический музей».
Первый «экспонат» — здание в стиле модерн по улице Сумской, 1. Четырехэтажный дом построили в 1910 году для Русско-Азиатского банка. Здесь также находились Высшие женские медицинские курсы (позже — мединститут). Пятый этаж был достроен в 1925—1926 годах. И довольно удачно: здание не потеряло своего «лица». В наши дни его главная примета — гигантский градусник на фасаде со стороны площади Конституции. Это популярное место встреч и свиданий харьковчан и гостей города.

Трехэтажный дом по улице Сумской, 2 был возведен в конце XIX века в стиле французского ренессанса. Рядом с ним под номерами 4 и 6 возвышаются его ровесники. Губернский архитектор Борис Покровский при строительстве этих зданий использовал элементы неоренессанса и необарокко. Позже другой зодчий, Борис Корнеенко, придал дому № 6 более современный вид в духе модерна.

На противоположной стороне улицы (Сумская, 5) находится бывший доходный дом богатого харьковского киномана Дмитрия Харитонова. В этом здании, возведенном в 1913 году, размещался один из самых знаменитых дореволюционных кинотеатров Харькова — «Ампиръ». Его достопримечательностью было красивое фойе, облицованное зеркалами. В советское время кинотеатр переименовали в «1-й Комсомольский», а фойе перестроили под второй зрительный зал. Несколько лет назад «1-й Комсомольский» закрыли.
Самой яркой архитектурной жемчужиной на этом участке улицы можно назвать здание Государственного академического украинского драматического театра им. Т. Г. Шевченко. Один из красивейших провинциальных театров дореволюционной России возвели в 1841 году по проекту первого городского зодчего Андрея Тона. Но через 50 лет каменное здание преобразилось до неузнаваемости — архитектор Болеслав Михаловс
кий внес в его облик черты французского ренессанса.
Напротив — небольшая, но уютная Театральная площадь, защищенная от городской суеты стройными рядами деревьев. Свое название она получила в 1816—1820 годах, когда на ее территории возвели деревянный театр — предшественник Театра Шевченко. В конце XIX столетия на площади разбили сквер, а в 1909 году установили памятник Николаю
Гоголю. С восточной стороны к ней примыкает площадь Поэзии, на которой установлен первый в Украине монумент великому русскому поэту Александру Пушкину (1904).
На углу площади Театральной и улицы Сумской расположено величественное здание Госбанка (1900). Первоначально дом в стиле флорентийского ренессанса был двухэтажным, но в 1932-м его надстроили архитекторы Алексей Бекетов и Владимир Пети. В наши дни здание принадлежит Харьковскому
филиалу Национального банка Украины.
На этой же стороне вверх по улице высится громада дома № 18—20. Сейчас здесь за партами сидят студенты радиотехнического техникума, а сто лет назад в здании заседал Совет съезда горнопромышленников Юга России. Об этом можно догадаться по скульптурным медальонам у центрального входа, на которых изображены шахтерские инструменты. Фасад строения (1902—1906) выполнен в модном в начале XX века стиле французского ренессанса. 
Немного дальше, на Сумской, 26, — очередная архитектурная изюминка: бывший доходный дом Лиорнице, иллюстрирующий стиль модерн. А ряд зданий через дорогу — это ожившая история зодчества и города.
В доме №13, построенном в конце XIX века, размещалась редакци
я «Южного края» — крупнейшей газеты Российской империи. А здание № 17 принадлежало страховому обществу «Саламандра». Если верить легенде, саламандра — маленькая ящерица, которая может выжить в огне. Именно поэтому она стала символом всероссийской компании, специализировавшейся на страховании от пожаров. Изображение этого животного можно увидеть на угловой части дома. Шестиэтажное строение с неоклассическим фасадом и монументально-декоративной скульптурой в античном стиле возвели в 1914—1915 годах. На то время здание было обустроено по последнему слову техники. В доме действовал лифт, мусоропровод, вентиляция. В 1928-м уникальный памятник архитектуры передали в жилой фонд — под коммуналки.

«Коммунальная» участь постигла и соседствующий с «Саламандрой» бывший доходный дом страхового общества «Жизнь» (Сумская, 19).
На углу с улицей Рымарской находится небольшой дом начала XX века. В январе 1905 года здесь, в аптеке на первом этаже, была явка большевиков.
Следующий квартал улицы совершенно не похож на предыдущие. Самое необычное здание на этом участке Сумской — Харьковский национальный академический театр оперы и балета им. Н. В. Лысенко, построенный в 1971—1990 годах в стиле постмодерн по проекту киевских архитекторов.
На противоположной стороне улицы расположен один из главных символов города — «Зеркальная с
труя». Белоснежная ажурная беседка в восточном стиле с фонтаном была установлена в сквере Победы в 1947 году.
Между примыкающими к Сумской улицами Совнаркомовской и Гиршмана находится здание бывшего Вечернего рабочего университета (1927). Сейчас в его стенах расположен Харьковский государственный технический университет строительства и архитектуры.
Возле центрального входа в вуз застыл в бронзе великий зодчий, создавший архитектурное «лицо» Первой столицы, — легендарный академик Алексей Бекетов. Монумент работы харьковского скульптора Сейфаддина Гурбанова установили здесь в 2007 году.
