Школы начали открываться в Сумах практически сразу после основания города. Уже в 1732 г., исходя из данных городских ведомостей, было пять школ, в которых обучение вели 12 учителей и помощники-дьячки.
На украинском языке преподавалась грамматика, письмо и пение. Это сейчас школа воспринимается как детское учебное заведение, а в то время в школах наравне с детьми учились и взрослые.

В 1767 г. группа дворян обратилась к российскому правительству с ходатайством об учреждении в Сумах университета для дворян и школы для разночинцев. К сожалению, просьба не была удовлетворена.

23 июня 1790 г. в Сумах была открыта двухклассная казенная школа (малое народное училище). Здесь в основном обучались дети дворян и чиновников, отпрысков купцов и мещан можно было пересчитать по пальцам. В одном и том же классе за партами сидели дети разного возраста — от 7 до 17 лет. Их обучали Закону Божьему, русскому языку, арифметике и рисованию.

Ежегодно на содержание училища выделялось 1500 руб. ассигнациями, но фактически оно содержалось за счет общественных средств. Но даже общей суммы катастрофически не хватало на более-менее приличное существование. У училища даже не было собственного помещения, и оно постоянно кочевало по маленьким убогим квартиркам. Ученикам приходилось постигать науку в ужасных условиях: теснота, холод, плохое освещение, отсутствие элементарных удобств. Однажды в народном училище даже случился пожар.

Но лучшие времена все же наступили. В 1805 г. народное училище перешло в ведение Харьковского университета, а в следующем году получило статус уездного.

За 15 лет уездное училище совершенно преобразилось. В начале XIX в. оно было признано одним из лучших учебных заведений в Харьковской губернии по внутреннему порядку, качеству преподавания и успехам учеников.

В 1834 г. на базе подготовительного класса уездного училища было создано Сумское парафияльное училище, в котором в 1835–1862 гг. обучался 851 человек, причем более половины учеников составляли девочки.

Начальное образование дети получали также в частных школах, которые содержали дьяконы, дьячки и псаломщики. В середине XIX в. действовало пять таких школ. Самой популярной среди них была школа дьякона Покровской церкви БУТСКОГО, ежегодно обучавшая по 40–50 детей. И если обучение в парафияльном училище было бесплатным, то в уездном годовая оплата составляла 5 рублей, а в частных школах и того дороже — 10–15 руб.

К середине XIX в. в Сумах действовали уездное, парафияльное и женское училища, частный пансион для девочек, немецкая и сельская школы.