Die Altstadt von Xanthi, die sich im nördlichen Teil der Stadt befindet, bildet den historischen Kern der Stadt und erstreckt sich über eine Fläche von 380.000 m². Die Stadt wurde nach den verheerenden Erdbeben von 1829, bei denen die ursprüngliche Siedlung zerstört wurde, wieder aufgebaut. Die Stadt wurde auf ihren Ruinen erbaut und entwickelte sich rund um ihre Kirchen, von denen einige auf das byzantinische Xanthia, wie Xanthi in der Antike genannt wurde, zurückgehen. Im 19. Jahrhundert erlebte Xanthi einen wirtschaftlichen Aufschwung, der durch den Tabakhandel und die strategische Lage der Stadt an wichtigen Handelswegen begünstigt wurde. Die Altstadt ist ein Labyrinth aus gepflasterten Gassen mit einer Mischung aus folkloristischen Balkanhäusern, Gasthäusern, Geschäften, spätosmanischen Kirchen und eleganten neoklassizistischen Villen, die von wohlhabenden Tabakhändlern erbaut wurden. Die Stadt wurde von Handwerkern aus Epirus und Mazedonien erbaut und zeichnet sich durch ihre labyrinthartigen Kopfsteinpflastergassen aus. Sie ist voll von traditionellen Häusern im Balkanstil, Gasthäusern, Geschäften, typischen Kirchen aus der spätosmanischen Zeit und westlich geprägten neoklassizistischen Villen, die meist Tabakhändlern gehören.