Ngũ Phương tập cách Ngọc Hoa thành một trăm tám mươi dặm, bên trái tựa vào Chử Tú phong, bên phải giáp Vị Ương hà, vốn là một yếu đạo thông thương bốn phương.
Thuở ban đầu, nơi đây chỉ là chỗ để các thương nhân giang hồ tụ hội, trao đổi hàng hóa với nhau.
Thời gian trôi qua, dần dần có người chọn nơi này làm điểm hẹn, lâu ngày tạo thành một khu chợ mua bán sầm uất.
Sau khi Phương thị nhất tộc dời đến Trung Vực, đã chọn Ngũ Phương tập làm nơi an cư lập nghiệp.
Hơn ba trăm năm qua, nơi đây sớm đã được gầy dựng thành một tòa trọng trấn hùng vĩ. Bốn bề tường thành cao ngất, chia lập bốn cổng thành, bên trên ngày đêm có người tuần tra canh gác.