В 1928 г. на территории Цзинаня были обнаружены остатки неолитической культуры Луншань, возникшей 5 тыс. лет назад. Нынешнее название города появилось в первые годы династии Западная Хань, когда здесь был основан округ.
