历史上的桃花江是一个散发着神奇色彩的地理品牌。说她神奇，因为她蕴涵着一个美丽的传说。相传，距桃花江镇30余公里的杨柳溪有座子良岩，是刘宋时潘子良求仙炼丹处，岩上有一汪清泉。有一天，桃花仙子出游至此，以泉为镜，顾盼梳妆，临走仍依依不舍，便取下桃花头簪，抛入泉中。岂料平静的泉水立即沸腾起来，涌现朵朵桃花，泉水溢处，汇成一条花的溪流。另据旧志载：“子良岩，上有桃花井，旧时往往有桃花出水面。”据此，1966年，桃江县在杨柳溪修建水库时，遂将水库定名为桃花江水库，约定俗成，杨柳溪就演变成了今天的桃花江。据考，桃花江有着悠久的历史，5000多年前的龙山文化时期就有先民在这里繁衍生息。县城桃花江镇在唐宋以至明代因古驿道得名望浮驿，“望浮驿的名称久废，明清以后称桃花驿，桃花驿规模颇大，至清康熙年间，仍有马棚十二间，马六十三匹，人员一百人。”（《桃江县志》），后一个时期，又因弄溪在此合杨柳溪入资水，两岸街市增夹峙如巷，曾称弄镇（见《元丰九域志》）。至晚清民初，又称桃花江市、桃花港。1951年9月建县时谓之城关镇，民间俗称桃江镇。

除了县城，其他被冠以桃花江之名的地理概念还有：桃花江、桃花湖、桃花江森林公园、桃花江竹海……“桃花江是美人窝，桃花千万朵，比不上美人多……”由此观之，这个窝是一个很广的地域范围，她泛指今天桃江县域全境。相比较而言长江是一个更广的地域名称，在她流经江苏扬州段后，人们因长江生活着扬子鳄而亲切地改称扬子江。桃花江的得名如出一辙，《中国名胜词典》在注解桃花江时就有将资水桃江段称之为桃花江一说。在民间，桃花江人又将杨柳溪下游称为獭溪。据清同治《益阳县志》载：“黄獭港，治西南六十里，西溪之侧，东入桃花港，小涧在西溪之东，桃花江之西，源浅而流短。旧志不著，桃花港而以黄獭港为通名失之。”可见獭溪与杨柳溪实为二溪，均在桃花港相汇，现黄獭港无存，獭溪之名沿用这今。该志又载：“桃花江，资水所过之名。桃花港，杨柳溪尾之名，在桃谷山西盖缘山为号，江又缘港为号也。”时至今日，土生土长的桃花江人仍称杨柳溪为獭溪河或小河，资水为大河，在他们的潜意识里，两条河均是桃花江——他们生长的地方，只是有大小之别。