宣帝方以为贺不足忧，下诏封贺为海昏侯，食邑四千户。海昏属豫章郡，在昌邑东面，贺奉诏移居后，昏愚如故。侍中金安上奏白宣帝，斥贺荒废无道，不宜使奉宗庙，宣帝乃但使贺得食租税，不准预闻朝廷典礼。已而扬州刺史柯，又复奏称贺有异志，与故太守卒吏孙万世交通。万世咎贺不杀大将军，听人夺去玺绶，实属失策，且劝贺谋为豫章王。贺亦自悔前误，意欲自立为王等情。宣帝虽将原奏发交有司，心中已知贺无才力，不能起事，所以有司复奏，请即逮捕，有诏谓不屑究治，只削夺贺邑三千户。贺入不敷出，未免忧愁，往往驾舟浮江，至赣水口愤慨而还，后人称为慨口。未几贺即病死。豫章太守一面报丧，一面上言贺尝暴乱，不当立后，宣帝因除国为县。后来元帝嗣位，始封贺子代宗为海昏侯，即得传了好几世。小子有诗叹道：
荒淫酒色太神昏，狂悖何能望久存，
多少废王捐首去，得全腰领尚蒙恩。