具体情况具体分析。如果单位发生了问题，在社会面产生了一定的负面影响，必须追究单位负责人的责任。
例如，单位由于安全防火落实不到位引发火灾，领导必须受到责任追究，严重的可能降级处理，不涉及丢人。
如果因为个人原因，例如婚外情受到党纪政纪处分并降级，这是丢人的。
