应当起诉乡政府。因为受行政机关委托的组织作的具体行政行为，这种行为的基础是行政机关的委托授权，所以应当由委托的行政机关作为被告。如乡政府委托村委会管理计划生育工作，有权处罚超生的公民。如果被处罚的公民对该处罚决定不服而向人民法院提起行政诉讼，应当起诉乡政府。