法律解析：
是的，按照法律规定，只要是行政机关作出行政处罚都要出具处罚决定书。
【法律依据】:
《中华人民共和国治安管理处罚法》 第九十六条 公安机关作出治安管理处罚决定的，应当制作治安管理处罚决定书。决定书应当载明下列内容：
（一）被处罚人的姓名、性别、年龄、身份证件的名称和号码、住址；
（二）违法事实和证据；
（三）处罚的种类和依据；
（四）处罚的执行方式和期限；
（五）对处罚决定不服，申请行政复议、提起行政诉讼的途径和期限；
（六）作出处罚决定的公安机关的名称和作出决定的日期。
决定书应当由作出处罚决定的公安机关加盖印章。