Разумеется, невозможно.
Ответственность брокера установлена пунктом 1 статьи 320.
Пункт 4 говорит об ответственности "лиц...".

P.S. В соответствии с определением, данным в статье 11 ТК РФ "лица - юридические и физические лица, если иное не вытекает из настоящего Кодекса". Определение таможенного брокера установлено этой же статьей ТК: "таможенный брокер - посредник, совершающий таможенные операции от имени и по поручению декларанта или иного лица, на которого возложена обязанность или которому предоставлено право совершать таможенные операции в соответствии с настоящим Кодексом".
Следовательно, таможенный брокер не входит в перечень "лиц" (в том числе и перечисленных в п.4 ст.320).