Учёт - не упрощенный, т.е. со снятой галкой "принимать исчисленный к учету как удержанный".

1. В 2011 году у сотрудника возникла переплата за тот же 2011 год, например, из-за перерасчета из-за вычетов или ещё чего.
2. В 2012 году возвращаем эту переплату сотруднику.
3. После чего платежные документы будут удерживать НДФЛ, дажи при отсутствии сальдо.

По мне так серьёзная ошибка, или всё таки лыжи не едут?

у меня воспроизводится на демо 2.57.1-2.59.2

А как должно быть?

Ну было у тебя у сотрудника по НДФЛ за 2011 такая картина:

Месяц    Исчислено Удержано
---------------------------
ноябрь   100       100
декабрь -100       0

В январе 2012 оформляем "Возврат НДФЛ" получаем:
Месяц    Исчислено Удержано Возвращено
--------------------------------------
ноябрь   100       100       0
декабрь -100       0         100

Всё хорошо, до тех пор пока не будет выплаты.
После первой платежки:
Месяц    Исчислено Удержано Возвращено
--------------------------------------
ноябрь   100       100       0
декабрь -100       100 (!)   100

После второй:
После первой платежки:
Месяц    Исчислено Удержано Возвращено
--------------------------------------
ноябрь   100       100       0
декабрь -100       200 (!)   100

и т.д.