Накануне вербного воскресенья в Санкт-Петербурге выступал известный пианист Тальберг. Баронесса поехала на концерт одна, поскольку сам Деллинсгаузен был занят по службе. После концерта случилась ссора между полицией и людьми Деллингсгаузенов, в частности, юный форейтор, совсем еще мальчишка, 12-13 лет, ударил по руке жандарма, пытавшегося остановить лошадей. Это, конечно, стало настоящим преступлением и на следующий день кучер и форейтор были арестованы. Фрау Деллинсгаузен разнервничалась и упросила мужа постоять за своих людей и написать генерал-адьютанту Кокошкину с тем, чтобы уладить это дело, поскольку виновник всего лишь мальчишка и что людей накажут сами. Дело казалось уже улаженным, но, увы, это было не так.
Оберполицмейстер в своем еженедельном докладе императору представил эту историю в самых зловещих тонах и на пасху произошла следующая драма. Император, который имел привычку после пасхального молебна в церкви целовать людей из своего окружения со словами Христос воскрес, сначала поцеловал членов своей семьи, затем подошла очередь его приближенных. Церковь была переполнена, поскольку посмотреть на этот ритуал, собиралось множество народу. Барон Деллинсгаузен по своему рангу был 3 или 4, кому полагалось получить царский поцелуй. Каково же было всеобщее изумление, когда император, поцеловав барона, вдруг придержал его за локоть и произнес: Есть еще одно дело, с которым нам с вами нужно разобраться, мой генерал... Случай был беспрецедентный, Деллинсгаузен покинул церковь и уехал к себе, сказавшись больным. На следующий день на семейный ужин Деллинсгаузенов прибыл граф Ламсдорф и передал барону следующее: Его Величество император поручил мне высказать вам свою благодарность за вашу службу, он в высшей степени удовлетворен.
Больше Деллинсгаузен и император не встречались и не разговаривали. Барон вскоре подал в отставку и, получив высокий орден, покинул Санкт-Петербург. Перед отъездом он хотел получить аудиенцию у императора, но ему было отказано. Император, якобы, при этом сказал следующее: Я бываю жесток и у Деллинсгаузена взрывной характер, нам лучше не встречаться... Последние годы жизни Деллинсгаузен провел в имении Каттентак (Ааспере).
