По большому счету примерно так и есть.
То, что "вбилось в голову" в детстве, в том числе и морфологические особенности языка, переходит почти что в разряд веры.
И если читаешь старое издание какой-либо книги и видишь "чорт", а не "чёрт", то это режет глаза.
С "кофе" то же самое. Ну режет глаз и слух, когда это слово употребляют в среднем роде. Хотя чисто формально с недавних пор можно  |
Суть вопроса не в слове КОФЕ.
А в правиле или принципе интерпретации заимствованных слов.
И никто, как оказывается не понимает сего момента.
Если это вера - следует зафиксировать сие исключение. Это нормально.
Английский, например, вообще почти весь из исключений.
Если это эмпирика большинства - то нет смысла этого стесняться.
Кому режет глаз? Привычка?
Ну, некоторые оттопырив пальчик за чашкой кофе, успевают свой Гондурас почесать ... интуитивно ...
Мы же отличаемся от них, надо же понимать суть вопроса, чтобы не опускаться до их уровня.