Dla formalności spytam czy nie masz jakiś podejrzanych ustawień we właściwościach klawiatury w menedżerze ustawień xfce. Ewentualnie czy próbowałeś coś zmieniać w ostatniej karcie tych właściwości zatytułowanej "Layouts".  Jeżeli nie masz zaznaczonej opcji "Use X configuration" to zaznacz ją.
Jeżeli to nie pomoże, to podaj zawartość pliku /etc/X11/xorg.conf w sekcji zatytułowanej "InputDevice". Choć jeśli w GNOME jest wszystko w porządku, to raczej w tym pliku wszystko powinno być dobrze.
Na więcej porad nie pozwala mi niestety moja skromna wiedza na ten temat