Gitois demandant un mot de passe

J'ai un NAS QNAP où j'ai installé Gitosis via Optware ipkg et ça fonctionne jusqu'à présent. Il fonctionne sous l'user 'git'. Le count d'administrateur a été initialisé avec la key publique de ma machine cliente comme ceci:

/opt/bin/gitosis-init < my-key.pub 

Mais chaque fois que je me connecte, il request le mot de passe et la connection réussit avec le mot de passe correct.

Dans ma configuration openssh, j'ai découvert ces lignes et redémarré le démon:

 # Protocol 2 HostKey /opt/etc/openssh/ssh_host_rsa_key HostKey /opt/etc/openssh/ssh_host_dsa_key 

J'ai également trouvé cette question sur StackOverflow . Mais toutes ces solutions semblent aborder les users nouvellement ajoutés uniquement car je suis déjà ajouté dans gitosis.conf et le file key est également présent. Je suis également à 100% sûr d'avoir téléchargé le file de key publique, et non le privé, car j'ai commencé plusieurs fois à partir de zéro maintenant (tout réinstallé).

Il est vraiment ennuyant de taper le mot de passe pour chaque action git. Donc, l'aide est très appréciée.