Personnellement, je préfère gérer le problème de la virgule de façon autoritaire dès l'appui de la touche, à savoir :
procedure TForm1.edFloatOnKeyPress(Sender: TObject; var Key: Char);
begin
if key=',' then key:='.';
end;

Les problèmes compliqués ont souvent des réponses simples ;-) (bien sûr si on veut vraiment voir la vrai virgule c'est un autre problème)