Vraiment pas mal comme code!!!
Juste un petit défaut: l'image tremble si on laisse le bouton appuyé sans bouger.
Pour remédier à cela, on laisse un délai de 30 pixel avant tout mouvement:

If X < DepartX - 30 Then
        If Picture2.Left < Limit2 Then Exit Sub
        Picture2.Left = Picture2.Left - 50
        End If
    If X > DepartX + 30 Then
        If Picture2.Left > 0 Then Exit Sub
        Picture2.Left = Picture2.Left + 50
        End If
et pareil pour Y.
Voilà! en tout cas merci!