Starten Sie RegEdit.exe 
Im Schlüssel
HKEY_CURRENT_USER\
Software\Microsoft\Windows\CurrentVersion\Explorer\RunMRU
können Sie die gewünschten Einträge entfernen.

Schneller geht es mit folgendem Download.
Die im Archiv befindliche INF-Datei rufen Sie im Explorer
mit der rechten Maustaste auf und wählen dann "Installieren".

Unter Windows NT muss man ggf. den Rechner neu starten.