SDカードに画像を保存する際、同じ名前で上書き保存すると、画像自身は上書きされますが、
元画像のサムネイルだけが残ってしまいます。
実際は、サムネイルとデータベースにもデータが残っているのではないでしょうか。
そのため、上書き保存したい場合は、データベースから削除する必要があります。

String PATH = Environment.getExternalStorageDirectory().toString();
Uri IMAGE_URI = MediaStore.Images.Media.EXTERNAL_CONTENT_URI;
File file = new File(PATH, filename);

if(file.exists()) {
    String[] proj = { MediaStore.Images.Media._ID, MediaStore.Images.Media.DATA };
    Cursor cursor = managedQuery(MediaStore.Images.Media.EXTERNAL_CONTENT_URI, proj, MediaStore.Images.Media.DATA + " = ?", new String[] { PATH + "/" + filename }, null);
    if(cursor.getCount() != 0) {
        cursor.moveToFirst();
        Uri deleteUri = ContentUris.appendId(
            MediaStore.Images.Media.EXTERNAL_CONTENT_URI.buildUpon(),
            cursor.getLong(cursor.getColumnIndex(MediaStore.Images.Media._ID))).build();
        getContentResolver().delete(deleteUri, null, null);
    }
    file.delete();
}

メディア関係のURIのリストです。

MediaStore.Images.Media.INTERNAL_CONTENT_URI     //内部メディアの画像
MediaStore.Images.Media.EXTERNAL_CONTENT_URI     //外部メディアの画像

MediaStore.Video.Media.INTERNAL_CONTENT_URI      //内部メディアの動画
MediaStore.Video.Media.EXTERNAL_CONTENT_URI      //外部メディアの動画

MediaStore.Audio.Media.INTERNAL_CONTENT_URI      //内部メディアの音楽
MediaStore.Audio.Media.EXTERNAL_CONTENT_URI      //外部メディアの音楽
MediaStore.Audio.Albums.INTERNAL_CONTENT_URI     //内部メディアの音楽アルバム
MediaStore.Audio.Albums.EXTERNAL_CONTENT_URI     //外部メディアの音楽アルバム

MediaStore.Video.Thumbnails.INTERNAL_CONTENT_URI //内部メディアの動画のサムネイル
MediaStore.Video.Thumbnails.EXTERNAL_CONTENT_URI //外部メディアの動画のサムネイル