Mas os danos não são ao computador e sim ao pendrive.
Quando se usa a opção "remover de modo seguro" no Windows ou "ejetar" no Linux e no Mac OS X, o sistema operacional termina todas as operações de leitura e gravação e "fecha a porta" do pendrive, permitindo sua retirada. Não fazer isso pode causar desde a simples perda de dados até a "fritura" dos circuitos do pendrive.