Impedir asignar foco con flechas de dirección

Buenas! Estoy en VB2008 y estoy trabajando con un control Panel, que son algo delicados con el asunto foco. Tengo que forzar por código que el control reciba el foco, pero también tengo que trabajar con las teclas del teclado (arriba y abajo). El problema es que al pulsar las teclas de dirección el foco cambia a otros controles, y no sé cómo impedirlo.
He encontrado a mucha gente preguntando cómo asignar el foco a un control por las flechas de teclado. Lo que quiero hacer es impedirlo. ¿Se puede? Muchas gracias.

Salu00000010!!!