Запускаем OpenVPN GUI и идем в главное меню. В нем выбираем пунт "Настройки" (новые версии) или "Proxy Settings" (старые версии).
В зависимости от версии, окно выглядит по-разному. Выбираем тип прокси.
Теперь вводим адрес и порт. Если прокси с авторизацией - его нужно будет прописать в конфигурационный файл, все подробности в мануалах по OpenVPN.