PHPだと

$keyword = preg_replace("/(\<.*?\>|\(.*?\))/", "\"$1\"", $keyword, -1, $count);

if($count == 0)
{
	$keyword = preg_replace("/(\<|\>|\(|\)|\+|\-|\*|\~)/", "\\$1", $keyword);
}

こんな感じでしょうか？

mroongaで特殊記号を用いた全文検索を行うときのエスケープ方法