Můžete zkusit aktualizovat svůj kód tak, aby používal parametrizovanou hodnotu, která si poradí s uvozovkami v řetězci:
$query = "INSERT INTO People(name) VALUES(@name)"
$command = $connection.CreateCommand()
$command.CommandText = $query
$command.Parameters.Add("@name", $name) -- | Out-Null (may be required on the end)
$command.ExecuteNonQuery()
Nemám zkušenosti s powershell, ale odkazoval jsem na tento příspěvek pro parametrizovaný dotaz :