Ano, váš připojovací řetězec by měl být definován v <connectionStrings>
sekce web.config přesně z tohoto důvodu - abyste mohli snadno změnit nastavení tak, aby ukazovalo na jiné databázové prostředí při nasazení aplikace do jiného prostředí, aniž byste museli znovu kompilovat svůj kód.