Toto je známý problém. Využití SMO proti .Net 4.0 nebylo společností Microsoft odhlášeno ani oznámeno.
Existuje nepodporovaná možnost, jak to zprovoznit (přidejte to do souboru app.config):
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<startup useLegacyV2RuntimeActivationPolicy="true">
<supportedRuntime version="v4.0"/>
</startup>
</configuration>