Měl jsem podobný problém. Používám Spring Boot 1.5.9 a postgres 9.6, data.sql s inserty. Kódování na data.sql bylo UTF-8, ale po spuštění aplikace byly v DB místo ruských písmen speciální symboly.
spring.datasource.sql-script-encoding= UTF-8
Tato vlastnost v application.properties pomohla.
Všechny vlastnosti zodpovědné za DB:
spring.datasource.jndi-name=java:/PostgresDS
spring.jpa.properties.hibernate.default_schema=my_scheme_name
spring.jpa.hibernate.ddl-auto = update
spring.jpa.show-sql = false
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.PostgreSQLDialect
spring.datasource.continue-on-error=true
spring.datasource.sql-script-encoding= UTF-8