Terrasse grès cérame sur lit de sable

Bonjour, je suis en grosse galère de mise en œuvre d'une terrasse en grès cérame de 40m carrés en carreaux de 60 par 60 de 2cm et j'ai besoin de quelques conseils.

3 côtés sont contre des murs, le quatrième avec pente vers le jardin ou j'ai posé une bordure en béton pour maintenir le sable.
Le sol à était decaissé l'année dernière, ajout de 10 à 15cm de tout venant 0 31 compacté manuellement, aujourd'hui il est dur comme du béton.

Là où ça se corse, c'est que j'ai posé des liteaux, tiré du sable 0 4 à la règle, mais quand je pose mes dalles j'ai toujours des différences de hauteurs d'une dalle à l'autre...
J'ai essayé de mettre des croisillons jouplast cross dalle mais lors de la pose des dalles ils ont toujours tendances à s'enfoncer un peu de travers même en travaillant avec un sable humide. De plus j'ai l'impression que le moindre grain de sable qui se glisse entre le croisillon et la dalle suffit aussi à créer un décalage. J'ai essayé de damer manuellement sur une petite surface mais le phénomène ne reproduit aussi...

Je travail en posant un premier rang et je marche forcément dessus pour poser le suivant, et je retire les liteaux au fur et à mesure que j'avance en rebouchant les emplacements au sable et taloche. La méthode est bonne? Faut-il ajouter du ciment dans le stable ou en surface pour stabiliser le tout ? J'en suis à ma troisième tentative de pose et j'hésite à passer à la quatrième n'étant pas satisfait du résultat... Merci par avance pour vos réponses et conseils.