Si, hay bastante diferencia entre la version 1.5.x y la 1.8.x . La instlacion se realiza como cualquier componente. Solo sigue el proceso que te ira guiando. Para actualizar, debes primero desintalar la version que tengas. Las tablas con la informacion en la base de datos se conserva. Una vez desinstalado, debes pasar a desinstalar tambien el modulo Hello home, que no es compatible y te impedira visualizar el jomsocial nuevo. Quizas tambien tengas que desinstalar el plugin wall. Este plugin y modulo se instalan de forma automatica en la nueva version.
Una de las mayores diferencias es la posibilidad de tener traducido la parte de la administracion de Jomsocial. Instala y deja que el proceso se ejecute hasta el final, tarda algo mas y muestra los detalles de la instalacion.
Un poco de ayuda –> Instalacion, configuracion y actualizacion jomsocial