Скорее всего, модем неисправен. То, что он отключается при снятии трубки телефонного аппарата, говорит об исправности датчика положения трубки аппарата (иными словами, здесь всё правильно). Отсутствие ...
Если гудка нет, то модем совершенно справедливо жалуется на его отсутствие. Проблема может быть связана с телефонной линией, телефонным шнуром (нет контакта), либо неисправен сам модем.