Приветствую, Евгений Юрьевич!
Начну с последней части Вашего вопроса. Обычно оборот to be able применяется только к одушевлённым субъектам действия, поэтому соединить его с лодками (boats) не получится, а вот с людьми (ancient people) — вполне можно, причём лучше всего это сделать с помощью инфинитивного оборота:

Thor Heyerdhal believed ancient people to have been able to build boats that could cross oceans.

Что же касается варианта с придаточным предложением, то тут вопрос чуть сложнее. Да, по формальному правилу согласования времён требуется использовать в придаточном форму Past Perfect:

Thor Heyerdhal believed that ancient people had been able to build boats that could cross oceans.

Однако я бы всё-таки предпочёл здесь конструкцию с простым прошедшим временем:

Thor Heyerdhal believed that ancient people were able to build boats that could cross oceans.

А теперь объясню, почему. В грамматике формальные правила играют очень большую роль, но и смысловые отношения не менее важны. Форма Past Perfect подчёркивает отношения между двумя действиями, когда важно показать, что одно из них предшествовало другому. Но её использование здесь создаёт смысловую избыточность: и так ясно, что древние люди жили и действовали задолго до того, как Тур Хейердал мог что-либо о них сказать, поэтому подчёркивать предшествование здесь не только не имеет смысла, но и даже немного странно. Кроме того, мы обсуждаем здесь некую научную концепцию, объективный факт древней истории, а это уже высказывание, близкое к категории неких всеобщих истин, на которые, как Вы помните, правило согласования времён не распространяется (например, He was convinced that the Earth is flat). И я приведу пример, аналогичный обсуждаемому, из научного американского журнала:

Horkheimer argued that ancient philosophers saw [а не had seen] language as performing two distinguishable functions. (Social Research: An International Quarterly published by Johns Hopkins University Press. Winter98, Vol. 65 Issue 4)

А вообще-то мне, честно говоря, даже странно, что столь сложный грамматический вопрос оказался предметом проверки на ЕГЭ. Это явный перебор: совершенно ни к чему забивать голову учащимся средней школы подобными тонкостями грамматических согласований. Им бы элементарные фразы правильно строить, а не плутать в дебрях временных форм глаголов.