Хотя создание “подлинного” искусственного интеллекта вряд ли можно считать событием обозримого будущего, уже сегодня компьютеры (и не только системы искусственного интеллекта) обладают достаточной степенью автономности и неконтролируемости со стороны человека, чтобы породить проблемы, связанные с доверием к результатам информационно-перерабатывающей деятельности (имеется ввиду переработка информации в широком смысле, предполагающая получение, хранение, преобразование и передачу информации). Значительная часть этих проблем имеет технический или практический характер. Однако существуют и собственно метафизические вопросы, то или иное решение которых способно оказать (или подспудно оказывает) влияние на выбор стратегии принятия практических мер контроля за компьютерной переработкой информации.[1]
Проблемы контроля за работой компьютера и оценки результатов переработки информации компьютером (или с помощью компьютера) связаны с невозможностью для человека проследить за выполнением операций. Начиная с определенного количества данных и определенной скорости их обработки, мы должны основываться на сомнительном положении, что компьютер не будет вести себя иначе в сфере больших количеств и скоростей, чем те, с которыми мы непосредственно знакомы.
Что касается человека, то он не в состоянии проверить многие даже относительно короткие последовательности операций, выполняемых обычными компьютерами. В еще большей степени это справедливо для сложных программ, в которых многие вычисления выполняются параллельно.
При неосуществимости прямого контроля за работой машины и исчерпывающей проверки результатов машинных операций, имеет смысл стремится все же обеспечить максимально достижимый контроль и максимально достижимую надежность методов проверки результатов компьютерных вычислений. Средства достижения этой цели различны для различных типов систем.