Как специалист с профильным образованием, сделаю пару ремарок.

- Понятие интеллекта до сих пор чётко не определено, поэтому говорить об ИИ что-то серьёзное (тем более о сильном ИИ) особого смысла не имеет.
- Исторически в область ИИ записывают все экспериментальные методы и алгоритмы, принципы работы которых полностью не изучены. Как только такой алгоритм изучается, его резко перестают считать алгоритмом ИИ, через это прошло большинство оптимизационных алгоритмов. Сейчас, в общем-то, и нейронные сети к ИИ редко относят — обычная математическая статистическая модель.
- Короче — ИИ называют те программы, работу которых не понимают.
- Поэтому возможно, что когда работу мозга изучат, понятие интеллекта вообще пропадёт.
- Делать сильный ИИ никому не надо — это точно будет дорого и сложно, поэтому его сделают в последнюю очередь в качестве игрушки. Куда проще будет сделать программу, имитирующую ИИ (не отличаемую человеком), которая устроит большинство человечества и естественно, никакой опасности нести не будет.
- Ещё проще будет развить способности человека с помощью различных протезов и имплантатов. Если это случится раньше появления ИИ, то время его появление сильно отодвинется.
- Каждая программа, разрабатываемая человеком, делается для решения конкретной задачи, поэтому никто не будет для этого делать полноценный ИИ, для этого будет делаться его частный, ограниченный случай.

Интересующимся тем, как оно всё может быть, рекомендую почитать «Сумму технологий» Лема.

Solar

Начнется все скорее всего с того, что: "Этот протез разработан для военных целей..." а потом начинается гонка за более крутыми "фенечками" для этих самых протезов...

Это уже началось и пошло в мир. Люди с протезами ног уже бешают на равных или быстрее обычных людей. Т.е. сейчас вполне можно себе отрезать ногу, поставить протез и начать быстрее бегать (а зодно и весить меньше, а значит и на еде экономить). Разработаны опытные образцы линз с дисплеем, пока очень маленьким, но если взять обычные очки, то с них вполне можно читать википедию — это, по сути, расширение запоминающих способностей мозга до нереальных размеров. В середине 20-ого века это было бы типичным примером далёкого будущего.

Хороша игрушечка... особенно, если она способна к саморазвитию и имеет доступ к ресурсам

Вообще, нет гарантии, что ИИ будет способен изменятся значительно быстрее человека. Кстати, ИИ может сделать любой человек уже сейчас и очень просто. Для этого надо два человека разного пола и лет 20-30 на обучение — удовольствие догорое, но весьма популярное.

Однако, если у человечества будет контролируемый(!!!) ИИ, способный к саморазвитию, он может стать весьма и весьма ощутимым толчком в развитии...

Кем же он будет контролируемый? :-)