在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧这样这个结果，即创造一个可以等同或超越人类的智能的人工智能：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。很多人认为人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。尽管我对人类一贯持有乐观的态度。
In January 2015， I along with the technological entrepreneur， Elon Musk， and many other AI experts， signed an open letter on artificial intelligence， calling for serious research on its impact on society。 In the past， Elon Musk has warned that super human artificial intelligence， ispossible of providing in calculable benefits， but if deployed in cautiously， will have an adverse effect on the human race。 He and I， sit on the scientificad visory board for the Future of Life Institute， an organization working to mitigate existential risks facing humanity， and which drafted the open letter。 This called for concrete research on how we could prevent potential problems， while also reaping the potential benefits AI offers us， and is designed to get AI researchers and developers to pay more attention to AI safety。 In addition， for policymakers and the general public， the letter is meant to be informative， but not alarmist。 We think it is very important， that everybody knows that AI researchers are seriously thinking about these concerns and ethical issues。 For example， AI has the potential to eradicate disease and poverty， but researchers must work to create AI that can be controlled。 The four-paragraph letter， titled Research Priorities for Robustand Beneficial Artificial Intelligence， an Open Letter， lays out detailed research priorities in the accompanying twelve-page document。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”担任科学顾问委员会的职务，这是一个旨在缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能具有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
