科幻电影中AI引爆核弹，现实中AI公司担心核威胁。近日，OpenAI成立了专门团队应对前沿AI可能面临的灾难性风险，包括核威胁。其中，CEOSamAltman一直担忧AI对人类构成灭绝性威胁，呼吁加强AI监管。然而，一批科学家持不同观点，认为过早监管可能限制技术发展，并扼杀创新。这突显了业内对前沿AI监管的分歧。如何在技术先行和防范监管间取得平衡，使AI高效发展又安全可控，仍然是一个难题。为了应对前沿AI的灾难性风险，OpenAI成立了新团队”准备就绪”，负责跟踪、评估、预测前沿模型的发展，以防止网络安全问题和核、化学、生物威胁。团队的任务还包括制定和维护风险知情开发政策，以确保部署前后的安全性与一致性。管理前沿AI模型的灾难性风险需要回答几个关键问题，包括误用的危险性大小、建立危险能力框架、以及如何防范恶意行为者的盗用。
OpenAI表示，前沿AI模型可能带来越来越严重的风险，但也有潜力造福全人类。近期，OpenAI一直强调AI的安全问题，并采取了各种行动。除了成立”准备就绪”团队外，他们还成立了一个团队，专门研究控制和引导”超级AI”的方法。此外，OpenAI还举办了一项挑战赛，邀请外部人士提出如何滥用AI并对现实世界造成危害的想法。OpenAI的CEOSamAltman一直担心AI可能导致人类灭绝，呼吁加强AI监管。而一些科学家则认为过早监管只会限制技术发展，扼杀创新。在观点分歧中，如何平衡技术发展和防范风险成为业界难题。Altman主张对超级AI进行严格监管，但对小型初创公司和开源模型的监管要较少。他认为，超过某一高度能力阈值的大型公司和专有模型应该受到更多监管，并接受政府的监督。相反，一些科学家认为当前一代AI模型的能力还有限，对其进行过早监管不合适。
他们认为，AI监管的要求源于大型科技公司的傲慢或优越感，只会增强他们的主导地位。他们认为，要控制AI，可以通过在系统中编码道德品质来实现。 总结起来，AI的发展带来了潜在的灾难性风险，尤其是在前沿AI模型的发展中。OpenAI成立了专门团队来应对这些风险，并制定了风险知情开发政策。然而，对于AI监管的观点在业界存在分歧。过早监管可能限制技术发展，但缺乏监管将难以防范风险。在技术先行和防范监管间取得平衡，是一个需要思考的难题。 你如何看待AI对人类的威胁?