推动人工智能长远向善发展,引领人机关系走向安全、可信、可靠的未来
安远AI是一家总部位于北京的社会企业,专注于AI安全与治理。
关于我们
在AI能力不断增强的时代,如何确保AI系统安全可控、符合人类的意图和价值观?这对人类社会与AI的可持续发展至关重要。
作为一家专注于AI安全与治理的社会企业,安远AI面向AI安全和风险的前沿问题,推动国际交流、开展AI治理研究、提供战略咨询、以及建立技术社区。我们的目标是通过这些工作,为AI的安全、可信、可靠发展提供有力支持。
工作方向
提供AI安全和治理建议
我们的目标是提高对AI潜在风险的认识,并推广降低这些风险的最佳实践。我们为政府政策建言献策,向一流AI实验室提供咨询,并与学术界合作撰写研究报告。
支持AI安全技术社区建设
我们的目标是打造繁荣的AI安全生态系统,推动安全AI的发展。我们开展学者计划来培养AI安全人才,并为业界和学术界提供AI安全领域的教育资源。
推动AI安全国际合作
我们的目标是协调全球AI安全战略。我们促进中外专家交流,为多边组织提供建议,加深对AI风险和安全解决方案的技术理解,推进政策发展,增进不同社区之间的信任。
影响力
中西方人工智能安全交流
《人工智能治理全球视角》报告
AI安全与对齐学者计划
我们设立了中国首个AI安全与对齐学者项目。项目课程改编自由OpenAI科学家Richard Ngo设计的 AGI 安全基础课程,由在线研讨会和研究实践项目组成,旨在激励国内顶尖大学的研究生和研究人员AI安全和对齐领域研究做出贡献。
人工智能安全教育资源
团队
段雅文
技术项目经理
段雅文,安远AI技术项目经理,致力于AI安全技术社区建设。他是未来生命研究所AI Existential Safety PhD学者,关注大模型安全和对齐研究。他曾在UC Berkeley的Stuart Russell组和剑桥大学David Krueger实验室进行AI安全和对齐研究。他参与的研究项目曾在CVPR、ECCV、ICML、ACM FAccT、NeurIPS MLSafety Workshop等ML/CS会议和工作坊上发表。他拥有剑桥大学机器学习硕士学位和香港大学理学士学位。
李沐喆
运营经理
李沐喆,安远AI运营经理,负责管理公司的财务、人力资源和基础设施。她曾是一名红杉学者,并在元气森林先后担任策略分析师和产品经理。在此之前,她担任滴滴国际化产品团队的产品经理。
合作伙伴
我们的工作也得到了18位合作者的鼎力支持。他们中有来自加州大学伯克利分校(UC Berkeley)、魁北克人工智能研究所 (Mila)、苏黎世联邦理工学院(ETH)和其他顶级计算机科学和机器学习项目的博士生;也有来自牛津大学人工智能治理中心(GovAI)和对齐研究中心(ARC)的研究人员;以及来自清华大学、哈佛大学、以及麻省理工学院等顶尖学府的毕业生。
安远AI是一家社会企业
我们提供AI安全方面的咨询服务,为投资机构、科技公司和研究机构提供建议,助力其实现安全且负责任的AI应用。
我们的客户覆盖中国内地、香港和新加坡地区。我们期待与重视社会影响力的伙伴共同推进AI安全事业的发展。