推动人工智能长远向善发展,引领人机关系走向安全、可信、可靠的未来

安远AI是一家位于北京的社会企业,专注于AI安全与治理。

最新研究

安远AI发布全球首份《中国人工智能安全全景报告》(State of AI Safety in China Report),力求向世界展示真实、立体、全面的中国人工智能安全现状。

2023年11月14日更正:报告中的第16页将国家科技伦理委员会描述为“隶属于科技部”。然而,科技部实际上是该委员会的秘书处,负责日常工作。该委员会原本是国务院议事协调机构,于2023年3月改由新设立的中央科技委员会领导(中央科技委员会是中国共产党中央决策议事协调机构)。

关于我们

在AI能力不断增强的时代,如何确保AI系统安全可控、符合人类的意图和价值观?这对人类社会与AI的可持续发展至关重要。

作为一家专注于AI安全与治理,追求社会影响力的社会企业,安远AI面向AI安全和风险的前沿问题,推动国际交流、开展AI治理研究、提供战略咨询、以及建立技术社区。我们的目标是通过这些工作,为AI的安全、可信、可靠发展提供有力支持。

工作方向

工作方向

提供AI安全和治理建议

我们的目标是提高对AI潜在风险的认识,并推广降低这些风险的最佳实践。我们为政府政策建言献策,向一流AI实验室提供咨询,并与学术界合作撰写研究报告。

支持AI安全技术社区建设

我们的目标是打造繁荣的AI安全生态系统,推动安全AI的发展。我们开展学者计划来培养AI安全人才,并为业界和学术界提供AI安全领域的教育资源。

推动AI安全国际合作

我们的目标是协调全球AI安全战略。我们促进中外专家交流,为多边组织提供建议,加深对AI风险和安全解决方案的技术理解,推进政策发展,增进不同社区之间的信任。

影响力

BAAI 人工智能安全与对齐论坛

作为2023年北京智源大会AI安全与对齐论坛的联合主办方,我们邀请到了包括Sam Altman (OpenAI CEO), Geoffrey Hinton (“深度学习之父”),以及姚期智(图灵奖得主)等重磅嘉宾,论坛吸引现场参与人数超过500人,在线观看人数超过20万次。本论坛是中国AI会议中首次聚焦AI安全与对齐的活动。相关报道详见:钛媒体新智元腾讯科技

中西方人工智能安全交流

2023年,我们促成Stuart Russell、Max Tegmark、David Krueger等全球顶尖AI安全学者访华,与清华大学人工智能研究院开展交流,与百度前总裁张亚勤对话。此前,我们也曾邀请Allan Dafoe(GovAI – 牛津大学AI治理中心创始人)和Jaan Tallinn(Skype联合创始人)在上海世界人工智能大会上发言

《人工智能治理全球视角》报告

2019年至2021年,我们与上海科学研究院(SISS)共同编撰了《全球视野下的人工智能治理》报告,收录了来自北美、欧洲、亚洲和拉丁美洲的专家撰写的60篇有关AI治理的文章。该报告在2021年“两会”期间由一名委员会成员引用;并在2022由同济大学出版社汇集出版

AI安全与对齐学者计划

我们设立了中国首个AI安全与对齐学者项目。项目课程改编自由OpenAI科学家Richard Ngo设计的 AGI 安全基础课程,由在线研讨会和研究实践项目组成,旨在激励国内顶尖大学的研究生和研究人员AI安全和对齐领域研究做出贡献。

人工智能安全教育资源

我们与国内出版商合作翻译和推广AI安全的英文书籍,如《生命3.0》、《AI新生: 破解人机共存密码——人类最后一个大问题》以及《人机对齐》。我们还通过微信公众号(安远AI)发布AI安全相关内容,包括“人机对齐概述系列”、《未来生命研究所“暂停巨型人工智能实验的公开信”的解释》以及人工智能对齐失败案例数据库等。

向联合国"全球数字契约"建言

2023年3月,我们向联合国“全球数字契约”提交了关于监管人工智能风险的提议。“全球数字契约”是《我们的共同议程》下的一项倡议,旨在“推进开放、自由、安全、以人为本的数字未来,制定原则、目标和行动,使实现可持续发展目标成为可能”。在建议中,我们提出了设计和实施AI风险法规的原则,以及联合国等组织可以采取的支持这些原则的行动。

团队

谢旻希

创始人兼CEO

谢旻希,安远AI创始人兼CEO,牛津大学人工智能治理中心政策研究员,同济大学出版社《全球视野下的人工智能治理》副主编,AAAI、IJCAI SafeAI组委会成员,IEEE P2894可信AI工作组成员。他曾应邀在清华大学、北京大学、斯坦福大学等校演讲。

方亮

资深研究经理

方亮,安远AI高级治理主管,领导AI安全和治理咨询工作。他曾任百度高级技术顾问,推动AI伦理和治理研究、交流与项目实施。曾参与中国多项AI和科技政策制定。

吴君仪

高级项目经理

吴君仪,安远AI高级项目经理,负责推进AI安全和治理国际合作项目。她曾在北大国际战略研究所跟随王缉思教授做研究,之前任牛津大学人类未来研究所研究员。她毕业于北大燕京学堂,获得硕士学位。

周杰晟

高级研究经理

周杰晟,安远AI高级研究经理,推动AI安全与治理国际合作。他曾任美中贸易委员会北京代表处咨询经理,研究中国数据安全、网络安全和隐私保护政策。获得清华大学苏世民书院硕士学位。

段雅文

技术项目经理

段雅文,安远AI技术项目经理,致力于AI安全技术社区建设。他是未来生命研究所AI Existential Safety PhD学者,关注大模型安全和对齐研究。他曾在UC Berkeley的Stuart Russell组和剑桥大学David Krueger实验室进行AI安全和对齐研究。他参与的研究项目曾在CVPR、ECCV、ICML、ACM FAccT、NeurIPS MLSafety Workshop等ML/CS会议和工作坊上发表。拥有剑桥大学机器学习硕士学位和香港大学理学士学位。

李沐喆

运营经理

李沐喆,安远AI运营经理,负责管理公司的财务、人力资源和基础设施。她曾是一名红杉学者,并在元气森林先后担任策略分析师和产品经理。在此之前,她担任滴滴国际化产品团队的产品经理。

范韵欣

运营经理

范韵欣,安远AI运营经理,负责品牌和媒体战略。她曾任电通高级经理,为科技和风险投资公司制定国际媒体和商业策略。她还曾在财新和经济学人智库(EIU)担任咨询师。

黄资雅

运营经理

黄资雅,安远AI运营经理,负责法律合规和人才管理。她创立的项目赋能青年群体,致力于解决世界上最紧迫的问题。凭借在社会影响力领域的经验,她担任多家使命导向创业团队的董事会成员。

合作伙伴

我们的工作离不开30位安远AI伙伴的鼎力支持。他们中有来自加州大学伯克利分校(UC Berkeley)、魁北克人工智能研究所 (Mila)、苏黎世联邦理工学院(ETH)和其他顶级计算机科学和机器学习项目的博士生;也有来自牛津大学人工智能治理中心(GovAI)和对齐研究中心(ARC)的研究人员;以及来自清华大学、哈佛大学、以及麻省理工学院等顶尖学府的毕业生。

安远AI于2023年正式获得北京市社会企业认证

安远AI是北京首批人工智能领域的社会企业之一,也是目前全国唯一的人工智能治理和科技伦理治理领域的社会企业。

在AI飞速发展的背景下,安远AI在坚持为客户创造价值的同时,将坚定不移地追求社会使命。我们将继续致力于为科技企业、投资机构和政府部门等提供风险管理咨询,希望引领人机关系走向安全、可信、可靠的方向发展。

联系我们

© 2024 Concordia AI | All Rights Reserved

安远AI是北京谋远咨询有限公司旗下的品牌

京ICP备2022027933号-2