구글과 엔트로픽 등 AI 기업들, AI 헌법 도입에 나선다
AI 기업들, AI 헌법 제정... 자체 통제와 안전장치 강화
구글과 엔트로픽 등 인공지능(AI) 기업들이 AI 헌법을 만들고 있다. 이에 따라 AI는 사람의 개입 없이 스스로를 통제하고 헌법을 지키는 학습을 할 것이다. 그러나 AI 기업들은 범죄나 잘못된 정보 생성을 방지하기 위한 가드레일(안전장치) 개발에 어려움을 겪고 있다고 한다.
지난주 마이크로소프트와 메타는 자사의 AI 제품 성능이 개선되었다고 발표했다. 마이크로소프트의 투자를 받은 오픈AI는 챗GPT라는 자체 생성형 AI가 이제 음성으로 대화하고, 그림과 단어로 질문에도 답변할 수 있다고 밝혔다. 또한 메타는 인스타그램과 왓츠앱 사용자들이 유명인 챗봇 캐릭터와 AI 비서로 대화할 수 있도록 계획하고 있다.
AI 기업들은 생성형 AI의 기반이 되는 최신 언어모델인 GPT-4를 개발하고 발전시키기 위해 강화학습(RLHF)을 통해 인간 피드백을 사용해왔다. 이는 사람이 AI의 답변에 대한 선호도를 응답으로 남겨주면서 AI를 훈련시키는 방식이다.
오픈AI는 지난해 GPT-4의 한계를 시험하기 위해 핵무기, 법률, 교육 등 다양한 분야의 50명 학자와 전문가들을 레드팀으로 구성했다. 이 레드팀은 외부 전문가들로 구성되어 AI의 약점을 적대적인 질문 등으로 발견하고 기업이 보완할 수 있도록 도와준다.
하지만 파이낸셜타임스(FT)는 "강화학습과 레드팀은 AI 안전의 핵심이지만, AI가 유해한 결과를 완전히 방지하는 것은 아직 해결되지 않은 문제"라고 지적했다. 이러한 접근 방식으로는 AI 모델 내부에서 어떤 과정을 거쳐 응답이 생성되는지 완전히 이해하기 어렵다는 것이다. AI 기업들은 이러한 문제에 대한 해결책을 찾기 위해 계속 노력해 나갈 것으로 보인다.
구글과 엔트로픽 등 인공지능(AI) 기업들이 AI 헌법을 만들고 있다. 이에 따라 AI는 사람의 개입 없이 스스로를 통제하고 헌법을 지키는 학습을 할 것이다. 그러나 AI 기업들은 범죄나 잘못된 정보 생성을 방지하기 위한 가드레일(안전장치) 개발에 어려움을 겪고 있다고 한다.
지난주 마이크로소프트와 메타는 자사의 AI 제품 성능이 개선되었다고 발표했다. 마이크로소프트의 투자를 받은 오픈AI는 챗GPT라는 자체 생성형 AI가 이제 음성으로 대화하고, 그림과 단어로 질문에도 답변할 수 있다고 밝혔다. 또한 메타는 인스타그램과 왓츠앱 사용자들이 유명인 챗봇 캐릭터와 AI 비서로 대화할 수 있도록 계획하고 있다.
AI 기업들은 생성형 AI의 기반이 되는 최신 언어모델인 GPT-4를 개발하고 발전시키기 위해 강화학습(RLHF)을 통해 인간 피드백을 사용해왔다. 이는 사람이 AI의 답변에 대한 선호도를 응답으로 남겨주면서 AI를 훈련시키는 방식이다.
오픈AI는 지난해 GPT-4의 한계를 시험하기 위해 핵무기, 법률, 교육 등 다양한 분야의 50명 학자와 전문가들을 레드팀으로 구성했다. 이 레드팀은 외부 전문가들로 구성되어 AI의 약점을 적대적인 질문 등으로 발견하고 기업이 보완할 수 있도록 도와준다.
하지만 파이낸셜타임스(FT)는 "강화학습과 레드팀은 AI 안전의 핵심이지만, AI가 유해한 결과를 완전히 방지하는 것은 아직 해결되지 않은 문제"라고 지적했다. 이러한 접근 방식으로는 AI 모델 내부에서 어떤 과정을 거쳐 응답이 생성되는지 완전히 이해하기 어렵다는 것이다. AI 기업들은 이러한 문제에 대한 해결책을 찾기 위해 계속 노력해 나갈 것으로 보인다.
추천
0
비추천0
- 이전글메디톡스, 선진 시장 진출을 위해 오송 2공장 총괄 임원 영입 23.10.06
- 다음글푸틴 대통령, 신형 핵추진 대륙간 순항미사일 시험 성공 발표 23.10.06
홍한*
이런 소식 정말 좋아요.
김홍*
이게 나라냐!!
김한*
정말 대책없네요.
등록된 댓글이 없습니다.
