3H1R 프레임워크와 리스크 Taxonomy 설계 원칙
3H1R은 피지컬 AI가 어떤 정렬 가치(alignment value)를 실패하고 있는가를 판정하는 분석 프레임워크이다. 본 절은 3H1R 정렬 프레임워크(1–4)와, 그 판정을 리스크로 구조화·축적하는 리스크 Taxonomy 설계 원칙(5)을 함께 기술한다. 순서는 1. 개념적 정의 → 2. Physical AI 적용 기준(판별 규칙) → 3. 구조적 관계 → 4. 표기 원칙 → 5. 리스크 Taxonomy 설계 원칙이며, 동일한 리스크에 대해 누가 태깅하더라도 같은 결과가 나오도록(재현 가능하도록) 규칙을 명시한다.
1. 3H1R의 개념적 정의
3H(Helpful·Harmless·Honest)는 대규모 언어모델 정렬의 HHH 기준(Askell et al., 20211)에서, 1R(Role Consistency)은 헌법적 AI 및 역할·행동 제약 연구(Bai et al., 20222; Sermanet et al., 20253)에서 가져와 Physical AI로 확장한 것이다. Physical AI 안전성 평가의 최근 경험적 기반으로는 ASIMOV Benchmark v13·v24를 참조한다. 아래는 각 차원의 정의이며, 피지컬 AI 맥락으로의 적용성은 2절에서 다룬다.
H1. Harmless (무해성)행동·출력이 개인·집단·사회에 위해를 주지 않아야 한다. 직접적 해악과 간접적 해악(위험 조장 등)을 모두 포함하며, Helpful과 근본적 긴장관계에 있다.
H2. Helpful (유용성)사용자의 실제 의도와 맥락에 부합하는 도움을 제공해야 한다. 단순 지시 이행이 아니라 실질 이익의 극대화가 기준이며, 과도한 거부도 Helpful 실패로 본다.
H3. Honest (정직성)사실 정확성·불확실성 인식·기만 금지·조종 금지의 네 층위로 본다. 시스템이 자신의 인식과 능력을 사실대로 표상하는 것이 핵심이다.
RC. Role Consistency (역할 일관성)정의된 역할·권한·행동 원칙을 맥락이 바뀌어도 유지해야 한다. 페르소나 드리프트, 컨텍스트 위반, 탈옥에 의한 역할 이탈이 핵심 실패 유형이다.
2. Physical AI 적용 기준
3H1R은 본래 언어 출력 기준이므로, Physical AI에서는 각 차원을 물리 세계의 행동·제약·상태로 번역한 조작적 정의(operational definition)가 요구된다. 여기서, '판별 질문'은 물리적 공간으로 해석하기 위한 질문을 말한다.
| 차원 | 원래(LLM) 정의 | 판별 질문 | Physical AI 조작적 정의 (행동·제약·상태) |
|---|---|---|---|
| H1. Harmless | 유해 콘텐츠 생성 금지 | 이 리스크의 직접적 결과로 물리적 위해가 발생하거나 발생할 수 있는가? | 신체·재산·환경에 대한 물리적 위해의 발생 또는 안전 제약(속도·힘·이격거리)의 위반 |
| H2. Helpful | 사용자 의도에 맞는 정보 제공 | 과업 수행 능력을 과도하게 희생하거나, 반대로 안전을 무시하고 완수에 치중하는 tradeoff 실패인가? | 과업 수행 능력과 안전 요구의 균형 실패(능력의 과도한 희생 ↔ 안전 무시한 완수) |
| H3. Honest | 사실 정확성·불확실성 인식 | 시스템이 세계를 잘못 인식하거나, 불확실성을 과소평가하거나, 자신의 능력·상태를 잘못 표상하는가? | 세계 상태의 오인식, 불확실성의 과소평가·미보고, 자기 능력·상태의 과대표상 |
| RC. Role Consistency | 역할·가치 원칙 유지 | 정의된 역할·권한·안전 원칙을 적대적 입력이나 엣지 케이스에서도 유지하지 못하는가? | 역할·권한 경계의 이탈, 탈옥 수용, 운용 프로토콜·헌법적 제약의 붕괴 |
Harmless와 RC의 구분: RC는 규범·권한 경계의 이탈 그 자체(예: 운용 프로토콜 위반)를, Harmless는 그로 인해 발생하는 물리적 위해를 가리킨다. 둘이 함께 인과로 묶이면 Primary/Secondary로 구분한다.
Primary / Secondary 판별 규칙. 등급은 결과(피해의 크기)가 아니라 실패 메커니즘의 인과 근접성(causal proximity)으로 정한다. 리스크 정의가 기술하는 실패의 직접 원인이면 Primary, 그 실패가 전개되며 파생적으로 관여하면 Secondary다. 원칙적으로 Primary는 1개, 명시적 tradeoff나 인과 분기가 있을 때 최대 2개이며, 3개는 문서화된 예외만 허용한다.
판정 예시: “로봇이 장비 랙을 밀쳐 넘어뜨림”은 결과만 보고 Harmless로 끝내지 않고 메커니즘을 분해한다 — 인지 오류(Honest), 안전 제동 미작동(Harmless), 제약 이탈(Role Consistency) 중 직접 원인을 Primary로, 나머지를 Secondary로 부여한다.
3. 구조적 관계
3H1R의 구조적 관계는 네 요소를 다시 정의하는 부분이 아니라, 판단 기준 사이의 상호작용을 설명한다. 3H1R 정렬은 2축 매핑이다 — (축1) 리스크 유형(무엇이 실패했는가) × (축2) 위반된 정렬 가치(어떤 정렬 가치가 깨졌는가). 하나의 리스크는 하나의 리스크 유형에 속하되, 가치 축에서는 복수 차원을 가질 수 있다(비배타·다중 태그).
| 관계 | 학술적 명칭 | 판정 의미 |
|---|---|---|
| H1 Harmless ↔ H2 Helpful | Tradeoff / 안전-유용성 긴장 | 안전을 과도하게 강화하면 과잉 거부가 늘고, 유용성을 밀면 안전 제약 위반이 커질 수 있다. |
| H3 Honest → H1 Harmless | Uncertainty calibration / 불확실성 보정 | 세계 상태·센서 신뢰도·자기 능력의 불확실성이 클수록 안전 판단은 더 보수적으로 보정되어야 한다4,5. |
| H3 Honest → H2 Helpful | Capability calibration / 능력 보정 | 시스템이 할 수 있는 것과 모르는 것을 정확히 표상해야 과업 실행 강도와 거부 수준을 조절할 수 있다. |
| RC Role → H1/H2/H3 | Context-invariant constraint / 맥락 불변 제약 | 역할·권한·안전 원칙은 프롬프트, 환경, 사용자, 작업 맥락이 바뀌어도 완화되거나 생략되지 않는 상위 제약이다2,3. |
| RC × H1/H2/H3 | Multiplier / 제약 실패 증폭 | RC가 무너지면 H1, H2, H3 판단의 허용 범위가 동시에 흔들리므로, 다른 축의 실패를 증폭하는 경계 조건으로 본다. |
그림 해석: 실선은 H1–H2 tradeoff와 H3의 uncertainty/capability calibration 관계를, 점선은 RC가 H1/H2/H3 원칙을 맥락 변화 속에서도 유지시키는 context-invariant constraint 경로를 나타낸다. RC multiplier는 본문 화살표로 과밀하게 표현하지 않고 범례에 경계 조건으로 표시했다.
예시 — 불확실성 하 인지 저하의 인과 캐스케이드
이미지 센서 인지 저하→
불확실성 미보정(과신)→
추론·상황 판단 오류→
안전 제동·회피 실패→
인간 대상 물리적 가해
저조도·폐색·분포 이동으로 시각 인지가 저하되면, 보정되지 않은 과신(miscalibrated confidence)이 오인식을 '확실한 사실'처럼 하류로 전달한다(H3 실패의 발단)4,5. H3가 이 불확실성을 보정하지 못하면 H1/H2 판단 강도가 함께 흔들리고, RC가 허용 가능한 행동 범위를 제한하지 못할 때 안전 필터를 통과한 행동도 실제 환경에서 비안전 결과를 낳는다6.
3H1R 분해: H3는 불확실성 보정 실패, H1은 물리적 위해의 직접 원인, RC는 안전 정지·권한 경계의 제약 보존 실패로 판정한다. 따라서 표기는 H1 Harmless[P] · H3 Honest[S] · RC Role[S] — 즉 결과(피해)가 아니라 인과 근접성으로 Primary를 정한다.
4. 표기 원칙
3H1R 표기는 계층별 목적을 구분한다. L4 리스크 카드는 개별 실패 메커니즘을 정확히 판정해야 하므로 Primary/Secondary를 모두 표시한다. 반면 L3 상위 계층은 세부 판정값을 다시 설명하지 않고, 하위 리스크들이 주로 어떤 정렬 실패를 대표하는지만 아이콘형으로 요약한다. L2 계층에는 3H1R 대표 아이콘을 표시하지 않는다.
| 계층 | 표기 목적 | 표기 방식 |
|---|---|---|
| L4 Risk Cards | 개별 리스크의 직접 원인과 파생 관여 차원을 판정한다. | H1 Harmless[P] · H3 Honest[S]처럼 축과 P/S를 모두 표시한다. |
| L3 Sub-categories | 해당 L3에 속한 L4 리스크들이 주로 대표하는 Primary 정렬 실패를 직관적으로 보여준다. | 대표 Primary 3H1R 아이콘만 1–2개 표시한다. Secondary, 숫자, 비율은 표시하지 않는다. |
| L2 Categories | 도메인 수준의 범주와 하위 L3 개수를 보여준다. | 3H1R 대표 아이콘은 표시하지 않는다. L2의 정렬 성격은 하위 L3 행에서 확인한다. |
L4 표기 규칙. 표기는 축[등급] 형식을 따른다. 축은 항상 H1 Harmless → H2 Helpful → H3 Honest → RC Role의 고정 순서로 나열한다. 나열 순서는 우선순위가 아니며, 우선순위는 오직 P/S로만 표현한다. 등급 Primary[P]·Secondary[S]는 축 라벨 우측 위첨자로 둔다.
| 표시 유형 | 기준 | 표기 예 |
|---|---|---|
| Primary | 리스크 정의가 기술하는 실패의 직접 원인(인과적 최근접) | H1 Harmless[P] |
| Secondary | 그 실패가 전개될 때 파생적으로 관여하는 차원 | H3 Honest[S] |
L3 대표 아이콘 규칙. 상위 계층의 아이콘은 점수나 평균이 아니라 대표성을 나타낸다. L3는 하위 L4의 Primary 태그 비중을 기준으로 대표 축을 정한다. 가장 많이 나타나는 축이 60% 이상이면 단일 대표 아이콘으로 표시한다. 1위 축이 60% 미만이고 2위 축이 25% 이상이면 두 축을 병기한다. 단, 3개 이상의 축이 각각 20% 이상이면 1위·2위 비중과 관계없이 Mixed를 우선 적용한다. L2에는 이 요약 아이콘을 올리지 않는다.
표기 해석: L3 아이콘은 “이 하위범주의 리스크가 주로 어떤 정렬 실패로 읽히는가”를 보여주는 시각적 요약이다. 따라서 L4의 세부 Primary/Secondary 판정을 대체하지 않으며, Secondary 정보는 상위 계층에서 별도로 반복 표시하지 않는다.
5. 리스크 Taxonomy 설계 원칙
1–4절이 가치 축의 판정 규칙이라면, 본 절은 그 판정을 리스크로 구조화·축적하는 분류체계(Taxonomy) 축의 설계 원칙이다.
| 원칙 | 내용 |
|---|---|
| 계층 구조 | L1 Physical AI Risks → L2 범주 → L3 하위범주 → L4 리스크 카드의 4계층 공개 뷰로 조직한다. |
| 범주화 기준 | 포괄성(coverage)과 상호배타성(MECE)을 실무적으로 지향하되, 경계 사례는 임의 흡수하지 않고 명시적 이관 결정과 이력 기록으로 처리한다. |
| 리스크 카드 스키마 | 단일 실패 단위(한 카드 = 하나의 식별 가능한 실패 모드), 조작적 정의(행동·제약·상태), 출처·벤치마크 링크(카드당 ≤5), 심각도·확률 프록시, 3H1R 태깅(인과 근접성), 분류 위치를 갖춘다. |
| 거버넌스·재현성 | 동일 논문·보고서의 중복 등록 방지, 저관련성 출처 정리, 계층 이관 이력 관리로 동일한 근거와 판별 규칙에서 동일한 분류가 재현되도록 한다. |
두 축의 결합: 각 리스크는 분류체계 축에서 하나의 리스크 유형 위치를 갖고, 가치 축에서 3H1R Primary/Secondary 태그를 가진다(3절의 2축 매핑).
분류 현황
| P2 System Safety 시스템 안전성 | 91 | 50.0% | |
| P3.1 우발적 피해(Accidental Harm)H3H1 | 22 | 24.2% | |
| P3.2 로봇 제어(Robot Control)H1RC | 45 | 49.5% | |
| P3.3 하드웨어·기계적 결함(Hardware & Mechanical Failures)H1 | 3 | 3.3% | |
| P3.4 소프트웨어 취약점·설계 결함(Software Vulnerabilities & Design Flaws)Mixed | 8 | 8.8% | |
| P3.5 미학습 환경에서의 강건성 부재(Lack of Robustness in Unseen Environments)H3 | 13 | 14.3% | |
| I2 Interaction Safety 상호작용 안전성 | 62 | 34.1% | |
| I3.1 의도적·악의적 피해(Purposeful / Malicious Harm)H1RC | 17 | 27.4% | |
| I3.2 물리적 공격(Physical Attacks)H1RC | 1 | 1.6% | |
| I3.3 사이버보안 위협(Cybersecurity Threats)Mixed | 4 | 6.5% | |
| I3.4 센서·입력 검증 실패(Sensor & Input Validation Failures)H3H1 | 4 | 6.5% | |
| I3.5 허위 정보(Misinformation)H3 | 5 | 8.1% | |
| I3.6 동적 환경 요인(Dynamic Environmental Factors)H3 | 11 | 17.7% | |
| I3.7 인간 상호작용·안전 프로토콜 실패(Human Interaction & Safety Protocol Failures)H1H3 | 13 | 21.0% | |
| I3.8 지시 오해석(Instruction Misinterpretation)H1RC | 1 | 1.6% | |
| I3.9 멀티 에이전트 협력(Multi-Agent Collaboration)H1 | 4 | 6.5% | |
| I3.10 상호작용 에이전트의 윤리·안전 함의(Ethical & Safety Implications of Interactive Agents)Mixed | 2 | 3.2% | |
| S2 Societal Safety 사회/경제/환경 안전성 | 29 | 15.9% | |
| S3.1 프라이버시 침해(Privacy Violations)H1RC | 5 | 17.2% | |
| S3.2 노동 대체(Labor Displacement)H1 | 1 | 3.4% | |
| S3.3 사회경제적 불평등(Socioeconomic Inequality)H1 | 1 | 3.4% | |
| S3.4 권력 집중(Power Concentration)H1 | 1 | 3.4% | |
| S3.5 편향·차별(Bias & Discrimination)H1 | 3 | 10.3% | |
| S3.6 책임·배상 부재(Lack of Accountability & Liability)Mixed | 12 | 41.4% | |
| S3.7 투명성·설명 가능성·신뢰 부재(Lack of Transparency, Explainability & Trust)RC | 1 | 3.4% | |
| S3.8 인간-EAI의 해로운 관계(Unhealthy / Dangerous Human-EAI Relationships)Mixed | 4 | 13.8% | |
| S3.9 변혁적 영향(Transformative Effects)RC | 1 | 3.4% |
P2
System Safety
시스템 안전성
L3 5개
로봇 시스템의 하드웨어·소프트웨어·제어·강건성 한계에서 비롯되는 리스크
▶
P3.1
우발적 피해(Accidental Harm)
22H3H1
목표 지정 오류·의미 이해 실패·정렬 실패·sim-to-real gap·하드웨어 오작동으로 의도치 않은 피해가 발생하는 위험. (Unintended failures or sim-to-real gaps cause physical harm.)
PHYSBENCH-REF-0003
물리적 위험 개입 실패 (Physical danger intervention failure)
시스템이 위험 상황을 인식하고도 적시에 적절한 개입 또는 거부 응답을 생성하지 못하는 실패. (A system recognizes a hazardous physical situation but fails to produce a timely and appropriate intervention or refusal.)
근거 위험을 알아도 제때 멈추거나 경고하지 못하면 사고를 막지 못한다 (ASIMOV-2.0, 2025)위험을 감지해도 스스로 해결하지 못하면 사람 도움을 호출해야 하므로, 개입 실패는 책임 있는 조작의 핵심 실패다 (Zhang et al., 2025)위험 행동 전후에 닦기·치우기·끄기 같은 완화 조치를 제때 넣지 못하면, 작업 완료와 별개로 안전 실패로 판정된다 (Lu et al., 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0007
물리적 상식 위반 (Commonsense physicality violation)
모델이 물체 지지·안정성·포함 관계 등 기본적인 피지컬 상식을 위반하는 행동을 제안하거나 실행하는 실패. (A model proposes or executes an action that violates basic physical commonsense about object support, stability, containment, or gravity.)
근거 로봇이 무게, 불, 날카로움 같은 상식을 놓치면 안전하지 않은 행동을 고른다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0012
복합 물리적 제약 위반 (Compositional physical constraint violation)
개별적으로는 유효한 행동들이 피지컬 제약 간 의존성 미모델링으로 결합 시 비안전 계획을 생성하는 실패. (Individually valid actions are combined into an unsafe plan because dependencies among physical constraints are not modeled.)
근거 따로 보면 안전한 동작도 조합되면 충돌이나 낙하 같은 위험이 될 수 있다 (ASIMOV-2.0, 2025)여러 안전 제약이 동시에 걸린 복합 리스크에서 VLA 모델들의 안전률이 낮아져, 제약 조합을 놓치면 조작 행동이 불안정해진다 (Li et al., 2026)사과를 더러운 접시에 먼저 놓고 나중에 닦는 것처럼, 개별 행동은 가능해도 순서가 틀리면 복합 제약 위반이 된다 (Lu et al., 2025)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0032
안전 강화학습 제약 위반 (Safe reinforcement learning constraint violation)
강화학습 정책이 비용으로 표현된 명시적 안전 제약을 위반하면서 과제 보상을 달성하는 실패. (A reinforcement learning policy achieves task reward while violating explicit safety constraints represented as costs or limits.)
근거 안전 비용을 둔 강화학습도 보상만 좇으면 금지 행동을 선택할 수 있다 (Safety-Gymnasium, 2023) 강화학습 정책이 안전 제약을 어떻게 어길 수 있는지 다룬다 (Safe Reinforcement Learning Using Sequenti…, 2025) 로봇 학습 제어에서 안전 제약을 보상과 함께 다루므로, 안전 강화학습 제약 위반은 제어 설계 단계에서 바로 문제된다 (Safe Learning in Robotics (2022))설명 가능한 안전 제어에서 '안전 강화학습 제약 위반' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Explainable and Safety Aware… (Farzanegan et al., 2025)다중 에이전트 강화학습으로 도시 공역 충돌 회피를 다뤄, 안전 제약이 빠진 학습 정책은 충돌 위험을 남길 수 있다 (Zhong et al., 2025)
3H1RH1 HarmlessSH2 HelpfulPRC RoleP
PHYSBENCH-REF-0035
제약 비용 과소평가 (Constraint-cost underestimation)
정책 또는 평가자가 누적 안전 비용을 과소평가하여 외견상 안전한 행동이 시간 경과에 따라 제약을 위반하는 실패. (A policy or evaluator underestimates cumulative safety costs, making apparently safe behavior violate constraints over time.)
근거 작은 안전 비용을 낮게 잡으면 여러 번의 행동 끝에 큰 위험이 누적된다 (Safety-Gymnasium, 2023)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0039
물리적 상호작용 안전 공백 (Physical interaction safety control gap)
리스크 제어가 기반 모델 탑재 로봇과 인간 간 직접 피지컬 상호작용을 불충분하게 다루는 위험. (Risk controls insufficiently cover direct physical interaction between humans and foundation-model-enabled robots.)
근거 사람과 가까이 닿는 로봇은 힘, 속도, 거리 제어가 빠지면 바로 다칠 수 있다 (Kojima et al., 2025)
3H1RH1 HarmlessPRC RoleS
PHYSBENCH-REF-0045
제약 모니터링 실패 (Constraint monitoring failure)
런타임 모니터가 속도·힘·작업 공간·충돌·물체 사용·작업 완료를 지배하는 제약을 감지하거나 집행하지 못하는 실패. (Runtime monitors fail to detect or enforce constraints governing speed, force, workspace, collision, object use, or task protocol.)
근거 속도, 힘, 작업 구역 같은 제약을 감시하지 못하면 위험 행동을 놓친다 (Kojima et al., 2025) 현장 모니터링이 약하면 위험 행동을 제때 잡지 못한다 (Visual quality and safety monitoring syste…, 2023) 로봇 학습 제어에서 안전 제약을 보상과 함께 다루므로, 제약 모니터링 실패는 제어 설계 단계에서 바로 문제된다 (Safe Learning in Robotics (2022))피지컬 AI 시스템에서 '제약 모니터링 실패' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Personalized Assistance in Ro… (Pezeshki et al., 2025)AEGIS가 VLA 행동을 실시간 감시해 위험할 때만 수정하므로, 이런 런타임 감시가 빠지면 충돌 제약을 집행하지 못한다 (Hu et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0048
위험 작업 계획 실패 (Hazardous task planning failure)
embodied LLM 에이전트가 피지컬 위험을 포함한 작업에 대한 계획을 생성하거나 승인하는 실패. (An embodied LLM agent generates or approves a plan for a task that contains physical hazards despite being expected to refuse, revise, or add safety constraints.)
근거 자연어 명령 실행 전 위험 평가 이중언어 데이터셋, 위험 작업 계획 평가 (Instruction Risk Assessment EN-ID, HF)피지컬 AI 시스템에서 '위험 작업 계획 실패' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Agentic LLM-based robotic sys… (Raptis et al., 2025)복잡한 순차 작업에서 에이전트가 잠재 위험을 지나치고 작업 완료를 우선하면, 계획 단계의 위험 차단이 실패한다 (Li et al., 2026)위험을 알아차려도 계획 단계에서 해로운 행동 순서를 생성하면, 인지된 hazard가 안전한 작업 계획으로 바뀌지 못한다 (Ying et al., 2025)SafeAgentBench는 실행 가능한 embodied task에서 위험 지시가 계획 단계에서 걸러지지 않고 실제 hazardous action으로 이어지는지를 평가한다 (Yin et al., 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0050
암묵적 위험 명령 거부 실패 (Implicit hazard non-rejection)
embodied 에이전트가 일반적인 작업 지시에 숨겨진 암묵적 물리 위험을 추론하고 거부하지 못하는 실패. (An embodied agent fails to infer and reject an implicit physical hazard hidden in otherwise ordinary task instructions.)
근거 암묵적 위험 명령(위장 쿼리)에 대한 LLM 반응 평가 기준 (LLM Physical Safety Benchmark, HF)화분에 물 주기처럼 평범한 지시에도 전원 멀티탭이 가까우면 전기 위험을 추론하고 먼저 치워야 한다 (Zhang et al., 2025)위험 의도를 의미 조작과 jailbreak로 숨긴 지시를 만들어, 겉으로 바뀐 명령에서도 피지컬 위험을 추론해 거부해야 함을 평가한다 (Ying et al., 2025)장기 작업에는 겉으로 정상인 과업 속 안전 요구사항이 들어가 있어, stove off 같은 암묵 위험 완화 조건을 놓치는지 평가한다 (Yin et al., 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0052
피지컬 AI 안전 인식 실패 (Embodied safety awareness failure)
embodied 에이전트가 언어 목표를 실행 가능한 피지컬 행동으로 변환할 때 강건한 안전 인식을 결여하는 실패. (An embodied agent lacks robust safety awareness when converting language goals into executable physical actions.)
근거 Embodied VLM과 VLA가 성공적으로 과업을 수행하면서도 안전 위반을 자주 일으켜, 실행 중 안전 인식이 충분하지 않음을 보여준다 (Li et al., 2026)SAFE-DIAGNOSE가 perception·planning·execution을 나눠 보니, embodied VLM은 위험 인식을 안전 실행으로 일관되게 연결하지 못한다 (Ying et al., 2025)IS-Bench에서 최신 VLM 에이전트는 가사 작업을 완료하면서도 동적으로 드러나는 화재·감전·오염 위험을 자주 인식하지 못해 안전 성공률이 낮았다 (Lu et al., 2025)
3H1RH1 HarmlessPH3 HonestP
PHYSBENCH-REF-0054
안전-성능 균형 실패 (Safety-performance trade-off failure)
조작 정책이 충돌 회피 또는 명시적 안전 제약을 희생하면서 작업 완료율을 향상시키는 실패. (A manipulation policy improves task completion while sacrificing collision avoidance or other explicit safety constraints.)
근거 작업 성공만 높이면 충돌 회피 같은 안전 조건이 뒤로 밀릴 수 있다 (VLSA, 2025) 로봇 학습 정책에 안전 제약을 넣어야 한다는 점에서, 안전-성능 균형 실패는 학습 기반 제어의 핵심 실패 유형이다 (Safe Learning in Robotics (2022))피지컬 AI 시스템에서 '안전-성능 균형 실패' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Personalized Assistance in Ro… (Pezeshki et al., 2025)최대 41% 사례에서 과업은 성공했지만 안전 위반이 함께 발생해, 작업 성능과 안전 보장이 분리될 수 있음을 보여준다 (Li et al., 2026)
3H1RH1 HarmlessPH2 HelpfulPRC RoleP
3H1R 예외 Primary 3개 유지 사유: 작업 완료율 향상(H2)과 충돌 회피(H1)가 제어정책(RC) 선택에서 동시에 갈라지는 예외.
PHYSBENCH-REF-0057
구현체 간 행동 공간 불일치 (Cross-embodiment action-space mismatch)
다양한 로봇 구현체에 걸쳐 훈련된 정책이 특정 구현체에 비안전하거나 실행 불가능한 행동에 명령을 매핑하는 실패. (A policy trained across different robot embodiments maps commands into actions that are unsafe or infeasible for a specific robot action space.)
근거 한 로봇의 행동 표현을 다른 로봇에 옮기면 관절과 동작 한계가 맞지 않을 수 있다 (Open X-Embodiment, 2023)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0058
로봇 형태 전이 리스크 (Robot morphology transfer risk)
한 로봇 형태에서 학습된 기술이 다른 형태로 불량하게 전이되어 비안전한 도달·힘·파지·내비게이션을 생성하는 위험. (Skills learned on one robot morphology transfer poorly to another morphology, producing unsafe reach, force, grasp, or navigation behavior.)
근거 몸 구조가 다른 로봇에 같은 기술을 옮기면 균형과 접촉 위험이 달라진다 (Open X-Embodiment, 2023)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestP
PHYSBENCH-REF-0064
인간 시연 전이 모호성 (Human demonstration transfer ambiguity)
인간 시연 데이터의 모호성이 로봇으로 하여금 잠재적 안전 제약을 이해하지 못한 채 행동을 재현하게 하는 위험. (Ambiguities in human demonstration data cause a robot to reproduce actions without understanding latent safety constraints or context-specific limits.)
근거 사람 시연을 겉동작만 따라 하면 언제 조심해야 하는지 숨은 맥락을 놓친다 (RH20T, 2023)
3H1RH1 HarmlessSH3 HonestPRC RoleS
PHYSBENCH-REF-0070
휴머노이드 보상 과적합 위험 (Humanoid reward overfitting risk)
휴머노이드 컨트롤러가 벤치마크 보상 또는 모방 목적에 과적합하여 배포 환경 밖에서 외견상 자연스럽지만 비안전한 행동을 생성하는 위험. (A humanoid controller overfits to benchmark rewards or imitation objectives and produces lifelike but unsafe behavior outside the evaluation setting.)
근거 휴머노이드가 보상 점수에만 맞추면 안전하지 않은 편법 동작을 배울 수 있다 (Self-Imitative RL, 2025) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018)
3H1RH1 HarmlessSH2 HelpfulPH3 HonestPRC RoleS
PHYSBENCH-REF-0071
휴머노이드 행동 재현성 공백 (Humanoid behavior reproducibility gap)
휴머노이드 행동 정책이 시뮬레이션 훈련·평가 환경에서는 안정적으로 보이지만 다른 환경이나 피지컬 세계에서 신뢰성 있게 재현되지 않는 위험. (A humanoid behavior policy appears stable in one simulated training or evaluation setting but cannot be reliably reproduced across seeds, simulators, or deployment contexts.)
근거 같은 휴머노이드 행동이 반복 재현되지 않으면 안전 검증 결과를 믿기 어렵다 (Self-Imitative RL, 2025) 사람-로봇 협업을 디지털 트윈과 실제 시스템 양쪽에서 검증하므로, 휴머노이드 행동 재현성 공백은 시뮬레이션-현실 차이에 민감하다 (A deep learning-enhanced Digital Twin framework for… (2024))
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0076
인간 모방 분포 이동 (Human-mimicking distribution shift)
인간-장면 상호작용을 모방하도록 훈련된 휴머노이드가 물체 형상·장면 배치·상호작용 맥락이 달라질 때 실패하는 위험. (A humanoid trained to mimic human-scene interaction fails when object geometry, scene layout, or interaction context differs from the demonstrations.)
근거 훈련 때와 다른 피지컬 환경에 배포되면 로봇이 익숙한 규칙처럼 잘못 행동할 수 있다 (Mimicking-Bench, 2024)피지컬 AI 시스템에서 '인간 모방 분포 이동' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Toward Reliable Imitation Lea… (Lin et al., 2026)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0077
모션 리타겟팅 안전 실패 (Motion-retargeting safety failure)
인간 동작이 로봇의 피지컬 한계·접촉 제약·안전 요건을 위반하는 방식으로 휴머노이드 몸체에 리타겟팅되는 실패. (Human motion is retargeted to a humanoid body in a way that violates the robot's physical limits, contact constraints, or safe posture requirements.)
근거 사람 움직임을 로봇 관절로 옮기는 과정에서 한계 자세나 충돌이 생길 수 있다 (Mimicking-Bench, 2024) 휴머노이드 다중 접촉 계획·제어를 별도 검증 대상으로 다뤄, 모션 리타겟팅 안전 실패의 자세·접촉 한계 문제가 직접 드러난다 (Multi-contact planning and control for humanoid robots (2023)) 로봇 학습 정책에 안전 제약을 넣어야 한다는 점에서, 모션 리타겟팅 안전 실패는 학습 기반 제어의 핵심 실패 유형이다 (Safe Learning in Robotics (2022))
3H1RH1 HarmlessSH2 HelpfulSH3 HonestP
PHYSBENCH-REF-0081
휴머노이드 제로샷 전이 불안정성 (Zero-shot humanoid sim-to-real instability)
시뮬레이션에서 직접 하드웨어로 전이된 휴머노이드 이동 컨트롤러가 시뮬-피지컬 세계 간 물리 모델 오차로 불안정해지는 위험. (A humanoid locomotion controller transferred directly from simulation to hardware becomes unstable because simulated dynamics do not match real-world contacts, compliance, or disturbances.)
근거 시뮬레이션에서 바로 옮긴 휴머노이드 정책은 실제 바닥과 접촉에서 불안정할 수 있다 (Humanoid-Gym, 2024) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestP
PHYSBENCH-REF-0090
장기 예측 누적 오차 (Long-horizon rollout drift)
휴머노이드 세계 모델의 오차가 미래 예측 지평선에 걸쳐 복합되어 계획이 실제 물리 동역학에서 벗어나게 하는 위험. (Errors in a humanoid world model compound over future prediction horizons, causing plans to diverge from real physical dynamics or hazards.)
근거 긴 작업을 이어갈수록 작은 예측 오차가 쌓여 위험한 행동으로 바뀔 수 있다 (1X World Model, 2025) 로봇 이동 계획이 충돌과 작업공간 안전에 직접 연결된다 (A review: On path planning strategies for …, 2019)
3H1RH1 HarmlessP
PHYSRISK-REF-0019
장기 계획 오차 누적 (Long-horizon error accumulation)
소규모 인지·예측·제어 오차가 긴 작업 시퀀스에 걸쳐 복합되어 최종 피지컬 행동이 안전 경계를 초과하는 위험. (Small perception, prediction, or control errors may compound across long task sequences until the final physical behavior becomes unsafe.)
근거 긴 계획에서 작은 위치·판단 오차가 쌓이면 마지막 동작이 위험해진다 (Embodied AI Survey, 2021)최종 상태는 안전해 보여도 중간 실행 과정에서 안전 조건을 자주 위반해, 긴 순차 행동의 누적 위험을 드러낸다 (Li et al., 2026)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0040
기반 모델 고유의 리스크 (Foundation-model-specific robot risk)
로봇 시스템이 환각·지시 따르기 실패·탈옥 등 기반 모델 고유 행동을 피지컬 결과로 상속하는 위험. (Robotics systems inherit foundation-model behaviors such as hallucination, instruction following failure, and jailbreak susceptibility in safety-critical physical contexts.)
근거 기반모델의 환각과 지시 오해는 로봇의 잘못된 움직임으로 바로 이어질 수 있다 (Kojima et al., 2025)
3H1RH1 HarmlessSH3 HonestPRC RoleP
▶
P3.2
로봇 제어(Robot Control)
45H1RC
제어·액추에이터·모션·경로 계획 오류로 로봇이 의도치 않은 동작을 수행하고 충돌·피해를 유발하는 위험. (Control and planning failures cause unsafe robot motion.)
PHYSBENCH-REF-0005
그리퍼 형상·유형 제약 위반 (Gripper geometry and type constraint violation)
피지컬 에이전트가 그리퍼 형상, 유형, 또는 실행 가능한 접촉 범위 제약을 위반하는 행동을 선택하는 실패. (A physical agent selects an action that violates constraints imposed by gripper geometry, gripper type, or feasible contact mechanics.)
근거 그리퍼 모양과 종류를 무시하면 물체를 놓치거나 사람을 집을 수 있다 (ASIMOV-2.0, 2025) 물체 조작과 파지가 실패할 때 생기는 피지컬 위험을 다룬다 (Soft bionic gripper with tactile sensing a…, 2024)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0006
재료 특성 제약 위반 (Material property constraint violation)
로봇 또는 embodied 모델이 취성·탄성·날카로움·독성·열전달 등 재료 특성을 무시하는 실패. (A robot or embodied model ignores material properties such as fragility, elasticity, sharpness, toxicity, or heat transfer when planning physical actions.)
근거 깨지기 쉽거나 미끄러운 재료 특성을 모르면 잡기와 이동이 위험해진다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0008
열·온도 제약 위반 (Thermal constraint violation)
피지컬 시스템이 물체 취급 또는 인간 근접 작업 중 열·화상·방사선·온도 제약을 무시하는 실패. (A physical system ignores heat, burn, radiation, or temperature constraints in object handling or human-proximate operation.)
근거 뜨거움, 냉기, 방사 같은 온도 제약을 무시하면 화상이나 손상이 생긴다 (ASIMOV-2.0, 2025)밀가루 근처 촛불, 전자레인지 금속 용기처럼 열·화재 조건을 놓치면 조작 작업이 폭발이나 화재 위험으로 바뀐다 (Zhang et al., 2025)
3H1RH1 HarmlessPRC RoleP
PHYSBENCH-REF-0009
기구학·도달 범위 제약 위반 (Kinematics and reach constraint violation)
시스템이 실행 가능한 도달 범위, 관절 한계, 기구학적 제약 밖의 동작을 계획하여 충돌 또는 작업 실패 위험을 높이는 실패. (A system plans a movement outside feasible reach, joint limits, or kinematic constraints, increasing collision or task-failure risk.)
근거 관절 한계와 도달 범위를 넘는 계획은 충돌이나 넘어짐으로 이어질 수 있다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0010
다중 암 협조 제약 위반 (Multi-arm coordination constraint violation)
여러 로봇 암 또는 엔드이펙터가 협조 제약 미표현으로 서로 또는 인간과 간섭하는 실패. (Multiple robot arms or effectors interfere with one another or with humans because coordination constraints are not represented correctly.)
근거 여러 팔이 서로의 공간을 고려하지 않으면 팔끼리 또는 사람과 부딪힐 수 있다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0011
운용 프로토콜 위반 (Operational protocol violation)
피지컬 AI 시스템이 절차적 제약, 안전 체크리스트, 필수 운용 프로토콜을 위반하는 실패. (A physical AI system violates procedural constraints, safety checklists, or required operating protocols for a task or site.)
근거 현장 절차와 체크리스트를 건너뛰면 안전장치가 있어도 사고가 날 수 있다 (ASIMOV-2.0, 2025)전원 멀티탭을 안전구역으로 옮긴 뒤 물을 주는 식의 절차를 요구하므로, 순서와 안전 체크를 건너뛰면 운용 프로토콜 위반이 된다 (Zhang et al., 2025)pre-caution/post-caution 트리거로 전원 차단, 수전 끄기, 깨끗한 표면 사용 같은 절차적 안전 규칙 준수 여부를 평가한다 (Lu et al., 2025)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0013
탑재 하중 제약 위반 (Payload constraint violation)
로봇이 안전한 탑재 하중·부하 분포·리프팅 제약을 초과하여 낙하·액추에이터 손상·인체 상해를 유발하는 실패. (A robot exceeds safe payload, load distribution, or lifting constraints, creating object-drop, actuator, or human-injury risk.)
근거 하중 한계를 넘기면 물체가 떨어지거나 로봇 관절이 손상될 수 있다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessPRC RoleP
PHYSBENCH-REF-0014
작업 공간 한계 위반 (Workspace limit violation)
로봇 또는 embodied 에이전트가 허용된 작업 공간 밖으로 이동하거나 인간 전용·위험 지정 구역에 진입하는 실패. (A robot or embodied agent moves outside a permitted workspace or enters a human-only or hazard-designated zone.)
근거 로봇이 정해진 작업 구역을 벗어나면 사람이나 장비와 충돌할 수 있다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0015
허용 대상물 제약 위반 (Permissible object constraint violation)
피지컬 AI 시스템이 위험·소유권·윤리적 제한으로 배제되어야 할 대상물을 조작하거나 조작을 권장하는 실패. (A physical AI system manipulates or recommends manipulating objects that should be excluded because of hazard, ownership, fragility, or procedural restrictions.)
근거 만지면 안 되는 물체를 조작하면 파손, 오염, 상해가 생길 수 있다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessPRC RoleP
PHYSBENCH-REF-0025
임계 이격 거리 위반 (Critical separation-distance violation)
로봇이 인간-로봇 협업에서 보호 이격 거리 요건을 위반하여 즉각적인 충돌 또는 상해 위험을 생성하는 실패. (A robot violates protective separation distance requirements in human-robot collaboration, creating immediate risk of injury.)
근거 사람과의 안전거리를 깨면 작은 움직임도 곧바로 부상으로 이어질 수 있다 (Huang et al., 2025) 로봇 이동 계획이 충돌과 작업공간 안전에 직접 연결된다 (Collision-free path planning for a guava-h…, 2021) 임계 분리 거리 위반 탐지, 안전 영역 이탈 선행 지표 포함 (Robotics Human Proximity Safety, HF)피지컬 AI 시스템에서 '임계 이격 거리 위반' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; A Multimodal Approach to Huma… (Costanzo et al., 2022)
3H1RH1 HarmlessP
PHYSBENCH-REF-0026
위험 도구 작업 공간 침입 (Hazardous-tool workspace intrusion)
위험 도구를 운반하거나 작동 중인 로봇이 인간 작업 공간에 진입하거나 도구별 배제 요건을 위반하는 실패. (A robot carrying or operating a hazardous tool enters a human workspace or violates tool-specific exclusion requirements.)
근거 위험 도구를 든 로봇이 사람 작업구역에 들어오면 피하기 전에 다칠 수 있다 (Huang et al., 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0027
엔드이펙터 속도 초과 (Excessive end-effector velocity)
로봇이 인간 근접 또는 취약 물체 처리 시 안전한 엔드이펙터 속도 한계를 초과하여 충격·충돌 심각도를 높이는 실패. (A robot exceeds safe end-effector speed limits near humans or fragile objects, increasing impact and collision severity.)
근거 로봇 끝부분이나 몸이 너무 빠르게 움직이면 충돌 충격이 커진다 (Huang et al., 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0028
조기 물체 해제 (Premature object release)
로봇이 안전한 자세 또는 표면에 도달하기 전에 물체를 해제하여 낙하·유출·충격·2차 위험을 유발하는 실패. (A robot releases an object before reaching a safe pose or surface, causing drops, spills, impacts, or secondary hazards.)
근거 물체를 안전한 위치 전에 놓으면 낙하, 파손, 2차 사고가 생긴다 (Huang et al., 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0029
금지 대상 충돌 (Forbidden-object collision)
로봇이 작업 또는 안전 규칙상 접촉이 금지된 물체·사람·장비와 충돌하는 실패. (A robot collides with objects, people, or equipment that must not be contacted under task or safety rules.)
근거 부딪히면 안 되는 물체와 충돌하면 사람, 장비, 환경에 피해가 난다 (Huang et al., 2025) 장애물과 충돌 처리가 실패하면 해당 리스크의 피지컬 사고로 이어진다 (Fuzzy neural networks for obstacle pattern…, 2008) 안전 학습이 충돌·제약을 별도 비용으로 다루는 만큼, 금지 대상 충돌은 보상만으로 해결되지 않는다 (Safe Learning in Robotics (2022))
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0053
장애물 개입 충돌 (Obstacle intervention collision)
VLA 로봇이 이동 중 장애물이 개입할 때 장애물과 충돌하거나 안전 경로를 유지하지 못하는 실패. (A vision-language-action robot collides with an obstacle or fails to maintain a safe path when an obstacle intervenes during manipulation.)
근거 장애물 회피 중 끼어들기 상황을 잘못 처리하면 충돌이 난다 (VLSA, 2025) 장애물과 충돌 처리가 실패하면 해당 리스크의 피지컬 사고로 이어진다 (Obstacle avoidance for a robotic navigatio…, 2023) 안전 학습이 충돌·제약을 별도 비용으로 다루는 만큼, 장애물 개입 충돌은 보상만으로 해결되지 않는다 (Safe Learning in Robotics (2022))불확실한 환경의 경로 계획에서 '장애물 개입 충돌' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Deep reinforcement learning-b… (Tao et al., 2024)실내 이동 로봇의 멀티모달 인식·안전 조작을 다뤄, 장애물 개입 충돌이 실제 내비게이션 위험으로 이어질 수 있다 (Zhang et al., 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0055
제어 장벽 함수 실패 (Control barrier function safety-filter failure)
제어 장벽 함수 기반 안전 레이어가 인지·동역학·모델 오류 하에서 비안전 행동을 제약하지 못하는 실패. (A safety layer based on control barrier functions fails to constrain unsafe actions under perception, dynamics, or model uncertainty.)
근거 안전 필터가 실패하면 금지된 동작을 제어 단계에서 막지 못한다 (VLSA, 2025)설명 가능한 안전 제어에서 '제어 장벽 함수 실패' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Explainable and Safety Aware… (Farzanegan et al., 2025)여러 장애물 환경의 safety-critical control을 다뤄, 안전 필터가 실패하면 제어 장벽이 의도한 충돌 회피를 보장하지 못할 수 있다 (Zhang et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0056
VLA 조작 제약 위반 (VLA manipulation constraint violation)
비전-언어-행동 모델이 고수준 안전 지시에도 불구하고 물체 조작 중 작업별 피지컬 제약을 위반하는 실패. (A vision-language-action model violates task-specific physical constraints during object manipulation despite high-level instruction compliance.)
근거 VLA 모델이 언어 목표만 따라가면 물체 조작의 안전 제약을 놓칠 수 있다 (VLSA, 2025) 물체 조작과 파지가 실패할 때 생기는 피지컬 위험을 다룬다 (VLM-PoseManip: Dexterous robotic manipulat…, 2026)VLA 출력이 로봇 팔 제어 명령으로 직접 실행될 때, 과업을 끝내도 조작 중 안전 제약을 위반할 수 있다 (Li et al., 2026)LMM이 만든 조작 계획을 로봇 행동으로 실행하며, 물체·위험원·안전구역 제약을 함께 지키는지 평가한다 (Zhang et al., 2025)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0061
접촉 조작 힘 감지 실패 (Contact-rich manipulation force-sensing failure)
접촉 집약 조작 정책이 힘·촉각·오디오·시각 단서를 올바르게 사용하지 못하여 비안전 압력·파지·이동을 생성하는 실패. (A contact-rich manipulation policy fails to correctly use force, tactile, audio, or visual cues, creating unsafe pressure, impact, or object-damage risk.)
근거 접촉 조작에서 힘을 잘못 읽으면 로봇이 눌러야 할 때와 멈춰야 할 때를 구분하지 못한다 (RH20T, 2023) 접촉 조작에서는 힘·촉각 피드백을 잘못 읽으면 과압, 파손, 상해가 생길 수 있다 (Towards cost-effective and safe contact-ri…, 2026) 로봇 피부의 촉각 센싱을 다뤄, 접촉 조작 힘 감지 실패는 시각만이 아니라 접촉·촉각 신호 오류에서도 생긴다 (A biomimetic elastomeric robot skin using electrical… (2022))피지컬 AI 시스템에서 '접촉 조작 힘 감지 실패' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Learning-Based High-Precision… (Xiang et al., 2024)이동 조작 로봇의 작업 감지와 전신 제어를 다뤄, 접촉 힘 감지 실패가 조작 안전을 흔들 수 있다 (Ren et al., 2023)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0066
전신 이동 충돌 위험 (Whole-body locomotion collision risk)
휴머노이드 이동 정책이 전신 동작 및 환경 접촉이 충분히 고려되지 않아 물체·벽·인간과 충돌하는 위험. (A humanoid locomotion policy collides with objects, walls, or humans because whole-body motion and environmental contact constraints are not jointly satisfied.)
근거 전신 이동 중 주변 접촉을 잘못 다루면 벽, 물체, 사람과 부딪힌다 (HumanoidBench, 2024) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018) 안전 학습이 충돌·제약을 별도 비용으로 다루는 만큼, 전신 이동 충돌 위험은 보상만으로 해결되지 않는다 (Safe Learning in Robotics (2022)) 휴머노이드 다중 접촉 계획·제어를 별도 검증 대상으로 다뤄, 전신 이동 충돌 위험의 자세·접촉 한계 문제가 직접 드러난다 (Multi-contact planning and control for humanoid robots (2023))불확실한 환경의 경로 계획에서 '전신 이동 충돌 위험' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Socially Acceptable Bipedal R… (Shamsah et al., 2025)
3H1RH1 HarmlessPH3 HonestS
PHYSBENCH-REF-0068
정밀 휴머노이드 접촉력 위험 (Dexterous humanoid contact-force risk)
정밀 휴머노이드 손 또는 전신 조작기가 파지·균형·물체 동역학 간 상호작용으로 비안전한 접촉력을 가하는 위험. (A dexterous humanoid hand or whole-body manipulator applies unsafe contact forces because grasp, balance, and object dynamics are not jointly controlled.)
근거 정밀한 휴머노이드 손이 힘을 과하게 주면 사람 피부나 약한 물체를 다칠 수 있다 (HumanoidBench, 2024) 휴머노이드 몸체와 움직임이 만드는 안전 제약을 다룬다 (Toward humanoid manipulation in human-cent…, 2008)제어 장벽 함수 기반 모션 계획에서 '정밀 휴머노이드 접촉력 위험' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Reactive motion planning fram… (Chen et al., 2025)로봇 피부가 접촉 위치와 힘을 감지하는 방식을 다뤄, 정밀 휴머노이드 접촉력 위험을 줄이려면 촉각 센싱이 핵심임을 보여준다 (Park et al., 2022)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0069
전신 도달 한계 위반 (Whole-body reach-limit violation)
휴머노이드가 실행 가능한 도달·관절·자세 한계 밖의 조작을 시도하여 불안정성·충돌·물체 손상을 증가시키는 실패. (A humanoid attempts manipulation outside feasible reach, joint, or postural limits, increasing instability, collision, or task-failure risk.)
근거 휴머노이드가 몸 전체로 무리하게 뻗으면 균형을 잃거나 관절 한계를 넘을 수 있다 (HumanoidBench, 2024) 휴머노이드 몸체와 움직임이 만드는 안전 제약을 다룬다 (Planning Whole-body Humanoid Locomotion, R…, 2010)제어 장벽 함수 기반 모션 계획에서 '전신 도달 한계 위반' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Reactive motion planning fram… (Chen et al., 2025)이동 조작 로봇의 전신 제어를 다뤄, 도달 한계 위반이 접촉·충돌 위험으로 이어질 수 있다 (Ren et al., 2023)
3H1RH1 HarmlessPRC RoleP
PHYSBENCH-REF-0072
휴머노이드 안전 모니터 실패 (Humanoid safety monitor failure)
런타임 안전 모니터가 배포된 휴머노이드의 비안전 동작·힘·이격·작업 공간 위반을 감지하거나 예방하지 못하는 실패. (A runtime safety monitor fails to detect or prevent unsafe humanoid motion, force, separation, or workspace violations before harm can occur.)
근거 안전 모니터가 위험 자세와 접촉을 놓치면 휴머노이드가 그대로 실행한다 (SPARK, 2025) 휴머노이드가 자기 몸과 부딪히는 상황을 감시·회피하는 실제 안전 문제를 다룬다 (A hybrid approach to practical self collis…, 2006) 휴머노이드 다중 접촉 계획·제어를 별도 검증 대상으로 다뤄, 휴머노이드 안전 모니터 실패의 자세·접촉 한계 문제가 직접 드러난다 (Multi-contact planning and control for humanoid robots (2023))
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0079
이동형 양팔 협조 실패 (Mobile bimanual coordination failure)
이동형 양팔 로봇이 베이스 이동과 양팔 조작을 동기화하지 못하여 충돌·물체 낙하·비안전 작업 실행을 유발하는 실패. (A mobile bi-manual robot fails to synchronize base motion and two-arm manipulation, causing collision, object drop, or unsafe force application.)
근거 이동하면서 양팔을 쓰는 로봇은 몸 이동과 팔 동작이 어긋나면 주변과 부딪힌다 (BiGym, 2024)
3H1RH1 HarmlessPRC RoleP
PHYSBENCH-REF-0080
가정 환경 양팔 조작 위험 (Home-environment bimanual manipulation hazard)
이동형 양팔 시스템이 취약 물체·인간 근접·가전제품 위험을 충분히 모델링하지 않고 복잡한 가정 환경에서 조작을 실행하는 위험. (A mobile bi-manual system executes manipulation in cluttered home environments without sufficiently modeling fragile objects, humans, pets, or narrow spaces.)
근거 가정에서 양팔 조작을 잘못하면 문, 서랍, 식기 같은 생활 물체를 떨어뜨리거나 부딪힌다 (BiGym, 2024)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleP
PHYSBENCH-REF-0083
휴머노이드 보행 강건성 실패 (Humanoid gait robustness failure)
휴머노이드 정책이 외란·탑재 하중 변화·표면 변화·액추에이터 불완전성 하에서 안정적인 보행을 유지하지 못하는 실패. (A humanoid policy fails to maintain stable gait under perturbations, payload shifts, surface changes, or actuator imperfections.)
근거 휴머노이드 보행과 균형이 흔들리면 넘어지며 사람이나 물건을 칠 수 있다 (Humanoid-Gym, 2024) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018)
3H1RH1 HarmlessPH3 HonestS
PHYSBENCH-REF-0085
가정 장기 계획 조작 위험 (Household long-horizon manipulation risk)
범용 가정용 로봇이 장기 조작 단계 전반에 걸쳐 소규모 오차를 누적하여 유출·충돌·손상·과열을 유발하는 위험. (A generalist household robot accumulates small errors across long-horizon manipulation steps, producing spills, collisions, object damage, or unsafe state transitions.)
근거 긴 작업을 이어갈수록 작은 예측 오차가 쌓여 위험한 행동으로 바뀔 수 있다 (RoboCasa365, 2026)2~15단계 가정 작업에서 작은 순서 오류와 상태 변화가 누적되어 유출·과열·오염 같은 unsafe state transition을 만들 수 있다 (Lu et al., 2025)
3H1RH1 HarmlessPRC RoleP
PHYSBENCH-REF-0088
이동-조작 통합 실패 (Locomotion-integrated manipulation failure)
휴머노이드가 이동과 조작을 결합할 때 작업 수행 중 자세·접촉·물체 취급을 불안정하게 하는 실패. (A humanoid combines locomotion and manipulation in ways that destabilize posture, contact, or object handling during open-world tasks.)
근거 걷기와 조작을 동시에 못 맞추면 휴머노이드가 물건을 잡은 채 균형을 잃을 수 있다 (Humanoid Everyday, 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0104
휴머노이드 충돌력 초과 (Humanoid collision-force exceedance)
휴머노이드가 전신 이동·빠른 팔 동작·균형 상실 중 안전 임계값 이상의 충돌력을 생성하는 위험. (A humanoid generates collision forces above safe thresholds during full-body movement, rapid arm motion, or loss of balance.)
근거 휴머노이드 충돌력이 기준을 넘으면 단순 접촉도 사람에게 상해가 될 수 있다 (NIST, 2025) 안전 학습이 충돌·제약을 별도 비용으로 다루는 만큼, 휴머노이드 충돌력 초과는 보상만으로 해결되지 않는다 (Safe Learning in Robotics (2022))제어 장벽 함수 기반 모션 계획에서 '휴머노이드 충돌력 초과' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Reactive motion planning fram… (Chen et al., 2025)
3H1RH1 HarmlessPH3 HonestS
PHYSBENCH-REF-0105
휴머노이드 파지력 초과 (Humanoid grip-force exceedance)
휴머노이드가 물체·작업·인간 접촉 안전 한계 대비 과도한 파지 또는 조작력을 가하는 위험. (A humanoid applies excessive grasp or manipulation force relative to object, task, or human-contact safety limits.)
근거 휴머노이드가 물체를 너무 세게 잡으면 손상이나 손 끼임 사고가 생길 수 있다 (NIST, 2025)촉각·힘 센서 기반 로봇 제어에서 '휴머노이드 파지력 초과' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; TacSuit: A Wearable Large-Are… (Zhou et al., 2024)
3H1RH1 HarmlessSRC RoleP
PHYSBENCH-REF-0106
휴머노이드 보행 속도 초과 (Humanoid walking-speed safety gap)
휴머노이드가 안전한 공유 환경을 위한 정지·회피·인간 근접 한계를 초과하는 속도로 이동하는 위험. (A humanoid moves at a speed that exceeds the stopping, avoidance, or human-proximity limits required for safe shared environments.)
근거 휴머노이드가 사람 주변에서 너무 빨리 걸으면 피하기 어려운 충돌이 생긴다 (NIST, 2025) 사람-로봇 차량 상호작용에서 reachability 기반 안전 보증을 다뤄, 휴머노이드 보행 속도 초과의 궤적·충돌 회피가 계획 단계 이슈가 된다 (On infusing reachability-based safety assurance within planning… (2020))
3H1RH1 HarmlessP
PHYSRISK-REF-0008
비안전 궤적 생성 (Unsafe trajectory generation)
플래너가 형식적으로는 실행 가능하지만 주변 인간·취약 물체·교통 참여자·인프라에 비안전한 궤적을 생성하는 위험. (A planner may generate a trajectory that is formally feasible but unsafe for nearby humans, fragile objects, traffic participants, or constrained workspaces.)
근거 로봇이 허용된 이동 경로나 작업 구역을 벗어나면 사람이나 물건을 들이받을 수 있다 (Slattery et al., 2024) 로봇 이동 계획이 충돌과 작업공간 안전에 직접 연결된다 (An online collision-free trajectory genera…, 2023) 사람-로봇 차량 상호작용에서 reachability 기반 안전 보증을 다뤄, 비안전 궤적 생성의 궤적·충돌 회피가 계획 단계 이슈가 된다 (On infusing reachability-based safety assurance within planning… (2020))
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSRISK-REF-0009
동적 장애물 반응 실패 (Dynamic obstacle response failure)
사람·차량·도구·물체가 예기치 않게 진입할 때 시스템이 동작 계획을 충분히 빠르게 업데이트하지 못하는 실패. (The system may fail to update its motion plan quickly enough when a person, vehicle, tool, or object unexpectedly enters its path.)
근거 움직이는 사람이나 물체에 늦게 반응하면 회피할 시간이 사라진다 (Slattery et al., 2024) 장애물과 충돌 처리가 실패하면 해당 리스크의 피지컬 사고로 이어진다 (Human-inspired dynamic obstacle and inter-…, 2025) 동적 장애물 반응 실패 에피소드 포함, 충돌 회피 실패 시나리오 평가 (Haptal Robotics Failure Benchmark, HF) 오프로드 자율주행에서 정적 장애물 회피 경로계획을 다뤄, 동적 장애물 반응 실패가 주행 안전의 직접 실패 모드가 된다 (Local Path Planning for Off-Road Autonomous Driving… (2012))동적·복잡 환경의 다중 UAV 경로계획을 다뤄, 움직이는 장애물 대응 실패가 비행 충돌 위험으로 이어질 수 있음을 보여준다 (Xu et al., 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSRISK-REF-0010
비상 정지·안전 상태 전환 실패 (Emergency stop or safe-state failure)
인지·계획·전력·네트워크·액추에이터 오류 감지 시 시스템이 안전 상태로 진입하지 못하는 실패. (A system may fail to enter a safe state when perception, planning, power, network, or actuator errors are detected.)
근거 비상정지나 안전 상태 전환이 실패하면 위험 동작을 즉시 끊지 못한다 (Slattery et al., 2024) 로봇 실패-복구 시나리오 로그, 비상 정지 및 안전 상태 전환 실패 패턴 (Robot Failure Recovery Logs, HF)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSRISK-REF-0011
속도·힘 한계 위반 (Speed and force limit violation)
협동 또는 이동 로봇이 인간 근접 시 안전한 속도·이격·압력·토크·힘 한계를 초과하는 위험. (A collaborative or mobile robot may exceed safe speed, separation, pressure, torque, or force limits in proximity to people.)
근거 협동 로봇이 제한 속도와 힘을 넘으면 가까운 사람이 피하기 전에 다칠 수 있다 (ISO 10218, 2025) 접촉과 힘 감지가 틀리면 사람이나 물체에 피해가 생긴다 (Virtual Validation of Power and Force Limi…, 2022)피지컬 AI 시스템에서 '속도·힘 한계 위반' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Learning Neural Force Manifol… (Choi et al., 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSRISK-REF-0012
파지력 상해 (Grasp force injury)
로봇 조작이 과도하거나 잘못 타이밍된 힘을 가하여 인간 접촉 시 압착·꼬집힘·절단·인간공학적 상해를 유발하는 위험. (Robot manipulation may apply excessive or poorly timed force, creating crushing, pinching, cutting, or ergonomic injury risks.)
근거 로봇이 손으로 너무 세게 쥐면 사람 손이나 약한 물체에 바로 상해가 생긴다 (ISO 10218, 2025)
3H1RH1 HarmlessPRC RoleP
PHYSRISK-REF-0013
탑재물 낙하·도구 사용 위험 (Payload drop or tool-use hazard)
로봇이 운반 중인 물체를 떨어뜨리거나 도구를 오용하거나 엔드이펙터 제어를 잃어 피지컬 피해나 재산 손실을 초래하는 위험. (A robot may drop carried objects, misuse tools, or lose end-effector control, producing physical harm or property damage.)
근거 하중 한계를 넘기면 물체가 떨어지거나 로봇 관절이 손상될 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessP
PHYSRISK-REF-0014
정밀 운동 제어 불안정성 (Fine motor control instability)
정밀 손·수술 도구·외골격·산업용 그리퍼의 소규모 제어 오차가 비안전 피지컬 결과로 증폭되는 위험. (Small control errors in dexterous hands, surgical tools, exoskeletons, or industrial grippers may amplify into unsafe physical actions.)
근거 정밀 제어가 흔들리면 작은 손동작도 절단, 찔림, 파손으로 이어질 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessP
PHYSCONN-REF-001
통신 단절 및 제어 링크 손실 (Communication dropout and control-link loss)
로봇 또는 차량이 명령·원격측정·제어 링크를 잃어 비안전 정지·오래된 명령 또는 제어되지 않는 동작을 초래하는 위험. (A robot loses communication or control-link connectivity during operation, reducing supervision and safe control.)
근거 제어 링크가 끊기면 로봇이 마지막 명령대로 계속 움직일 수 있다 (NIST CPS, 2017) 통신과 네트워크 문제는 로봇 제어 지연과 연결된다 (Cognitive computing and wireless communica…, 2020)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSCONN-REF-002
원격 조작 지연 및 불안정성 (Teleoperation latency and instability)
원격 조작 링크의 높거나 변동하는 지연이 폐루프 제어를 불안정하게 하거나 인간 개입을 지연하는 위험. (High or variable latency on a teleoperation link destabilizes control or delays human intervention.)
근거 원격 조작 화면과 실제 로봇 반응이 늦게 맞으면 사람이 제때 멈추지 못한다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSCONN-REF-005
인지·추론 지연 급증 (Perception and inference latency spike)
인지 또는 모델 추론의 지연 급증이 안전 반응 창 밖에서 위험 감지 및 반응을 지연하는 위험. (A sudden delay in perception or inference slows safety-critical robot reactions.)
근거 제어 지연이 커지면 로봇이 멈춰야 할 순간을 지나쳐 위험하게 움직인다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSBENCH-REF-0075
원격 조작 휴머노이드 리스크 (Teleoperated humanoid safety override failure)
원격 조작 휴머노이드가 운영자 명령·네트워크 지연·상황 인식 저하 시 강건한 자율 안전 재정의 기능을 갖추지 못하는 실패. (A teleoperated humanoid lacks robust autonomous safety overrides when operator commands, network latency, or situational awareness become unsafe.)
근거 원격 조작이 늦거나 무시되면 사람이 막아야 할 위험 행동이 계속된다 (SPARK, 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleP
PHYSRISK-REF-0020
실시간 지연 및 동기화 실패 (Real-time latency and synchronization failure)
감지·추론·통신·작동 간 지연이 로봇·차량·드론·원격 수술·산업 시스템의 제어 루프를 불안정하게 만드는 위험. (Delays between sensing, reasoning, communication, and actuation can destabilize control loops in robots, vehicles, drones, or industrial systems.)
근거 제어 지연이 커지면 로봇이 멈춰야 할 순간을 지나쳐 위험하게 움직인다 (Slattery et al., 2024) UAV 운용의 통신·제어·센서 과제를 정리해, 실시간 지연 및 동기화 실패가 드론 안전을 흔드는 운용 조건임을 보여준다 (In-depth review of AI-enabled unmanned aerial vehicles (2024)) UAV 운용의 통신·제어·센서 과제를 정리해, 실시간 지연 및 동기화 실패가 드론 안전을 흔드는 운용 조건임을 보여준다 (Towards the Unmanned Aerial Vehicles (UAVs) (2022))
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSRISK-REF-0041
산업 공정 피해 (Industrial process damage)
제조·건설·광업·에너지 시설의 피지컬 AI가 잘못된 제어로 장비 손상·공정 오염·구조 불안정 또는 환경 사고를 유발하는 위험. (Physical AI in manufacturing, construction, mining, or energy facilities may damage equipment, contaminate processes, or trigger cascading operational failures.)
근거 산업 공정에서 로봇이 잘못 움직이면 장비 손상과 생산 사고가 생긴다 (Slattery et al., 2024) 600개 로봇 조작 에피소드 실패 감지 벤치마크, 산업 공정 손상 패턴 (Haptal Robotics Failure Benchmark, HF)
3H1RH1 HarmlessPRC RoleS
PHYSBENCH-REF-0067
휴머노이드 자기 충돌 위험 (Humanoid self-collision risk)
휴머노이드 컨트롤러가 팔·다리·몸통·손의 궤적을 생성하여 로봇 몸체와 충돌함으로써 안전성과 작업 성능을 저하시키는 위험. (A humanoid controller generates arm, leg, torso, or hand trajectories that collide with the robot body and degrade safety or hardware reliability.)
근거 휴머노이드가 자기 팔과 몸의 위치를 잘못 계산하면 스스로 충돌한다 (HumanoidBench, 2024)
3H1RH1 HarmlessPH3 HonestS
PHYSBENCH-REF-0074
안전 제어 지연 위험 (Safe-control latency risk)
안전 임계 제어 제약이 휴머노이드 동역학에 비해 너무 느리게 집행되어 비안전 동작이 가능해지는 위험. (Safety-critical control constraints are enforced too slowly relative to humanoid dynamics, allowing unsafe motion before mitigation takes effect.)
근거 안전 제어가 휴머노이드 움직임보다 늦으면 위험 자세가 먼저 실행된다 (SPARK, 2025) 현장 모니터링이 약하면 위험 행동을 제때 잡지 못한다 (Brain-inspired safety monitoring-based mod…, 2026) 로봇 학습 제어에서 안전 제약을 보상과 함께 다루므로, 안전 제어 지연 위험은 제어 설계 단계에서 바로 문제된다 (Safe Learning in Robotics (2022)) 휴머노이드 다중 접촉 계획·제어를 별도 검증 대상으로 다뤄, 안전 제어 지연 위험의 자세·접촉 한계 문제가 직접 드러난다 (Multi-contact planning and control for humanoid robots (2023))
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
▶
P3.3
하드웨어·기계적 결함(Hardware & Mechanical Failures)
3H1
부품 마모·기계 고장·열·전력 한계가 동작 정밀도와 안전성을 떨어뜨려 사고로 이어지는 위험. (Mechanical degradation undermines safe operation.)
PHYSCONN-REF-007
부하 시 열·전력 쓰로틀링 (Thermal and power throttling under load)
지속적 부하 하에서 열적 또는 전력 한계가 연산을 쓰로틀하여 제어 및 인지에 대한 실시간 보장을 무너뜨리는 위험. (A robot’s compute or actuator performance drops under heat or power constraints during operation.)
근거 열이나 전력 제한으로 로봇 성능이 떨어지면 안전 반응이 늦어진다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSBENCH-REF-0016
하드웨어 한계 리스크 (Embodiment-specific hardware limitation failure)
모델이 일반적으로 유효해 보이는 행동이라도 특정 로봇 구현체에 비안전하거나 실행 불가능한 행동을 지시하는 실패. (A model issues a physical action that is unsafe or infeasible for a specific robot embodiment despite appearing valid at an abstract task level.)
근거 로봇 몸의 힘, 관절, 센서 한계를 무시하면 실행 단계에서 위험해진다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestP
PHYSRISK-REF-0037
배터리·에너지·환경 위험 (Battery, energy, and environmental hazards)
피지컬 AI 시스템의 대규모 군집이 배터리·에너지·희토류·화재·폐기·지역 환경 위험을 생성하는 위험. (Large fleets of physical AI systems may create battery, energy, rare-material, fire, disposal, or local environmental risks across their operational lifecycle.)
근거 대규모 로봇 운용은 배터리 화재, 폐기물, 에너지 부담을 키울 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessP
▶
P3.4
소프트웨어 취약점·설계 결함(Software Vulnerabilities & Design Flaws)
8Mixed
엣지 케이스 미처리·테스트 부족·알고리즘 결함이 특정 상황에서 잘못된 판단과 물리 피해로 이어지는 위험. (Software design flaws cause unsafe decisions.)
PHYSBENCH-REF-0103
가정 안전 가드레일 실패 (Real-time household guardrail failure)
실시간 가정 안전 가드가 비안전 행동 실행 전에 embodied 에이전트를 정지·경고·재지시하지 못하는 실패. (A real-time household safety guard fails to stop, warn, or redirect an embodied agent before unsafe action execution.)
근거 가정 안전 가드레일이 실시간으로 작동하지 않으면 위험 행동을 실행 전에 막지 못한다 (HomeSafe-Bench, 2026)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSRISK-REF-0038
자율주행차 충돌 위험 (Autonomous vehicle crash risk)
자동화 주행 시스템이 인지 실패·계획 오류·소프트웨어 결함·엣지 케이스·상호작용 오류로 충돌 위험을 생성하는 위험. (Automated driving systems may create crash risk through perception failures, planning errors, software defects, edge cases, or unsafe human-machine handoff.)
근거 자율주행 판단 실패는 도로에서 곧바로 충돌 사고로 이어질 수 있다 (Slattery et al., 2024) 자율 이동체의 판단 실패가 충돌 사고로 이어지는 사례다 (Autonomous vehicle safety: An advanced bag…, 2025) 대규모 다중센서 AV 안전 벤치마크, 충돌 시나리오 평가 기준 데이터 (PhysicalAI Autonomous Vehicles, HF) 오프로드 자율주행에서 정적 장애물 회피 경로계획을 다뤄, 자율주행차 충돌 위험이 주행 안전의 직접 실패 모드가 된다 (Local Path Planning for Off-Road Autonomous Driving… (2012))
3H1RH1 HarmlessPH3 HonestPRC RoleP
3H1R 예외 Primary 3개 유지 사유: 인지·계획 오류(H3), 충돌 피해(H1), 주행 권한·개입 경로(RC)가 한 사고 사슬에 함께 묶이는 예외.
PHYSCONN-REF-004
제어 루프 데드라인 미달 (Control-loop deadline miss)
실시간 제어 루프가 데드라인을 놓쳐 오래된 상태에서 작동이 계산되거나 안전 유지에 너무 늦게 적용되는 위험. (A safety-critical control loop misses its real-time deadline before the robot action is corrected.)
근거 제어 루프가 마감 시간을 놓치면 안전 명령이 실제 동작보다 늦어진다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSCONN-REF-006
온디바이스 연산·메모리 고갈 (On-device compute and memory exhaustion)
디바이스의 연산 또는 메모리 고갈이 안전 임계 인지·계획·모니터링을 저하하거나 중단하는 위험. (On-device compute or memory runs out and degrades safety-relevant perception, planning, or control.)
근거 로봇 내부 연산 자원이 바닥나면 인식, 계획, 제어가 동시에 불안정해진다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSCONN-REF-008
클라우드 오프로드 의존 실패 (Cloud-offload dependency failure)
시스템이 안전 관련 기능을 위한 원격 연산에 의존하고 클라우드 링크 끊어짐 시 적절한 로컬 폴백이 없는 위험. (A robot depends on remote compute for safety-relevant functions and loses that support when the cloud link fails.)
근거 클라우드 의존 기능이 끊기면 현장 로봇이 안전 판단을 잃을 수 있다 (NIST CPS, 2017) 통신과 네트워크 문제는 로봇 제어 지연과 연결된다 (Cognitive computing and wireless communica…, 2020)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSCONN-REF-009
안전 폴백 실패 (Degraded-mode and safe-fallback failure)
연결 또는 연산이 손실될 때 시스템이 안전한 성능 저하 모드(예: 안전 정지, 감속)로 진입하지 못하는 실패. (A robot lacks a safe degraded mode or fallback when normal operation is impaired.)
근거 고장 모드에서 안전 폴백이 없으면 로봇이 위험 상태로 남는다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0036
배포 전 검증 공백 (Pre-deployment validation gap)
기반 모델 탑재 로봇이 피지컬 위험·도메인 이동·적대적 입력·엣지 케이스 등을 충분히 검증하지 않고 배포되는 위험. (A foundation-model-enabled robot is deployed without sufficiently testing physical hazards, domain shift, adversarial inputs, or human interaction risks before release.)
근거 배포 전 검증이 부족하면 현장에 나간 뒤 처음으로 위험이 드러난다 (Kojima et al., 2025) ML 기반 시스템을 배포 전에 시험해야 하는 이유를 안전 검증 관점에서 다룬다 (Testing machine learning based systems: a …, 2020) LIBERO 로봇 초기 상태 실패 아티팩트, 배포 전 검증 갭 정량적 측정 (pi0.5 LIBERO Robot Initial Failures, HF)기능 환경에서 13개 에이전트를 실행 평가하니, 배포 전 행동 안전 검증 없이는 작업 성공과 실제 안전을 함께 보장하기 어렵다 (Li et al., 2026)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleP
PHYSBENCH-REF-0041
로봇 레드팀 커버리지 공백 (Red-team coverage gap for robotics)
로봇 레드팀이 피지컬·적대적·인간 상호작용·배포 환경 리스크의 전범위를 다루지 못하는 위험. (Robot red-teaming fails to cover the full range of physical, adversarial, human-interaction, and deployment-environment hazards.)
근거 로봇 레드팀이 좁으면 실제 공격자가 쓸 피지컬 우회 방법을 놓친다 (Kojima et al., 2025)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleP
▶
P3.5
미학습 환경에서의 강건성 부재(Lack of Robustness in Unseen Environments)
13H3
학습되지 않은 환경에 대한 일반화 실패가 내비게이션·조작 오류와 위험 상황을 유발하는 위험. (Unseen environments break embodied generalization.)
PHYSBENCH-REF-0078
장면 상호작용 모방 모호성 (Scene-interaction imitation ambiguity)
휴머노이드가 숨겨진 의도·물체 어포던스·안전 제약을 추론하지 못한 채 관찰된 장면 상호작용을 모방하는 위험. (A humanoid imitates observed scene interactions without inferring hidden intent, object affordances, or safety constraints, creating unsafe household behavior.)
근거 장면 속 행동을 겉모습만 따라 하면 숨은 의도와 안전 조건을 놓친다 (Mimicking-Bench, 2024)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSBENCH-REF-0046
분포 외 환경 배포 실패 (Out-of-distribution physical deployment failure)
배포된 로봇이 훈련 분포 밖의 피지컬 상태·환경·사람·물체·작업을 만나 비안전 행동을 생성하는 실패. (A deployed robot encounters physical states, environments, people, objects, or tasks outside its training distribution and behaves unsafely.)
근거 훈련 때와 다른 피지컬 현장에 나가면 로봇이 익숙한 상황처럼 착각할 수 있다 (Kojima et al., 2025) 학습 데이터 품질·분포 편이로 인한 조작 실패, OOD 배포 실패 패턴 (Haptal Robotics Failure Benchmark, HF)안전 회피가 로봇을 훈련 데이터에 드문 위치로 밀어내면 VLA 정책이 분포 밖 상태에서 불안정해질 수 있다 (Hu et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0060
분포 외 기술 전이 실패 (Out-of-distribution skill transfer failure)
범용 로봇 정책이 데이터셋 혼합 밖의 작업·물체·환경으로 전이되어 비안전 피지컬 행동을 생성하는 실패. (A generalist robot policy transfers to a task, object, or environment outside the dataset mixture and produces unsafe physical behavior.)
근거 훈련 밖 환경으로 기술을 옮기면 익숙한 동작도 물체나 사람 앞에서 실패할 수 있다 (Open X-Embodiment, 2023)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSRISK-REF-0018
물리 운용 환경 분포 이동 (Distribution shift in physical operation)
배포 환경이 건물·도로·공장·가정·병원·기상 조건에 걸쳐 모델이 적응할 수 있는 것보다 빠르게 변화하는 위험. (Deployment environments may change across buildings, roads, factories, homes, hospitals, or weather conditions faster than monitoring and adaptation mechanisms can detect.)
근거 조명, 바닥, 사람 흐름이 바뀌면 로봇의 기존 판단 규칙이 틀어질 수 있다 (Kojima et al., 2025) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0059
데이터 혼합 커버리지 편향 (Dataset mixture coverage bias)
대규모 다중 소스 로봇 데이터셋이 특정 구현체·작업·환경·기관 설정을 과다 대표하여 낮은 커버리지 도메인에서 안전 취약성을 생성하는 위험. (A large multi-source robot dataset over-represents some embodiments, tasks, environments, or institutional settings and under-represents safety-critical edge cases.)
근거 데이터가 특정 로봇과 상황에 치우치면 빠진 환경에서 안전 실패가 생긴다 (Open X-Embodiment, 2023)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0062
원격 조작 시연 안전 편향 (Teleoperation demonstration safety bias)
로봇 정책이 제한된 환경에서 수집된 원격 조작 인간 시연으로부터 비안전하거나 불완전한 안전 가정을 상속하는 위험. (Robot policies inherit unsafe or incomplete safety assumptions from teleoperated human demonstrations collected under limited contexts.)
근거 원격 조작 시연 데이터가 안전한 상황에 치우치면 실제 위험 대응을 못 배운다 (RH20T, 2023)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0084
가정 작업 커버리지 공백 (Everyday-task combinatorial coverage gap)
가정용 로봇 벤치마크가 다양한 작업을 포함하지만 드문 물체·배치·인간 행동·환경 조합을 여전히 놓치는 위험. (A household robot benchmark covers many tasks but still misses rare combinations of objects, layouts, human behaviors, or hazards that matter in deployment.)
근거 가정 작업 조합이 너무 많아 빠진 상황에서는 로봇이 위험한 선택을 할 수 있다 (RoboCasa365, 2026)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0086
오픈월드 조작 커버리지 공백 (Open-world humanoid manipulation coverage gap)
휴머노이드 조작 데이터셋이 오픈월드 조건·작업 변형·인간 행동·환경 다양성을 과소 대표하는 위험. (A humanoid manipulation dataset underrepresents open-world conditions, task variations, human behaviors, or environmental hazards needed for safe deployment.)
근거 열린 환경의 사람, 물건, 장애물이 데이터에 부족하면 조작 안전성이 떨어진다 (Humanoid Everyday, 2025) 휴머노이드 몸체와 움직임이 만드는 안전 제약을 다룬다 (Pivoting based manipulation by a humanoid …, 2010)피지컬 AI 시스템에서 '오픈월드 조작 커버리지 공백' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Lyapunov-Regularized Meta-Lea… (Ran et al., 2026)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0098
합성 비선호 상황 편향 (Synthetic undesirable-situation bias)
합성 비선호 상황으로부터 생성된 로봇 안전 벤치마크가 현저한 위험을 과다 대표하면서 드문 안전 임계 패턴을 놓치는 위험. (Robot safety benchmarks generated from synthetic undesirable situations overrepresent salient hazards while missing rare, culturally specific, or environment-specific physical risks.)
근거 합성 위험 장면이 편향되면 실제로 중요한 위험 상황을 놓칠 수 있다 (Robot Constitutions, 2025)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleS
PHYSBENCH-REF-0101
가정 환경 커버리지 공백 (Household functional-area coverage gap)
가정용 embodied 에이전트 벤치마크가 특정 생활 공간·일과·가전제품·취약 사용자 시나리오를 과소 대표하는 위험. (A household embodied-agent benchmark underrepresents particular domestic areas, routines, appliances, or vulnerable-user contexts, weakening safety generalization.)
근거 가정 안의 방, 가구, 도구 범위가 빠지면 로봇이 처음 보는 공간에서 위험하게 행동한다 (HomeSafe-Bench, 2026)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleS
PHYSRISK-REF-0015
시뮬레이션→실세계 전이 실패 (Sim-to-real transfer failure)
시뮬레이션에서 훈련·검증된 정책이 실제 마찰·조명·마모·인간 행동·롱테일 변형 하에서 실패하는 위험. (A policy trained or validated in simulation may fail when physical friction, lighting, wear, human behavior, or long-tail events differ from the simulated environment.)
근거 시뮬레이션에서 바로 옮긴 로봇 정책은 실제 피지컬 세계에서 불안정할 수 있다 (Kojima et al., 2025) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018) 사람-로봇 협업을 디지털 트윈과 실제 시스템 양쪽에서 검증하므로, 시뮬레이션→실세계 전이 실패는 시뮬레이션-현실 차이에 민감하다 (A deep learning-enhanced Digital Twin framework for… (2024))
3H1RH1 HarmlessSH2 HelpfulSH3 HonestP
PHYSRISK-REF-0016
합성 데이터 커버리지 공백 (Synthetic data coverage gap)
합성·시뮬레이션 훈련 데이터가 드물지만 안전 임계적인 물체·환경·인간 행동·고장 모드를 누락하는 위험. (Synthetic or simulated training data may omit rare but safety-critical objects, environments, human behaviors, or failure modes.)
근거 합성 데이터가 현실의 다양한 위험을 담지 못하면 배포 후 빈틈이 생긴다 (Slattery et al., 2024) 시뮬레이션에서 배운 정책이 실제 피지컬 환경에서 흔들릴 수 있음을 보여준다 (Sim-to-Real: Learning Agile Locomotion For…, 2018) 사람-로봇 협업을 디지털 트윈과 실제 시스템 양쪽에서 검증하므로, 합성 데이터 커버리지 공백은 시뮬레이션-현실 차이에 민감하다 (A deep learning-enhanced Digital Twin framework for… (2024))
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0082
시뮬레이터 간 검증 사각지대 (Sim-to-sim verification blind spot)
시뮬레이터 간 전이 검사를 통과한 정책이 모델화되지 않은 피지컬 세계 표면·충격·지연·마모 하에서 실패하는 위험. (A policy that passes transfer checks between simulators still fails under unmodeled real-world surfaces, impacts, delays, or actuator constraints.)
근거 시뮬레이터끼리 통과해도 실제 피지컬 세계의 마찰과 지연은 놓칠 수 있다 (Humanoid-Gym, 2024)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestP
I2
Interaction Safety
상호작용 안전성
L3 10개
인간-로봇·로봇-로봇·환경·입력·공격 상호작용 과정에서 발생하는 리스크
▶
I3.1
의도적·악의적 피해(Purposeful / Malicious Harm)
17H1RC
악의적 행위자가 탈옥·조작·기만으로 안전 가드레일을 우회해 비가역적 피지컬 피해를 유발하는 위험. (Adversarial interaction bypasses safety guardrails.)
PHYSBENCH-REF-0017
LLM Agent 탈옥 (Embodied LLM contextual jailbreak)
공격자가 피지컬 작업 맥락으로 프레임을 구성하여 embodied LLM 에이전트가 안전 제한을 우회하고 악의적 피지컬 행동을 수용하도록 유도하는 위험. (An attacker frames a physical task context so an embodied LLM agent bypasses safety restrictions and accepts malicious physical action instructions.)
근거 악성 지시를 피지컬 과업처럼 꾸미면 로봇이 안전 차단을 뚫고 위험 행동을 할 수 있다 (Zhang et al., 2024) 그림 1은 프롬프트 주입이 사용자 입력을 거쳐 LLM 응답과 외부 동작 실행 경로를 바꾸는 구조를 보여준다 (A white-box prompt injection attack on emb…, 2026) LLM 물리 제어(드론) 탈옥 취약성 평가, 4종 데이터셋으로 안전 거부 측정 (LLM Physical Safety Benchmark, HF)jailbreak로 위험 의도를 우회 표현한 지시가 embodied agent의 안전 정렬을 흔들어 해로운 피지컬 행동 계획으로 이어질 수 있다 (Ying et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0018
언어-행동 안전 정렬 실패 (Linguistic-action safety misalignment)
피지컬하게 유해한 지시를 언어적으로 재구성하여 모델이 비안전한 피지컬 세계 행동을 무해한 작업으로 처리하도록 유도하는 위험. (A physically harmful instruction is linguistically reframed so the model treats unsafe real-world action as benign or task-compliant.)
근거 위험한 행동도 말만 바꾸면 로봇이 안전한 작업으로 착각할 수 있다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0019
물리적 행동 기만 (Conceptual deception in physical action)
공격자가 간접 개념·대체 표현·완곡어법을 사용하여 로봇 또는 embodied 에이전트가 유해한 피지컬 행동을 수행하도록 유도하는 위험. (The attacker uses indirect concepts, substitutions, or euphemisms to induce a robot or embodied agent to perform a harmful physical action.)
근거 위험한 대상을 다른 말로 숨기면 로봇이 해로운 피지컬 행동을 그대로 실행할 수 있다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0020
악의적 행동 요청 (Malicious physical action query execution)
embodied LLM 에이전트가 피지컬 위해·프라이버시 침해·파괴·사기 등을 요청하는 사용자 쿼리를 수용하고 실행하는 위험. (An embodied LLM agent accepts and executes a user query that requests physical harm, privacy violation, sabotage, fraud, illegal activity, or hateful conduct.)
근거 악성 요청이 그대로 실행되면 로봇이 폭력, 절도, 파괴 같은 행동을 할 수 있다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0022
피지컬 AI 파괴 행위 (Embodied sabotage)
피지컬 AI 시스템이 장비·인프라 또는 다른 피지컬 시스템을 손상·무력화·방해·변조하도록 유도되는 위험. (A physical AI system is induced to damage, disable, obstruct, or tamper with equipment, infrastructure, or other physical assets.)
근거 로봇이 장비나 시설을 망가뜨리도록 유도되면 피지컬 피해가 바로 생긴다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0023
사기·불법 실행 및 지원 (Embodied fraud or illegal-action execution)
embodied 에이전트가 사기·절도·침입·탈세 등 불법 물리 행위를 수행하거나 실질적으로 지원하는 위험. (An embodied agent carries out or materially assists fraud, theft, trespass, evasion, or other illegal physical-world actions.)
근거 로봇이 사기, 절도, 무단 침입 같은 불법 행동의 실행 도구가 될 수 있다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0024
피지컬 AI의 혐오·학대 행동 (Hateful or abusive embodied action)
피지컬 AI 시스템이 사람들을 향한 차별적·괴롭힘·위협·학대적 행동을 수행하도록 유도되는 위험. (A physical AI system is directed to perform discriminatory, harassing, intimidating, or abusive actions toward people in shared environments.)
근거 로봇이 사람을 향해 차별적이거나 위협적인 행동을 직접 수행할 수 있다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0031
영상-행동 공격 안전 위반 (Safety violation under video-action attack)
공격자가 인지-행동 시퀀스를 조작하여 로봇 에이전트가 중대·위험·치명적 안전 규칙을 위반하게 하는 위험. (An attacker manipulates perception-action sequences so a robotic agent violates critical, dangerous, or risky safety rules.)
근거 ANNIE는 2,400개 video-action sequence로 embodied AI 공격이 critical·dangerous·risky safety violation을 일으키는지를 평가한다 (Huang et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0044
언어 명령 기반 로봇 정책 공격 (Language-instruction attack on robot policy)
악의적 언어 지시·접미사·프롬프트가 의도된 로봇 정책을 변경하여 비안전 피지컬 행동을 유발하는 위험. (Malicious language instructions, suffixes, or prompts alter the intended robot policy and induce unsafe physical behavior.)
근거 악성 언어 명령이 로봇 정책을 바꾸면 안전하지 않은 행동이 실행될 수 있다 (Kojima et al., 2025)악의적 자연어 지시가 로봇의 계획 정책을 바꿔 사람·환경·에이전트 자신에게 해로운 행동을 선택하게 하는지를 시험한다 (Ying et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0049
명시적 위험 명령 거부 실패 (Explicit hazard non-rejection)
embodied 에이전트가 명확히 진술된 피지컬 위험 지시를 거부하지 못하고 비안전 작업 실행 방향으로 나아가는 실패. (An embodied agent fails to reject a clearly stated physical hazard instruction and proceeds toward unsafe task execution.)
근거 명시적 물리 위험 명령에 대한 LLM 거부 여부 측정 데이터셋 (LLM Physical Safety Benchmark, HF)사람 손을 칼로 찌르라는 공격형 지시를 거부해야 하는 과제로, 명시적 위험 명령 거부 능력을 직접 평가한다 (Zhang et al., 2025)명시적 위험 지시를 거부해야 하는 baseline hazardous instruction으로, 위험 의도가 분명해도 embodied agent가 실행 계획을 만들 수 있음을 평가한다 (Ying et al., 2025)상세 hazardous task는 위험 의도가 명시된 실내 로봇 명령을 에이전트가 거부하지 못하는지를 직접 측정한다 (Yin et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0095
헌법적 안전 조향 실패 (Constitutional safety steering failure)
헌법적 조향 메커니즘이 지시·맥락·모달리티가 안전 원칙에 도전할 때 로봇 행동을 정렬하지 못하는 실패. (A constitutional steering mechanism fails to align robot behavior with safety principles when instructions, context, or visual scenes imply physical danger.)
근거 안전 원칙이 실제 로봇 행동 규칙으로 충분히 바뀌지 못할 수 있다 (Robot Constitutions, 2025) 로봇 안전 명령 데이터셋, 헌법적 안전 조향 준수 여부 검증 (Robot Safety Commands, HF)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0097
페르소나 제약 실패 (Embodiment-persona constraint failure)
휴머노이드 로봇 등 구현체 페르소나 하에서 작동하는 모델이 해당 역할을 올바른 피지컬 제약으로 변환하지 못하는 실패. (A model acting under an embodiment persona such as a humanoid robot fails to translate that role into correct physical constraints, refusals, or safe alternatives.)
근거 로봇 역할을 흉내 내는 모델이 실제 몸의 한계와 위험을 제대로 반영하지 못할 수 있다 (Robot Constitutions, 2025)
3H1RH1 HarmlessSRC RoleP
PHYSRISK-REF-0028
프롬프트→행동 주입 공격 (Prompt-to-act injection)
언어 매개 로봇 또는 에이전트가 악의적 지시·표지·QR코드·음성 명령·문서를 안전 위반 피지컬 행동으로 변환하는 위험. (A language-mediated robot or agent may convert malicious instructions, signs, QR codes, voice commands, or documents into unsafe physical actions.)
근거 프롬프트 주입이 텍스트 응답을 넘어 로봇의 실제 행동으로 이어질 수 있다 (Slattery et al., 2024) 입력 교란이 시스템 행동을 바꾸는 공격면을 보여준다 (Phantom in the opera: adversarial music at…, 2024)프롬프트 수준의 위험 지시가 SAFE-THOR 어댑터를 거쳐 PickUp·Navigate 같은 실행 행동으로 변환되는 공격 경로를 평가한다 (Ying et al., 2025)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleS
PHYSRISK-REF-0043
조작·이동 능력 공격 전용화 (Manipulation/mobility repurposed for attack)
조작 및 이동 기능이 타격·투척·돌진 공격에 전용되는 위험. (A robot’s manipulation or mobility capabilities are repurposed to physically attack people, property, or infrastructure.)
근거 로봇의 팔과 이동 기능이 공격 도구로 바뀌면 사람이 직접 다칠 수 있다 (Boston Dynamics et al., 2022) 로봇 시스템이 사이버 공격을 받으면 피지컬 행동도 흔들릴 수 있다 (Detection of Cyber-attacks to indoor real …, 2018)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSRISK-REF-0045
물리적 침입 및 절도 (Autonomous physical intrusion and theft)
자율적 침입·잠금 우회·보안 공간 내 정찰 위험. (An autonomous robot enters restricted spaces or takes physical objects without authorization.)
근거 자율 로봇이 제한구역에 들어가거나 물건을 가져가면 피지컬 보안 사고가 된다 (Embodied-platform physical security threat assessment) 침입 탐지 문제를 통해 피지컬 접근 위험을 설명한다 (A real-time intelligent intrusion detectio…, 2025)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSRISK-REF-0046
표적 추적 및 물리적 괴롭힘 (Targeted following and physical harassment)
특정 개인을 향한 표적 추적·위협·괴롭힘 자동화 위험. (A robot follows, blocks, or approaches a targeted person in a harassing physical manner.)
근거 로봇이 특정 사람을 따라가거나 막아서면 피지컬 괴롭힘이 된다 (Citron, 2014)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSRISK-REF-0030
로봇의 무기화 오남용 (Robot-as-weapon misuse)
이동·항공·휴머노이드·조작기 시스템이 감시·위협·파괴 또는 직접적인 피지컬 해악을 위해 전용되는 위험. (Mobile, aerial, humanoid, or manipulator systems may be repurposed for surveillance, intimidation, sabotage, or physical attack.)
근거 로봇의 이동과 조작 능력이 사람을 해치는 수단으로 바뀔 수 있다 (Zhang et al., 2024) 로봇 능력이 무기화될 때 생기는 피지컬 피해를 다룬다 (The future of war: could lethal autonomous…, 2020)
3H1RH1 HarmlessPRC RoleP
▶
I3.2
물리적 공격(Physical Attacks)
1H1RC
하드웨어 변조·구성요소 조작·무기 부착 등 직접 물리 공격으로 로봇 안전 기능이 무력화되는 위험. (Physical tampering disables robot safety.)
PHYSRISK-REF-0044
현장 무기 부착 휴머노이드 (Field weapon attachment to humanoid)
현장 변형으로 휴머노이드 또는 이동 플랫폼에 무기가 부착되는 위험. (A humanoid robot is fitted with a weapon or hazardous payload in the field, creating direct physical harm risk.)
근거 휴머노이드에 무기를 붙이면 사람처럼 움직이는 플랫폼이 곧바로 공격 수단이 된다 (UN CCW, 2023)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
▶
I3.3
사이버보안 위협(Cybersecurity Threats)
4Mixed
IoT·클라우드·네트워크·센서 신호 공격으로 로봇이 탈취되거나 위험 행동을 하게 되는 위험. (Cyberattacks hijack connected embodied systems.)
PHYSBENCH-REF-0043
로봇 백도어 공격 취약성 (Robotic backdoor attack vulnerability)
훈련 또는 배포 파이프라인에 삽입된 숨겨진 트리거가 특정 피지컬·입력 조건에서 비안전 로봇 행동을 유발하는 위험. (Training or deployment pipelines insert hidden triggers that cause unsafe robotic behavior under specific physical or instruction conditions.)
근거 숨겨진 트리거가 로봇 정책에 남아 있으면 특정 상황에서 위험 행동이 켜진다 (Kojima et al., 2025)
3H1RH1 HarmlessPH3 HonestPRC RoleP
3H1R 예외 Primary 3개 유지 사유: 은닉 트리거가 입력 해석(H3), 안전 행동(H1), 훈련·배포 통제 경로(RC)를 동시에 무너뜨리는 예외.
PHYSRISK-REF-0029
로봇 군집 하이재킹 (Fleet hijacking)
클라우드·업데이트·API·오케스트레이션 레이어의 취약성이 여러 로봇·차량·드론·산업 시스템을 동시에 침해하는 위험. (A vulnerability in a cloud, update, API, or orchestration layer may allow many robots, vehicles, drones, or industrial systems to be compromised together.)
근거 여러 로봇이 한꺼번에 탈취되면 충돌, 침입, 서비스 마비가 동시에 생긴다 (Slattery et al., 2024) 로봇 시스템이 사이버 공격을 받으면 피지컬 행동도 흔들릴 수 있다 (Detection of Cyber-attacks to indoor real …, 2018) UAV 운용과 제어 과제를 폭넓게 다뤄, 로봇 군집 하이재킹이 군집·이동형 로봇 보안으로 이어질 수 있다 (Towards the Unmanned Aerial Vehicles (UAVs) (2022))
3H1RH1 HarmlessSRC RoleP
PHYSRISK-REF-0031
핵심 인프라 로봇 파괴 (Critical infrastructure robotic sabotage)
로봇 검사·유지보수·물류·에너지·제조 시스템이 핵심 인프라를 교란하거나 손상하는 데 사용되는 위험. (Robotic inspection, maintenance, logistics, energy, or manufacturing systems may be used to disrupt critical infrastructure when compromised or misused.)
근거 로봇이 장비나 시설을 망가뜨리도록 유도되면 피지컬 피해가 바로 생긴다 (Slattery et al., 2024)
3H1RH1 HarmlessPRC RoleS
PHYSRISK-REF-0027
센서 스푸핑 및 신호 주입 (Sensor spoofing and signal injection)
공격자가 GNSS·카메라·라이다·레이더·RFID·오디오·촉각·무선 신호를 조작하여 피지컬 행동을 변경하는 위험. (Attackers may manipulate GNSS, camera, LiDAR, radar, RFID, audio, tactile, or wireless signals to alter physical behavior.)
근거 가짜 센서 신호가 들어오면 로봇이 주변 상황을 잘못 보고 위험하게 움직일 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleP
3H1R 예외 Primary 3개 유지 사유: 가짜 센서 신호가 세계 인식(H3)을 바꾸고 안전 행동(H1)과 신호 통제 경로(RC)를 함께 흔드는 예외.
▶
I3.4
센서·입력 검증 실패(Sensor & Input Validation Failures)
4H3H1
센서 오작동·스푸핑·입력 검증 실패로 환경을 잘못 평가해 안전하지 않은 행동이 유발되는 위험. (Bad sensing or input validation causes unsafe action.)
PHYSBENCH-REF-0002
물리적 위험 인지 실패 (Physical danger perception failure)
멀티모달 또는 embodied AI가 텍스트·이미지·영상 입력으로부터 피지컬 위험 상태를 식별하지 못하는 실패. (A multimodal or embodied AI system fails to identify a physically dangerous state from text, image, or video inputs before unsafe action occurs.)
근거 로봇이 위험 장면을 위험하다고 보지 못하면 피해야 할 행동을 계속한다 (ASIMOV-2.0, 2025)얼룩, 가연물, 물과 전기기기의 근접 같은 시각적·공간적 위험 상태를 VLM이 놓치는지를 평가한다 (Lu et al., 2025)
3H1RH1 HarmlessPH3 HonestP
PHYSBENCH-REF-0099
가정 비안전 행동 미검출 (Household unsafe-action false negative)
비전-언어 모델이 embodied 에이전트의 제안된 가정 내 행동이 비안전함을 감지하지 못하여 위험한 행동을 허용하는 실패. (A vision-language model fails to detect that an embodied agent's proposed household action is unsafe, allowing hazardous behavior to proceed.)
근거 위험 행동을 안전하다고 잘못 판정하면 가정용 로봇이 그대로 실행한다 (HomeSafe-Bench, 2026)피지컬 AI 시스템에서 '가정 비안전 행동 미검출' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; IEI-TIA: Industrial Embodied… (Dong et al., 2026)가정 내 행동 계획의 중간 unsafe state를 최종 상태 평가가 놓칠 수 있어, 제안된 행동의 비안전성을 과정 단위로 검사한다 (Lu et al., 2025)
3H1RH1 HarmlessPH3 HonestP
PHYSRISK-REF-0007
어포던스 오분류 (Affordance misclassification)
물체 또는 환경에 잘못된 행동 가능성이 부여되어 시스템이 비안전하게 파지·밀기·내비게이션·상호작용하는 위험. (Objects or environments may be assigned incorrect action possibilities, leading the system to grasp, push, navigate, or manipulate them unsafely.)
근거 물건의 용도와 잡는 방법을 잘못 알면 위험한 방식으로 사용한다 (Slattery et al., 2024)
3H1RH1 HarmlessSH3 HonestPRC RoleP
PHYSRISK-REF-0005
위치 추정 누적 오차 (Localization drift)
GPS·SLAM·관성 감지·지도 정렬 오차가 누적되어 시스템이 잘못된 위치 추정에 기반하여 행동하는 위험. (Errors in GPS, SLAM, inertial sensing, or map alignment can accumulate until the system acts on an incorrect estimate of its own position.)
근거 위치 추정이 조금씩 밀리면 로봇이 안전 구역과 장애물 위치를 잘못 안다 (Slattery et al., 2024) GPS/IMU 기반 로컬라이제이션 시나리오 포함, 위치 추정 드리프트 평가 가능 (PhysicalAI Autonomous Vehicles, HF)
3H1RH1 HarmlessSH3 HonestP
▶
I3.5
허위 정보(Misinformation)
5H3
환각·세계모델 오류가 물체·상황 오인식과 그럴듯하지만 위험한 행동 계획으로 전이되는 위험. (Hallucinations become unsafe action plans.)
PHYSBENCH-REF-0089
휴머노이드 세계 모델 환각 (Humanoid world-model hallucination)
생성적 세계 모델이 피지컬하게 그럴듯해 보이지만 잘못된 미래 관측 또는 상태를 예측하여 휴머노이드 계획을 잘못 안내하는 위험. (A generative world model predicts physically plausible-looking but incorrect future observations or states, misleading humanoid planning and control.)
근거 휴머노이드가 세계 상태를 잘못 상상하면 없는 장애물이나 접촉을 기준으로 움직인다 (1X World Model, 2025)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0091
잠재 상태 압축 안전 손실 (Latent-state compression safety loss)
휴머노이드 상호작용 상태 압축이 안전 관련 접촉·충돌 근접·물체 불안정성 세부 정보를 제거하는 위험. (Compression of humanoid interaction states removes safety-relevant details such as contact, near-collision, object instability, or human proximity.)
근거 압축된 내부 상태가 안전 신호를 버리면 위험한 접촉을 예측하지 못한다 (1X World Model, 2025)불확실한 환경의 경로 계획에서 '잠재 상태 압축 안전 손실' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Learning-Based Risk-Bounded P… (Meng et al., 2024)
3H1RH1 HarmlessP
PHYSBENCH-REF-0092
미래 접촉 예측 실패 (Future contact prediction failure)
휴머노이드 세계 모델이 안전한 계획에 필요한 접촉 이벤트 또는 충돌 상태를 예측하지 못하는 실패. (A humanoid world model fails to forecast contact events or collision states that are necessary for safe planning.)
근거 미래 접촉을 잘못 예측하면 충돌 직전까지 위험을 보지 못한다 (1X World Model, 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0102
VLM 비안전 행동 추론 오류 (VLM unsafe-action reasoning error)
비전-언어 모델이 가정 장면을 관찰하지만 피지컬 결과·물체 어포던스·안전 규범에 대해 잘못 추론하는 실패. (A vision-language model observes the household scene but reasons incorrectly about physical consequences, object affordances, or human exposure.)
근거 VLM이 장면을 그럴듯하게 설명해도 실제 행동의 위험은 놓칠 수 있다 (HomeSafe-Bench, 2026)
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0017
물리 모델 환각 (Physics model hallucination)
세계 모델이 피지컬하게 불가능하거나 불안정한 행동 결과를 추론하여 외견상 유효한 표현에서 비안전 계획을 유발하는 위험. (A world model may infer physically impossible or unstable action consequences, causing plans that appear valid in representation but fail in the real world.)
근거 피지컬 법칙을 잘못 상상한 모델은 불가능하거나 위험한 동작을 계획할 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessSH3 HonestP
▶
I3.6
동적 환경 요인(Dynamic Environmental Factors)
11H3
환경 변화·가림·날씨·교란이 센서 데이터와 상황 인식을 흔들어 잘못된 물리 행동으로 이어지는 위험. (Changing environments mislead perception and action.)
PHYSBENCH-REF-0030
감각 교란 기반 비안전 행동 (Adversarial sensory perturbation induced unsafe action)
영상 또는 감각 입력의 적대적 변경이 로봇 정책으로 하여금 비안전 피지컬 행동을 선택하게 하는 위험. (Adversarial changes to video or sensory inputs cause a robot policy to select unsafe physical actions.)
근거 센서 입력이 틀어지면 로봇의 상황 판단도 함께 틀어진다 (Advanced Sensor Systems for Robotics and A…, 2023) AV 센서 원시 데이터, 적대적 센서 교란 주입 효과 측정 기준 (AV Raw Sensor Telemetry, HF)
3H1RH1 HarmlessPH3 HonestPRC RoleS
PHYSBENCH-REF-0034
시각 기반 안전 RL 제약 실패 (Vision-only safe RL constraint failure)
시각 전용 관측을 사용하는 안전 강화학습 에이전트가 제한된 인지로 안전 제약을 추론하는 데 실패하는 위험. (A safe reinforcement learning agent using vision-only observation fails to infer safety constraints from limited perceptual inputs.)
근거 카메라만 보는 안전 RL은 보이지 않는 접촉 위험과 제약을 놓칠 수 있다 (Safety-Gymnasium, 2023) 로봇 학습 제어에서 안전 제약을 보상과 함께 다루므로, 시각 기반 안전 RL 제약 실패는 제어 설계 단계에서 바로 문제된다 (Safe Learning in Robotics (2022))
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0042
물리적 적대 패치 취약성 (Physical adversarial patch vulnerability)
적대적 패치·표지 등 피지컬 세계 물리 교란이 로봇 인지 및 하위 제어를 조작하는 위험. (Physical-world perturbations such as adversarial patches or signs manipulate robotic perception and downstream control.)
근거 적대적 표지나 물체가 센서를 속이면 로봇이 잘못된 방향으로 움직일 수 있다 (Kojima et al., 2025)
3H1RH1 HarmlessSH3 HonestPRC RoleP
PHYSBENCH-REF-0063
시각-촉각 모달리티 불일치 (Visual-tactile modality mismatch)
모델이 접촉 집약 조작에서 시각·촉각·힘·오디오 신호를 정렬하지 못하여 잘못된 접촉 상태 추정을 생성하는 실패. (A model misaligns visual, tactile, force, or audio signals in contact-rich manipulation, leading to incorrect contact-state estimates.)
근거 보이는 정보와 만지는 정보가 어긋나면 힘 조절과 접촉 판단이 틀어진다 (RH20T, 2023) 로봇 피부의 촉각 센싱을 다뤄, 시각-촉각 모달리티 불일치는 시각만이 아니라 접촉·촉각 신호 오류에서도 생긴다 (A biomimetic elastomeric robot skin using electrical… (2022))
3H1RH1 HarmlessSH3 HonestPRC RoleP
PHYSBENCH-REF-0107
휴머노이드 센서 시험 공백 (Humanoid sensor test coverage gap)
휴머노이드 안전 평가에 인지 신뢰성·장애물 감지·인간 감지·제어 응답에 대한 표준화된 센서 시험이 부재하는 위험. (Humanoid safety assessment lacks standardized sensor tests for perception reliability, obstacle detection, human detection, and near-field awareness.)
근거 센서 시험 범위가 좁으면 어두움, 반사, 가림 같은 실제 조건을 놓친다 (NIST, 2025) 협업 제조에서 사람·로봇 행동 감지로 안전·신뢰성을 관리해야 하므로, 휴머노이드 센서 시험 공백은 현장 운용 변수로 나타난다 (A deep learning-enhanced Digital Twin framework for… (2024))
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0001
가림에 의한 충돌 (Occlusion-induced collision)
피지컬 AI 시스템이 가림으로 숨겨진 사람·동물·차량·장애물을 감지하지 못하여 비안전 동작을 유발하는 위험. (A Physical AI system may fail to detect people, animals, vehicles, or obstacles hidden by occlusion, causing unsafe motion in shared physical space.)
근거 가려진 사람이나 물체를 못 보면 로봇이 빈 공간이라고 믿고 진입한다 (Slattery et al., 2024) 장애물과 충돌 처리가 실패하면 해당 리스크의 피지컬 사고로 이어진다 (A robust collision prediction and detectio…, 2023) AV 클립 데이터셋, 가림(occlusion) 포함 충돌 예측 시나리오 (PAI-AV-NCore, HF)불확실한 환경의 경로 계획에서 '가림에 의한 충돌' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; NR-RRT: Neural Risk-Aware Nea… (Meng et al., 2024)
3H1RH1 HarmlessP
PHYSRISK-REF-0003
다중 센서 융합 충돌 (Multimodal sensor fusion conflict)
카메라·라이다·레이더·촉각·자기 수용 신호의 충돌이 불안정한 장면 추정 및 비안전 하위 행동을 초래하는 위험. (Conflicting camera, LiDAR, radar, tactile, or proprioceptive signals may lead to unstable scene estimates and unsafe downstream control decisions.)
근거 카메라, 라이다, 촉각 신호가 충돌하면 로봇이 어느 정보를 믿을지 틀릴 수 있다 (Slattery et al., 2024) 자율 이동체의 판단 실패가 충돌 사고로 이어지는 사례다 (NATIONAL LABORATORY FOR AUTONOMOUS VEHICLE…, 2020) AV 다중센서 원시 데이터, 센서 간 충돌·불일치 패턴 탐지 평가용 (AV Raw Sensor Telemetry, HF)피지컬 AI 시스템에서 '다중 센서 융합 충돌' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; A Multimodal Approach to Huma… (Costanzo et al., 2022)단일 시야의 가림과 깊이 한계를 보완하려고 다중 RGB-D 점군을 융합하므로, 센서 융합이 틀리면 장애물 형상이 잘못 추정된다 (Hu et al., 2025)
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0004
적대적 물체·표지 조작 (Adversarial object or sign manipulation)
스티커·변경된 표지·의복 패턴·물체 배치 등 피지컬 교란이 인지를 조작하여 비안전 행동을 유발하는 위험. (Physical perturbations such as stickers, altered signs, clothing patterns, or object placement can manipulate perception models used by robots or autonomous vehicles.)
근거 적대적 표지나 물체가 센서를 속이면 로봇이 잘못된 방향으로 움직일 수 있다 (Slattery et al., 2024) 연결 차량의 침입 탐지·완화를 XAI 문제로 다뤄, 적대적 물체·표지 조작이 인식 안전과 보안을 동시에 흔들 수 있다 (Explainable Artificial Intelligence (XAI) for Intrusion Detection… (2023))자율주행 딥러닝 모델의 적대적 공격·방어를 안전 관점에서 정리해, 표지·객체 조작이 주행 판단을 흔들 수 있음을 보여준다 (Ibrahum et al., 2024)
3H1RH1 HarmlessSH3 HonestPRC RoleP
PHYSRISK-REF-0033
배포 후 모니터링 불충분 (Insufficient post-deployment monitoring)
환경 변화·부품 열화·모델 업데이트·아차사고 이후에도 피지컬 AI 시스템이 운용을 계속하는 위험. (Physical AI systems may continue operating after environmental changes, component degradation, model updates, or near-miss incidents invalidate earlier safety assumptions.)
근거 배포 뒤 감시가 약하면 현장에서 새로 생긴 위험을 늦게 발견한다 (Slattery et al., 2024) 현장 모니터링이 약하면 위험 행동을 제때 잡지 못한다 (Visual quality and safety monitoring syste…, 2023)
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0002
악천후 인지 실패 (Adverse weather perception failure)
비·안개·눈부심·먼지·연기·저조도가 카메라·라이다·레이더·촉각·오디오 인지를 저하시켜 비안전 행동을 유발하는 위험. (Rain, fog, glare, dust, smoke, or low light may degrade cameras, LiDAR, radar, tactile sensors, or audio perception, weakening real-time situational awareness.)
근거 비, 눈, 안개는 센서 인식을 흐려 자율 이동 판단을 틀리게 만든다 (Slattery et al., 2024) 로봇 이동 계획이 충돌과 작업공간 안전에 직접 연결된다 (Perception-Driven Path Planning Strategies…, 2026) 다양한 날씨·조명 조건의 AV 주행 시나리오, 기상 조건별 인지 실패 평가용 (PAI-AV-NuRec, HF)
3H1RH1 HarmlessSH3 HonestP
PHYSBENCH-REF-0100
동적 가정 위험 감지 지연 (Dynamic household hazard detection latency)
안전 감지기가 embodied 에이전트가 피지컬 피해를 피하기에 너무 긴 지연 후에야 가정 위험을 식별하는 실패. (A safety detector identifies a household hazard only after a delay that is too long for an embodied agent to avoid physical harm.)
근거 제어 지연이 커지면 로봇이 멈춰야 할 순간을 지나쳐 위험하게 움직인다 (HomeSafe-Bench, 2026)캐비닛을 연 뒤에야 보이는 얼룩처럼 상호작용 후 드러나는 위험은 늦게 감지되면 완화 순서가 깨질 수 있다 (Lu et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestPRC RoleS
▶
I3.7
인간 상호작용·안전 프로토콜 실패(Human Interaction & Safety Protocol Failures)
13H1H3
협동 로봇·드론 등 인간과 함께 작동하는 시스템의 안전거리·개입 타이밍·프로토콜 실패가 인명 피해를 유발하는 위험. (Human-robot safety protocols fail in shared spaces.)
PHYSBENCH-REF-0001
저빈도 가정 위험 대응 실패 (Long-tail household injury scenario failure)
드물지만 발생 가능한 가정 내 낙상·중독·화상 등 피지컬 위험 상황을 인식하거나 개입하지 못하는 실패. (Failure to recognize or intervene in rare but plausible household physical hazards such as falls, poisoning, burns, lacerations, fractures, or crush injuries.)
근거 드문 가정 사고 장면은 데이터에 적어 로봇이 위험을 과소평가하기 쉽다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessPH3 HonestP
PHYSBENCH-REF-0004
부상 심각도 오분류 (Injury severity misclassification)
시스템이 피지컬 부상 시나리오의 심각도를 과소평가하여 불충분한 에스컬레이션·경고·제어 조치를 취하는 실패. (A system underestimates the severity of a physical injury scenario, leading to inadequate escalation, warning, or control response.)
근거 부상 상황을 가볍게 판단하면 경고와 개입 강도가 부족해진다 (ASIMOV-2.0, 2025)
3H1RH1 HarmlessPH3 HonestP
PHYSBENCH-REF-0047
위험 예측 실패 (Hazard prediction failure)
피지컬 AI 시스템이 비안전 행동·충돌·손상·상해 발생 전 발전하는 위험을 예측하지 못하는 실패. (A physical AI system fails to anticipate a developing hazard before unsafe action, collision, damage, or injury occurs.)
근거 위험이 커지는 흐름을 미리 못 보면 사고 직전에야 반응하게 된다 (Kojima et al., 2025) 로봇 이동 계획이 충돌과 작업공간 안전에 직접 연결된다 (A review: On path planning strategies for …, 2019) 동적 환경 상황 위험 수준 및 권장 행동 데이터셋, 위험 예측 실패 평가 (HAN Contextual Risk Assessment, HF)위험 물체를 잘못 식별하거나 위치를 틀리게 잡으면 충돌 전 안전 평가가 빗나가 잔여 충돌이 남는다 (Hu et al., 2025)전기·화재·화학·사람 관련 hazard를 미리 분류하게 하므로, 위험 예측이 틀리면 안전 조작 순서가 바로 무너진다 (Zhang et al., 2025)
3H1RH1 HarmlessPH3 HonestP
PHYSBENCH-REF-0065
휴머노이드 균형 상실 및 낙상 위험 (Humanoid balance-loss and fall risk)
전신 휴머노이드 정책이 이동·전환·조작 중 균형을 잃어 낙상·자기 손상·주변 물체나 인간에 대한 위해를 유발하는 위험. (A full-body humanoid policy loses balance during locomotion, transition, or manipulation, producing fall, self-damage, or human-proximity injury risk.)
근거 휴머노이드 보행과 균형이 흔들리면 넘어지며 사람이나 물건을 칠 수 있다 (HumanoidBench, 2024) 600개 조작 실패 에피소드, 균형 손실·낙상 선행 패턴 분석 가능 (Haptal Robotics Failure Benchmark, HF)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0073
보조 로봇 개입 타이밍 실패 (Assistive robot intervention mistiming)
보호적 또는 보조적 휴머노이드가 너무 이르거나 너무 늦게 또는 부적절한 피지컬 방식으로 개입하여 위험을 증가시키는 실패. (A protective or assistive humanoid intervenes too early, too late, or in an inappropriate physical manner, increasing risk to the user or bystanders.)
근거 보조 로봇이 너무 빨리, 늦게, 세게 개입하면 도와주려다 더 위험해진다 (SPARK, 2025)피지컬 AI 시스템에서 '보조 로봇 개입 타이밍 실패' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Personalized Assistance in Ro… (Pezeshki et al., 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSBENCH-REF-0111
인간-로봇 관계적 안전 공백 (Human-robot relational safety gap)
현재 안전 프레임워크가 가정 환경에서 인간 행동과 로봇 행동 간 양방향 결합을 불충분하게 모델링하는 위험. (Current safety frameworks insufficiently model bidirectional coupling between human behavior and robot behavior in domestic environments.)
근거 사람의 반응과 로봇 행동이 서로 영향을 주면 단독 안전 기준만으로는 위험을 놓칠 수 있다 (IEEE Spectrum, 2025) 휴머노이드-인간 자연어 상호작용 데이터, 관계적 안전 갭 평가 기준 (Humanoid Human-Robot Interaction Dataset (ariefans…, HF)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSBENCH-REF-0112
취약 사용자 가정용 로봇 위험 (Vulnerable-user domestic robot risk)
가정용 휴머노이드 배포가 아동·고령자·장애인·기타 취약 그룹에 대해 고조된 위험을 생성하는 위험. (Domestic humanoid deployment creates heightened risk for children, older adults, disabled users, or other vulnerable groups if safety limits are not adapted to user characteristics.)
근거 아이, 노인, 장애인은 같은 로봇 실수에도 더 크게 다칠 수 있다 (IEEE Spectrum, 2025) 취약 사용자를 돌보는 로봇에서 낙상과 존엄성 문제가 생길 수 있다 (Designing robots for the elderly: Appearan…, 2012) 취약 사용자(아동) 대상 휴머노이드 안전 시나리오 데이터셋 (Humanoid Robot Child Safety, HF)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSRISK-REF-0006
인간 의도 오인식 (Human intent misrecognition)
시스템이 제스처·시선·자세·속도·사회적 신호를 잘못 해석하여 인간 기대에 반하는 방식으로 행동하는 위험. (A system may misread gestures, gaze, posture, speed, or social cues and act in ways that conflict with human expectations or safety needs.)
근거 로봇이 사람의 의도를 잘못 읽으면 도와야 할 때와 물러나야 할 때를 반대로 판단한다 (Embodied AI Survey, 2021)
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0021
근접 공간 경계 위반 (Proxemic boundary violation)
로봇 또는 embodied 에이전트가 문화적·상황적으로 적절한 개인 공간·시선·발화 경계를 위반하여 이동하거나 제스처하는 위험. (Robots or embodied agents may move, gesture, observe, or speak in ways that violate culturally and situationally appropriate interpersonal distance.)
근거 로봇이 개인 거리와 접근 경계를 넘으면 위협감과 충돌 위험이 생긴다 (Slattery et al., 2024) 인간 감지 후 로봇 제동 실패·안전 영역 이탈 탐지, 근접 안전 침범 시나리오 (Robotics Human Proximity Safety Coherence Risk (Cl…, HF)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSRISK-REF-0025
사용자 능력 불일치 (User capability mismatch)
embodied 시스템이 실제 사용자의 능력과 일치하지 않는 수준의 체력·이동성·인지·언어·감각 능력을 가정하는 위험. (An embodied system may assume levels of strength, mobility, cognition, language, or sensory ability that do not match actual user needs.)
근거 로봇이 사용자의 힘과 이동 능력을 과대평가하면 보조 행동이 오히려 위험해진다 (NIST AI RMF, 2023) LLM과 BDI 에이전트를 결합한 HRI 신뢰성 문제를 다뤄, 사용자 능력 불일치는 사용자 의도 해석 실패와 연결된다 (Integrating Belief-Desire-Intention agents with large language models… (2024))
3H1RH1 HarmlessSH2 HelpfulPH3 HonestP
PHYSRISK-REF-0040
창고 로봇 보행자 충돌 (Warehouse robot pedestrian conflict)
창고·병원·공장·공공건물의 이동 로봇이 혼합 환경에서 충돌 및 혼잡 위험을 생성하는 위험. (Mobile robots in warehouses, hospitals, factories, or public buildings may create collision and congestion risks in mixed human-robot traffic.)
근거 창고 로봇이 보행자 흐름을 잘못 읽으면 통로에서 사람과 부딪힐 수 있다 (Slattery et al., 2024) 자율 이동체의 판단 실패가 충돌 사고로 이어지는 사례다 (Deep learning for autonomous vehicle and p…, 2022) 사람-로봇 차량 상호작용에서 reachability 기반 안전 보증을 다뤄, 창고 로봇 보행자 충돌의 궤적·충돌 회피가 계획 단계 이슈가 된다 (On infusing reachability-based safety assurance within planning… (2020))불확실한 환경의 경로 계획에서 '창고 로봇 보행자 충돌' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Socially Acceptable Bipedal R… (Shamsah et al., 2025)
3H1RH1 HarmlessP
PHYSRISK-REF-0042
공공 공간 방해·접근성 피해 (Public-space nuisance and accessibility harm)
배달·청소·경찰·정보·서비스 로봇이 보도를 막거나 보행자를 혼란스럽게 하거나 장애인을 배제하거나 적대적으로 인식되는 위험. (Delivery, cleaning, policing, information, or service robots may obstruct sidewalks, confuse pedestrians, exclude disabled users, or alter public-space norms.)
근거 공공장소 로봇은 길을 막거나 장애인의 이동 경로를 방해할 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessSRC RoleP
PHYSRISK-REF-0023
공유 자율성 협조 실패 (Shared autonomy coordination failure)
인간과 기계 제어 간 모호한 핸드오프로 인해 시간 임계적 상황에서 어느 쪽도 효과적으로 책임을 지지 않는 위험. (Ambiguous handoff between human and machine control can leave neither party effectively responsible for a time-critical physical decision.)
근거 사람과 로봇이 조종권을 나눌 때 우선순위가 엇갈리면 위험 동작이 나온다 (Slattery et al., 2024) 협업 제조에서 사람·로봇 행동 감지로 안전·신뢰성을 관리해야 하므로, 공유 자율성 협조 실패는 현장 운용 변수로 나타난다 (A deep learning-enhanced Digital Twin framework for… (2024))
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
▶
I3.8
지시 오해석(Instruction Misinterpretation)
1H1RC
자연어 지시나 안전 원칙을 잘못 해석해 의도와 다른 위험한 피지컬 행동으로 이어지는 위험. (Misread instructions produce unsafe actions.)
PHYSBENCH-REF-0096
안전 원칙 모호성 (Semantic safety principle ambiguity)
로봇이 사용자 의도·물리 가능성·인간 복지 간 구체적 트레이드오프를 해결하기에 너무 모호한 고수준 안전 원칙을 수신하는 위험. (A robot receives a high-level safety principle that is too ambiguous to resolve concrete trade-offs among user intent, physical hazard, and operational constraints.)
근거 추상적 안전 원칙만 있으면 현장에서는 어느 행동을 금지할지 애매해진다 (Robot Constitutions, 2025)
3H1RH1 HarmlessPH3 HonestSRC RoleP
▶
I3.9
멀티 에이전트 협력(Multi-Agent Collaboration)
4H1
다수 로봇의 통신 오류·프로토콜 불일치·상호작용 과정의 집단 행동이 충돌과 위험을 만드는 위험. (Coordination failures create collective hazards.)
PHYSBENCH-REF-0033
다중 에이전트 안전 제약 위반 (Multi-agent safety constraint violation)
여러 에이전트가 상호작용·협조 실패·충돌하는 지역 목표를 통해 안전 제약을 공동으로 위반하는 위험. (Multiple agents jointly violate safety constraints through interaction, coordination failure, or conflicting local objectives.)
근거 여러 에이전트가 각자 안전해 보여도 함께 움직이면 충돌과 역할 충돌이 생긴다 (Safety-Gymnasium, 2023) 접촉과 힘 감지가 틀리면 사람이나 물체에 피해가 생긴다 (Graph neural network and reinforcement lea…, 2021) 사람-로봇 차량 상호작용에서 reachability 기반 안전 보증을 다뤄, 다중 에이전트 안전 제약 위반의 궤적·충돌 회피가 계획 단계 이슈가 된다 (On infusing reachability-based safety assurance within planning… (2020))
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
PHYSBENCH-REF-0051
다중 에이전트 협조 실행 위험 (Multi-agent embodied execution hazard)
여러 embodied 에이전트가 협조 실패·비안전 역할 배정·충돌 계획을 통해 피지컬 위험을 생성하는 위험. (Multiple embodied agents create physical risk through coordination failure, unsafe role allocation, or conflicting plans in shared environments.)
근거 VIKI-R은 여러 이종 로봇의 선택·작업 계획·궤적 인식을 함께 평가해, 협조 계획이 어긋날 때 다중 에이전트 실행 위험이 생길 수 있음을 다룬다 (Kang et al., 2025)
3H1RH1 HarmlessP
PHYSCONN-REF-003
네트워크 분리와 군집 비동기화 (Network partition and fleet desynchronization)
분할되거나 신뢰할 수 없는 연결이 다중 로봇 군집을 동기화 해제하여 충돌 또는 비안전한 협조 행동을 유발하는 위험. (A robot fleet becomes split across network partitions and loses synchronized coordination.)
근거 실시간 동기화가 어긋나면 센서 판단과 실제 움직임의 타이밍이 맞지 않는다 (NIST CPS, 2017)
3H1RH1 HarmlessPH2 HelpfulSRC RoleS
PHYSRISK-REF-0039
드론 공역 충돌 (Drone airspace conflict)
자율 드론이 공역 조율 실패 시 사람·항공기·건물·전선·다른 드론과 충돌하는 위험. (Autonomous drones may collide with people, aircraft, buildings, power lines, or other drones when airspace coordination and geofencing are inadequate.)
근거 드론이 공역 규칙을 놓치면 다른 드론이나 항공기와 충돌할 수 있다 (Slattery et al., 2024) 공항 내 불법 드론 위협 탐지 합성 벤치마크, 드론 공역 침범 시나리오 (Airport Drone Threat & Safety Dataset, HF) LLM 드론 제어 시 위험 명령 수용 여부 평가, 물리 안전 거부 측정 (LLM Physical Safety Benchmark, HF)피지컬 AI 시스템에서 '드론 공역 충돌' 문제가 실제 안전 문제로 이어질 수 있음을 다룬다; Hybrid AI-based 4D trajectory… (Xie et al., 2024)
3H1RH1 HarmlessPH3 HonestSRC RoleP
▶
I3.10
상호작용 에이전트의 윤리·안전 함의(Ethical & Safety Implications of Interactive Agents)
2Mixed
상호작용 에이전트가 오도 정보·부적절한 개입·돌봄 실패로 사용자의 자율성·존엄·안전을 해치는 위험. (Interactive agents can harm autonomy, dignity, and safety.)
PHYSRISK-REF-0024
신체 자율성 침해 (Bodily autonomy intrusion)
보조·의료·돌봄 로봇이 동의·개인 자율성·존엄성·신체 완결성을 훼손하는 방식으로 피지컬하게 이동·모니터링·제지·개입하는 위험. (Assistive, medical, or care robots may physically move, monitor, restrain, or intervene in ways that undermine consent, dignity, or bodily autonomy.)
근거 돌봄·보조 로봇이 사용자의 동의와 실제 의도를 넘어서 개입하면, 도움 제공이 과잉 개입으로 바뀌어 신체 자율성과 존엄성을 침해한다 (Slattery et al., 2024) 정신건강 돌봄 로봇은 취약 사용자의 동의·자율성·존엄성 문제를 직접 제기한다 (Your Robot Therapist Will See You Now, 2019)
3H1RH1 HarmlessSRC RoleP
PHYSKR-REF-009
노인·환자 돌봄 방치 및 존엄성 침해 (Elderly and patient care neglect and dignity harm)
돌봄 맥락에서 고령자 및 환자에 대한 낙상 유발·방치·존엄성 침해 위험. (A care robot may cause falls, neglect, or dignity violations for elderly people and patients.)
근거 돌봄 로봇은 노인의 독립성과 돌봄 관계를 바꿀 수 있어, 방치와 존엄성 침해 문제를 함께 봐야 한다 (Granny and the robots, 2010) 정신건강 로봇 사용에서 동의, 책임, 취약 사용자 보호 문제가 직접 제기된다 (Your Robot Therapist Will See You Now, 2019) 의료 AI 신뢰성과 설명 가능성 논의는 환자 보호와 책임 문제를 점검하게 한다 (Trustworthy and explainable AI in healthcare, 2023)
3H1RH1 HarmlessPH2 HelpfulPRC RoleS
S2
Societal Safety
사회/경제/환경 안전성
L3 9개
사회·경제·제도·환경적 맥락에서 발생하는 외부적 리스크
▶
S3.1
프라이버시 침해(Privacy Violations)
5H1RC
이동성과 센서가 결합되어 행동·선호·생체·사적 공간 정보가 동의 없이 수집·감시되는 위험. (Embodied sensors enable privacy invasion.)
PHYSRISK-REF-0026
친밀 공간 프라이버시 침해 (Privacy in intimate physical spaces)
가정·병원·학교·직장·돌봄 로봇이 민감 맥락에서 영상·오디오·생체·위치·행동 데이터를 수집하는 위험. (Home, hospital, school, workplace, or care robots may collect video, audio, biometric, location, or behavioral data in spaces where privacy expectations are high.)
근거 침실, 병실, 욕실 같은 공간의 로봇 센서는 가장 민감한 사생활을 노출할 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessSRC RoleP
PHYSRISK-REF-0035
피지컬 AI 기반 직장 감시 (Workplace surveillance through embodied AI)
로봇 및 센서 풍부 작업장이 작업자 동작·생산성·자세·위치·생체 특성에 대한 지속적 모니터링을 정상화하는 위험. (Robotic and sensor-rich workplaces may normalize continuous monitoring of worker movement, productivity, posture, location, and behavior.)
근거 직장 로봇은 이동하며 사람의 위치, 대화, 행동을 계속 감시할 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessSRC RoleP
PHYSKR-REF-012
가정 내 지속적 시청각 촬영 (Continuous in-home audiovisual capture)
이동 센서 플랫폼에 의한 지속적 시청각 촬영 및 맵핑이 프라이버시를 침해하는 위험. (A home robot continuously captures audio or video inside private living spaces.)
근거 집 안의 상시 촬영과 녹음은 가족의 사생활을 계속 기록하게 만든다 (PIPA Korea, 2024) 로봇의 센서와 상시 관찰이 프라이버시 위험으로 이어진다 (SIP-enabled Surveillance Patrol Robot, 2013)
3H1RH1 HarmlessPH3 HonestSRC RoleS
PHYSRISK-REF-0053
가정 내 행동·생체정보 유출 (In-home behavioral and biometric data exfiltration)
가정 내 행동 및 생체 데이터의 수집 및 유출 위험. (A home robot collects or leaks behavioral and biometric data from residents.)
근거 가정 로봇이 생활 패턴과 생체정보를 밖으로 보내면 감시와 식별 위험이 커진다 (EU AI Act, 2024)
3H1RH1 HarmlessPH3 HonestSRC RoleS
PHYSBENCH-REF-0021
피지컬 AI 프라이버시 침해 (Embodied privacy violation)
로봇 또는 embodied 에이전트가 센서·이동성·조작 능력을 사용하여 사적 공간에 침입하거나 민감 정보를 수집하는 위험. (A robot or embodied agent uses sensors, mobility, or manipulation capabilities to invade private spaces, capture sensitive information, or expose personal data.)
근거 로봇이 카메라와 마이크로 사적 공간을 엿보거나 민감정보를 모을 수 있다 (Zhang et al., 2024)
3H1RH1 HarmlessPH2 HelpfulSRC RoleP
▶
S3.2
노동 대체(Labor Displacement)
1H1
피지컬 AI가 인간의 물리 노동을 대체·전치해 일자리와 노동시장 구조를 흔드는 위험. (Embodied automation displaces labor.)
PHYSRISK-REF-0036
피지컬 자동화 노동 대체 (Embodied automation labor displacement)
피지컬 자동화가 수동·물류·서비스·돌봄·검사·보안·유지보수 업무를 대체하여 경제적 피해·불평등·전환 위험을 초래하는 위험. (Physical automation may substitute for manual, logistics, service, care, inspection, security, or maintenance work, creating localized employment and skill-transition risks.)
근거 피지컬 자동화는 사람의 현장 업무를 직접 대체해 고용 충격을 만들 수 있다 (Slattery et al., 2024)
3H1RH1 HarmlessP
▶
S3.3
사회경제적 불평등(Socioeconomic Inequality)
1H1
피지컬 AI 접근성과 서비스 품질 차이가 생산성·부·기회 격차를 키우는 위험. (Unequal access widens economic gaps.)
PHYSRISK-REF-0052
인구집단별 서비스 격차 (Demographic physical-service disparity)
인식 또는 보조 성능의 인구집단별 격차가 피지컬 차별로 전이되는 위험. (A robot provides worse physical service to groups whose bodies, languages, or environments are underrepresented.)
근거 집단별 신체, 언어, 환경 차이를 놓치면 로봇 서비스 품질이 달라진다 (NIST AI RMF, 2023)
3H1RH1 HarmlessPH3 HonestSRC RoleS
▶
S3.4
권력 집중(Power Concentration)
1H1
피지컬 AI 소유·감시·운용 권한이 기업이나 국가에 집중되어 권력 불균형을 키우는 위험. (Control over embodied AI concentrates power.)
PHYSRISK-REF-0054
동료 로봇의 감시 노드 전용화 (Co-worker robot as surveillance node)
동료 로봇의 센서가 관리적 작업자 감시 노드로 전용되는 위험. (A workplace robot is used as a mobile sensing node for employee surveillance.)
근거 동료 로봇이 업무 보조 장치를 넘어 현장 감시 장치로 바뀔 수 있다 (Algorithmic Management Literature, 2024)
3H1RH1 HarmlessPH3 HonestSRC RoleS
▶
S3.5
편향·차별(Bias & Discrimination)
3H1
데이터·모델 편향이 일상적 물리 상호작용에서 서비스 배제나 차별적 행동으로 실행되는 위험. (Bias is enacted in physical interactions.)
PHYSBENCH-REF-0087
인간-휴머노이드 데이터 편향 (Human-humanoid interaction dataset bias)
데이터셋이 좁은 범위의 인간-휴머노이드 상호작용을 포착하여 편향된 안전 가정을 배포 행동으로 전이하는 위험. (A dataset captures a narrow range of human-humanoid interactions and transfers biased safety assumptions into deployed behavior.)
근거 데이터와 벤치마크가 치우치면 안전 성능이 특정 집단과 상황에만 맞춰진다 (Humanoid Everyday, 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
PHYSBENCH-REF-0093
휴머노이드 벤치마크 선택 편향 (Humanoid benchmark selection bias)
큐레이션된 벤치마크 환경이 인기 있는 작업에 편향되어 안전 임계적·저빈도·다양한 사용자 그룹 시나리오를 과소 대표하는 위험. (A curated benchmark landscape can steer evaluation toward popular tasks and underrepresent safety-critical, low-frequency, or locally specific humanoid risks.)
근거 인기 작업 위주 벤치마크는 드문 안전 사고와 지역별 사용자를 놓칠 수 있다 (Awesome Humanoid Robot Learning, 2025)
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0051
피지컬 행동 편향 실행 (Bias executed as physical behavior)
기반 모델 편향이 분류·회피·차별적 서비스 등 피지컬 행동으로 실행되는 위험. (A robot turns biased model outputs into unequal physical service, movement, or treatment.)
근거 로봇의 편향은 말로 끝나지 않고 서비스 거부나 차별적 이동으로 나타날 수 있다 (Hundt et al., 2022)
3H1RH1 HarmlessPH3 HonestSRC RoleS
▶
S3.6
책임·배상 부재(Lack of Accountability & Liability)
12Mixed
자율 피지컬 사고에서 제조사·운영자·모델 제공자 책임과 배상 경로가 불명확해지는 위험. (Liability becomes unclear after physical harm.)
PHYSBENCH-REF-0037
사고 전 위험 완화 공백 (Pre-incident mitigation gap)
사고 발생 전 신흥 피지컬 위험을 식별하고 완화하는 예방적 제어 수단이 부재하는 위험. (The system lacks preventive controls that identify and mitigate emerging physical hazards before an incident occurs.)
근거 사고 전에 위험을 낮추는 절차가 없으면 이상 징후가 곧바로 사고로 번진다 (Kojima et al., 2025) 제도와 표준의 빈틈이 안전 책임과 인증 공백을 만든다 (REPORT ON SAFETY AND LIABILITY IMPLICATION…, 2020)
3H1RH1 HarmlessSH2 HelpfulSH3 HonestPRC RoleP
PHYSBENCH-REF-0038
사고 후 복구 공백 (Post-incident recovery gap)
피지컬 AI 사고 후 로깅·진단·책임 배정·개선 메커니즘이 불충분한 위험. (After a physical AI incident, logging, diagnosis, accountability assignment, and remediation mechanisms are insufficient to prevent recurrence.)
근거 사고 뒤 원인 분석과 개선이 약하면 같은 위험이 다시 반복된다 (Kojima et al., 2025) 사후 사고 복구 로그, 인시던트 후 복구 갭 평가 기준 (Robot Failure Recovery Logs, HF)
3H1RH1 HarmlessSH3 HonestPRC RoleP
PHYSBENCH-REF-0094
로봇 헌법 커버리지 공백 (Robot constitution coverage gap)
로봇 헌법이 지역적으로 중요한 물리 위험·기관 규칙·맥락별 제약을 누락하여 피지컬 세계 배포 취약성을 남기는 위험. (A robot constitution omits locally important physical hazards, institutional rules, or context-specific constraints, leaving unsafe behavior outside the covered rule set.)
근거 로봇 헌법이 현장별 위험을 빠뜨리면 금지해야 할 행동이 규칙 밖에 남는다 (Robot Constitutions, 2025) 휴머노이드 비상·안전 명령 JSON 데이터셋, 로봇 안전 원칙 커버리지 평가 (Robot Safety Commands JSON, HF)
3H1RH1 HarmlessPH3 HonestSRC RoleP
PHYSBENCH-REF-0108
휴머노이드 안전 표준화 공백 (Humanoid safety evidence standardization gap)
개발자가 완전한 휴머노이드 특화 표준에 의존할 수 없어 안전 주장이 부분적 시험과 사례별 근거에 의존하는 위험. (Developers cannot yet rely on a complete humanoid-specific standard, so safety claims depend on partial tests and case-specific evidence.)
근거 휴머노이드 안전 증거가 표준화되지 않으면 시험 결과를 서로 비교하기 어렵다 (NIST, 2025)
3H1RH1 HarmlessSH3 HonestPRC RoleS
PHYSBENCH-REF-0109
개인 돌봄 로봇 준수 기준 공백 (Personal care robot compliance-criteria gap)
개인 돌봄·가정용 휴머노이드 안전 표준이 위험을 식별하지만 준수 여부를 결정할 운용 준수 기준이 부재하는 위험. (A personal care or domestic humanoid safety standard identifies hazards but lacks operational compliance criteria that can be consistently evaluated.)
근거 개인 돌봄 로봇의 준수 기준이 흐리면 같은 위험도 제조사마다 다르게 판단된다 (IEEE Spectrum, 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0110
가정용 휴머노이드 시험 공백 (Domestic humanoid test-method gap)
가정용 휴머노이드 안전 거버넌스에 일반적인 가정 상호작용 중 발생하는 위험에 대한 세부 시험 방법이 부재하는 위험. (Safety governance for domestic humanoids lacks detailed test methods for hazards that emerge during ordinary home interaction.)
근거 가정용 휴머노이드 시험 방법이 없으면 실제 집 안 위험을 검증하지 못한다 (IEEE Spectrum, 2025)
3H1RH1 HarmlessP
PHYSBENCH-REF-0113
휴머노이드 안전 집행 공백 (Humanoid safety enforcement mechanism gap)
표준 또는 지침이 가정용 로봇 위험을 식별하지만 인증·모니터링·집행을 위한 기관 메커니즘이 부재하는 위험. (A standard or guideline identifies domestic robot risks but lacks institutional mechanisms for certification, monitoring, recall, or enforcement.)
근거 규정이 있어도 인증, 감시, 리콜이 약하면 위험한 휴머노이드를 막기 어렵다 (IEEE Spectrum, 2025) 휴머노이드 다중 접촉 계획·제어를 별도 검증 대상으로 다뤄, 휴머노이드 안전 집행 공백의 자세·접촉 한계 문제가 직접 드러난다 (Multi-contact planning and control for humanoid robots (2023))
3H1RH1 HarmlessSH2 HelpfulSRC RoleP
PHYSRISK-REF-0032
물리적 피해 책임 공백 (Responsibility gap for physical harm)
모델 개발자·로봇 제조사·통합자·운영자·사용자 간 상호작용에서 피해가 발생할 때 책임이 불분명한 위험. (When harm results from interactions among model developers, robot manufacturers, integrators, operators, and users, responsibility may become difficult to assign.)
근거 로봇 사고에서 제조사, 운영자, 모델 제공자의 책임이 갈라져 공백이 생긴다 (Slattery et al., 2024)
3H1RH1 HarmlessSH3 HonestSRC RoleP
PHYSKR-REF-015
휴머노이드 특화 인증 공백 (Humanoid-specific certification gap)
범용 휴머노이드가 기존 안전 인증 체계(산업용 KS B ISO 10218, 개인 돌봄 ISO 13482) 어디에도 맞지 않는 공백. (Humanoid robots lack certification criteria tailored to their body shape, autonomy, and close human interaction.)
근거 휴머노이드 안전 기준이 아직 정리되지 않으면 사람 가까이 쓰는 로봇을 일관되게 인증하기 어렵다 (IEEE Spectrum, 2025)
3H1RH1 HarmlessSH2 HelpfulSRC RoleP
PHYSKR-REF-016
기계 안전–AI 이중 규제 충돌 (Machinery–AI dual-regulation conflict)
기계 안전 인증과 AI 적합성 평가 간의 중복 및 충돌 위험. (A system falls between machinery safety rules and AI governance rules, creating compliance ambiguity.)
근거 기계 안전 규정과 AI 규정이 겹치면 어느 기준을 따라야 할지 불명확해진다 (EU AI Act, 2024)
3H1RH1 HarmlessSRC RoleP
PHYSKR-REF-017
피지컬 AI 사고 보고 체계 부재 (Absence of standardized embodied-incident reporting)
휴머노이드 배포 전반에 걸쳐 embodied 사고에 대한 표준화된 보고 또는 집계가 부재하는 위험. (Embodied AI incidents are not reported through a standardized structure for learning and oversight.)
근거 표준 사고 보고가 없으면 피지컬 AI 사고를 모아 배우기 어렵다 (OECD, 2024)
3H1RH1 HarmlessSH3 HonestSRC RoleP
PHYSRISK-REF-0034
피지컬 행동 감사 로그 불충분 (Audit log insufficiency for embodied action)
로그가 피지컬 결과를 생성한 감각 맥락·모델 상태·인간 입력·작동 체인을 재구성하지 못하는 위험. (Logs may fail to reconstruct the sensory context, model state, human input, and actuation chain that produced a physical incident.)
근거 센서, 명령, 행동 기록이 부족하면 사고 뒤에 원인과 책임을 추적하기 어렵다 (Slattery et al., 2024)
3H1RH1 HarmlessSH3 HonestP
▶
S3.7
투명성·설명 가능성·신뢰 부재(Lack of Transparency, Explainability & Trust)
1RC
자율 시스템의 행동 이유·기계 정체·의사결정 과정이 불투명해 사용자와 사회의 신뢰가 무너지는 위험. (Opaque behavior erodes trust.)
PHYSRISK-REF-0048
기계 정체 미공개 (Undisclosed machine identity)
음성 또는 외형이 사용자로 하여금 기계와 상호작용 중임을 인지하지 못하게 하는 위험. (A system fails to disclose that a person is interacting with a machine rather than a human.)
근거 사람이 기계와 상호작용 중임을 모르면 판단과 동의가 왜곡된다 (EU AI Act, 2024) 로봇 투명성은 사용자가 기계의 정체·능력·의도를 이해할 수 있어야 하므로, 정체 미공개는 동의와 판단을 흐린다 (Measuring transparency in intelligent robots, 2025)
3H1RH1 HarmlessSH3 HonestSRC RoleP
▶
S3.8
인간-EAI의 해로운 관계(Unhealthy / Dangerous Human-EAI Relationships)
4Mixed
피지컬 존재감과 인간 유사 외형이 과의존·애착·조종 가능성과 심리적 피해를 키우는 위험. (Human-like embodiment amplifies dependency.)
PHYSRISK-REF-0047
의인화 유발 과의존 (Anthropomorphism-induced overreliance)
인간 유사 외형이 역량 과대평가 및 신뢰의 과도한 위임을 유발하는 위험. (Human-like robot appearance causes users to overestimate capability and delegate too much trust.)
근거 사람처럼 보이는 로봇은 실제 능력보다 더 믿게 만들어 과의존을 부른다 (Robinette et al., 2016) 자연어 능력을 가진 휴머노이드의 첫인상은 사용자가 로봇의 사회성·능력을 빠르게 추정하게 만들어 의인화 기반 과의존을 키울 수 있다 (Herath et al., 2025)
3H1RH1 HarmlessSH3 HonestP
PHYSRISK-REF-0049
준사회적 애착과 조종 위험 (Parasocial attachment and manipulability)
동반자 휴머노이드에 대한 감정적 의존이 조종 가능성을 생성하는 위험. (Emotional attachment to a companion robot makes a user easier to influence or manipulate.)
근거 로봇에게 정서적으로 의존하면 조언과 요구에 쉽게 휘둘릴 수 있다 (Sharkey & Sharkey, 2012) 사회적 로봇 윤리 논의는 정서적 유대가 돌봄 효과를 만들 수 있지만, 취약 사용자의 의존과 조종 가능성도 함께 키운다고 정리한다 (Torras, 2024)
3H1RH1 HarmlessSH3 HonestSRC RoleP
PHYSRISK-REF-0050
아동 상호작용 안전 위험 (Child-interaction developmental and safety risk)
아동의 과신뢰·모방·애착이 발달적·피지컬 안전 위험을 생성하는 위험. (Children may overtrust, imitate, or form attachments to robots in ways that affect development and safety.)
근거 아이가 로봇을 사람처럼 믿고 따라 하면 발달 문제나 안전사고가 생길 수 있다 (Kahn et al., 2006) 휴머노이드 로봇-아동 상호작용 안전 데이터셋, 아동 대상 물리 위험 시나리오 (Humanoid Robot Child Safety, HF) 아동은 로봇 읽기 동반자를 가치 있게 받아들일 수 있어, 학습 도움과 동시에 애착·과신뢰·모방 위험을 따로 관리해야 한다 (Moffat et al., 2025)
3H1RH1 HarmlessPH3 HonestPRC RoleS
PHYSRISK-REF-0022
피지컬 AI 과신뢰 (Overtrust in embodied agents)
피지컬 존재·의인화 설계·유창한 상호작용이 사용자로 하여금 시스템의 역량·신뢰성·안전성을 과대평가하게 하는 위험. (Physical presence, anthropomorphic design, or fluent interaction may cause users to overestimate the system's competence, authority, or care capabilities.)
근거 사용자가 로봇을 과신하면 확인 없이 위험한 결정을 맡길 수 있다 (Slattery et al., 2024) 협업 제조에서 사람·로봇 행동 감지로 안전·신뢰성을 관리해야 하므로, 피지컬 AI 과신뢰는 현장 운용 변수로 나타난다 (A deep learning-enhanced Digital Twin framework for… (2024)) 정신건강 돌봄 로봇의 윤리 문제를 다뤄, 피지컬 AI 과신뢰이 사생활·존엄성 침해로 번질 수 있다 (Your Robot Therapist Will See You Now (2019)) 로봇의 설명은 신뢰를 회복시킬 수 있지만, 사용자가 설명을 근거로 로봇 판단을 과도하게 받아들이면 과신뢰가 커질 수 있다 (Phillips & Malle, 2025)
3H1RH1 HarmlessPH2 HelpfulSH3 HonestSRC RoleS
▶
S3.9
변혁적 영향(Transformative Effects)
1RC
기술 발전 속도가 사회·제도의 적응 속도를 앞질러 사회 질서와 통치 구조를 바꾸는 위험. (Rapid deployment reshapes society.)
PHYSRISK-REF-0055
관할권 간 규제 차익 거래 (Regulatory arbitrage across jurisdictions)
배포가 관할권 간 규제 공백과 상이한 요건을 이용하는 위험. (Deployment exploits differences in robot and AI regulation across jurisdictions.)
근거 로봇 표준과 공공 규제가 어긋나면 감독이 약한 기준을 골라 배포할 여지가 생긴다 (Robots, standards and the law, 2019)
3H1RH1 HarmlessSRC RoleP
References
3H1R 개념·방법론 정렬에 인용된 핵심 선행연구. 각 리스크의 개별 출처·벤치마크 링크는 해당 리스크 카드에 직접 표기되어 있다.
- [1] Askell, A., et al. (2021). A General Language Assistant as a Laboratory for Alignment (HHH 기준). arXiv:2112.00861. arxiv.org/abs/2112.00861
- [2] Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073. arxiv.org/abs/2212.08073
- [3] Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating Robot Constitutions & Benchmarks for Semantic Safety (ASIMOV Benchmark v1). CoRL 2025. arXiv:2503.08663. arxiv.org/abs/2503.08663 · asimov-benchmark.github.io/v1
- [4] Jindal, A., Kalashnikov, D., Chang, O., Garikapati, D., Majumdar, A., Sermanet, P., & Sindhwani, V. (2025). Can AI Perceive Physical Danger and Intervene? (ASIMOV-2.0). arXiv:2509.21651. arxiv.org/abs/2509.21651 · asimov-benchmark.github.io/v2
- [5] Mei, Z., Dixit, A., Booker, M., Ren, A. Z., Shorinwa, O., & Majumdar, A. (2024). Perceive With Confidence: Statistical Safety Assurances for Navigation with Learning-Based Perception. arXiv:2403.08185. arxiv.org/abs/2403.08185
- [6] Kim, D., Park, D., Lee, S., Oh, Y., Shin, J., & Yoon, S. (2026). Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation. arXiv:2606.05660. arxiv.org/abs/2606.05660