- 자율주행 딥러닝 적용 단계
- – 자율주행을 위한 딥러닝 적용은 인지, 판단, 제어영역이 있다. 인지는 자율주행에서 가장 중요한 기술이며 주변상황 정보를 인식하고 수집. 판단은 인지정보를 바탕으로 주행환경과 목표지점에 적합한 주행전략을 책정하고 의사결정, 제어는 판단에 따라 실차를 구동
- 현재 딥러닝은 주로 인지 분야에 한해 적용되고 있다. 인식 기능은 기존 서포트벡터 머신이나 에이다부스트(기계학습 메타알고리즘)와 같은 기계학습 방식으로 해결해 왔지만 심층신경망을 적용한 딥러닝 기술을 적용하여 성능이 비약적으로 상승 * 서포트벡터: 기계학습 중 패턴 인식, 자료 분석을 위한 지도학습 모델
- – 딥러닝은 영상으로 패턴을 분석하여 이상 징후를 사전에 감지하거나 주변 자동차의 움직임을 예측. 판단 영역에 딥러닝을 적용하면 차량의 센서로부터 얻은 정보뿐만 아니라 V2X, 정밀지도 등을 활용해 보다 안전하고 정확한 판단을 내릴 수 있다.
- – 판단이 이루어지면 그 다음은 제어영역, 즉 판단대로 행동함으로써 비보호 좌회전이나 회전교차로 진입 등 사람도 대응하기 어려운 상황에 잘 대처할 수 있을 것으로 기대
2. 테슬라 경로 예측
- 테슬라는 실제 수준 높은 운전자의 주행 패턴을 흉내 내는 모방학습(Imitation Learning)을 통해 경로예측(Path Prediction)을 실행. 이는 인지뿐만 아니라 판단 및 제어 영역에도 신경망이 적용되고 있음을 의미합니다.
- < 출처 : Youtube / Path prediction ( Andrej Karpathy ) >
- 이를 위해 테슬라는 비전 데이터뿐 아니라 실제로 운전자가 핸들을 얼마나 꺾는지, 기어는 어떤 상태인지, 엑셀과 브레이크는 얼마나 밟고 있는지, GPS 가격은 얼마인지 등을 신경망 입력치로 사용한다. 이것은, 운전자의 행동(가사, 가속, 브레이크) 자체가 메타데이터(Metadata)가 되기 위해, 라벨이 필요없는 구조*메타데이터: 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명하는 데이터
- – 즉, 차량이 단순히 센서로부터 받은 값대로 행동하는 것이 아니라 다양한 조건과 상황을 충분히 고려해 행동하는 예측 주행이 가능.인지기능에만 의존하면 가파른 커브길이나 급경사 구간에서는 앞길이 보이지 않아 자율주행에 한계가 있다.
- – 단, 신경망이 어떤 결정을 내릴지, 어떤 동작을 할 것인지, 인간이 그 알고리즘을 이해하기 어렵고 안전 문제와 직결되므로 판단 및 제어 영역에 인공지능을 적용하는 것은 매우 고난이도 작업
- – 하지만 테슬라는 모방학습 기반의 신경망을 적용하기 시작했다. 이에 따라 차량은 도로가 잘 보이지 않아도 어떻게 주행해야 하는지 미리 판단해 주행할 수 있고, 이전에 가지 못했던 교차로와 같은 복잡한 길을 학습해 성능을 높여 서서히 주행할 수 있게 된다.
- – 정리하면 판단 및 제어 영역에서도 코너 케이스가 수두룩하기 때문에 테슬라는 신경망을 통해 핸드코딩(사람이 손으로 짠 코딩)의 한계를 극복하고자 하며 핸드코딩뿐만 아니라 라벨링처럼 엄청난 인력이 필요한 작업을 최대한 줄이고 자동화를 실현하기 위해 인공지능의 적용을 계속 확장하고 있다
3. 모빌아이의 의사결정 신경망
From ADAS to AutonomousThe road from ADAS to full autonomy depends on mastering three technological pillars:Sensing: robust and comprehensive human-level perception of the vehicle’s environment, and all actionable cues within it.Mapping: as a means of path awareness and foresight, providing redundancy to the camera’s real-time path sensing.Driving Policy: the decision-making layer which, given the Environmental Model – assesses threats , plans maneuvers , and negotiates the multi – agent game of traffic . Only the combination of these three pillars will make fully autonomous driving a reality .
The challenge behind making a robotic system control a car is that for the foreseeable future the “other” road users are likely to be human-driven, therefore in order not to obstruct traffic, the robotic car should display human negotiation skills but at the same time guarantee functional safety. In other words, we would like the robotic car to drive safely, yet conform to the driving norms of the region. Mobileye believes that the driving environment is too complex for hand – crafted rule – based decision making . Instead we adopt the use of machine learning to ” learn ” the decision making process through exposure to data .
Mobileye’s approach to this challenge is to employ what is called reinforcement learning algorithms trained through deep networks. This requires training the vehicle system through increasingly complex simulations by rewarding good behavior and punishing bad behavior. Our proprietary reinforcement learning algorithms add human-like driving skills to the vehicle system, in addition to the super-human sight and reaction times that our sensing and computing platforms provide . It also allows the system to negotiate with other human – driven vehicles in complex situations . Knowing how to do this well is one of the most critical enablers for safe autonomous driving . < 出典 : Mobileye >
위 문장(굵은 부분)을 보면 모빌아이도 ADAS에서 완전 자율주행으로 넘어가려면 의사결정(Decision-making) 영역에 핸드코딩이 아니라 신경망이 필요하다고 설명했다. 모빌아이는 이를 시뮬레이션상 강화학습(Reinforcement Learning)을 통해 구축하고 있다.
- 참고로 테슬라는 현실 데이터를 충분히 입수할 수 있기 때문에 모방학습이 더 효과적이지만 모빌아이는 그렇지 않아 시뮬레이션을 활용한 강화학습을 사용하고 있다고 추정. 웨이모도 강화학습을 사용하는 걸 보면 알 수 있다.
※ 강화학습 & 모방학습 설명 참고 1. 강화학습(Reinforcement Learning) – 강화학습은 기계학습의 한 영역으로 어떤 환경 속에서… blog.naver.com
4. 인공지능 & ADAS
- 신경망을 사용한다고 해서, 각종 센서나 ADAS 모듈등이 불필요하게 되는 것은 아니다. 모빌아이는 자율주행에 있어 각종 센서를 매우 중요하게 언급하고 있으며, 최근 딥러닝 비전 솔루션과 의사결정 신경망, 센서퓨전, 정밀지도, 핸드코딩을 모두 접목한 기술로 비보호 좌회전과 같은 매우 복잡한 상황에서도 놀라운 주행능력을 선보이고 있다.
- < 출처 : Youtube / Watch the Mobileye autonomous vehicle navigate a highly challenging driving situation >
그리고 테슬라와 모빌아이가 판단 및 제어영역, 어디까지 신경망을 적용하는지에 대해서는 아직 확실한 것이 없다. 지금까지 보여준 자율주행 성능도 인지 영역을 제외하면 거의 신경망 없이 발휘한 것(아래 Software 1.0 부분에서 더 자세히 설명)
- 따라서 센서를 통한 주행 성능과 안전성이 나쁘지 않다면 신경망을 굳이 전체로 확장할 필요까지는 없다고 생각하며, 센서나 ADAS 모듈 등은 계속 충분한 요구가 있을 것으로 전망
5. 인텔 모빌아이(Intel Mobileye)
(1) ADAS-인텔 모빌아이가 최근 자율주행에 있어 두각을 나타내고 있지만 정확히 말하면 모빌아이는 ADAS 기업. 즉 완전 자율주행이 아닌 반 자율주행업체에서 딥러닝을 적용하여 뛰어난 비전(Vision) 기술을 탑재한 칩(EyeQ 5), 즉 매우 수준 높은 ADAS 제품을 판매하고 있다고 할 수 있다. 자율주행에 있어 핵심은 비전기술이고 모빌아이는 현재 ADAS 업계의 리더
- 현재 딥러닝은 주로 인지 분야에 한해 적용되고 있다. 인식 기능은 기존 서포트벡터 머신이나 에이다부스트(기계학습 메타알고리즘)와 같은 기계학습 방식으로 해결해 왔지만 심층신경망을 적용한 딥러닝 기술을 적용하여 성능이 비약적으로 상승 * 서포트벡터: 기계학습 중 패턴 인식, 자료 분석을 위한 지도학습 모델
- – 딥러닝은 영상으로 패턴을 분석하여 이상 징후를 사전에 감지하거나 주변 자동차의 움직임을 예측. 판단 영역에 딥러닝을 적용하면 차량의 센서로부터 얻은 정보뿐만 아니라 V2X, 정밀지도 등을 활용해 보다 안전하고 정확한 판단을 내릴 수 있다.
- – 판단이 이루어지면 그 다음은 제어영역, 즉 판단대로 행동함으로써 비보호 좌회전이나 회전교차로 진입 등 사람도 대응하기 어려운 상황에 잘 대처할 수 있을 것으로 기대
2. 테슬라 경로 예측
- 테슬라는 실제 수준 높은 운전자의 주행 패턴을 흉내 내는 모방학습(Imitation Learning)을 통해 경로예측(Path Prediction)을 실행. 이는 인지뿐만 아니라 판단 및 제어 영역에도 신경망이 적용되고 있음을 의미합니다.
- < 출처 : Youtube / Path prediction ( Andrej Karpathy ) >
- 이를 위해 테슬라는 비전 데이터뿐 아니라 실제로 운전자가 핸들을 얼마나 꺾는지, 기어는 어떤 상태인지, 엑셀과 브레이크는 얼마나 밟고 있는지, GPS 가격은 얼마인지 등을 신경망 입력치로 사용한다. 이것은, 운전자의 행동(가사, 가속, 브레이크) 자체가 메타데이터(Metadata)가 되기 위해, 라벨이 필요없는 구조*메타데이터: 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명하는 데이터
- – 즉, 차량이 단순히 센서로부터 받은 값대로 행동하는 것이 아니라 다양한 조건과 상황을 충분히 고려해 행동하는 예측 주행이 가능.인지기능에만 의존하면 가파른 커브길이나 급경사 구간에서는 앞길이 보이지 않아 자율주행에 한계가 있다.
- – 단, 신경망이 어떤 결정을 내릴지, 어떤 동작을 할 것인지, 인간이 그 알고리즘을 이해하기 어렵고 안전 문제와 직결되므로 판단 및 제어 영역에 인공지능을 적용하는 것은 매우 고난이도 작업
- – 하지만 테슬라는 모방학습 기반의 신경망을 적용하기 시작했다. 이에 따라 차량은 도로가 잘 보이지 않아도 어떻게 주행해야 하는지 미리 판단해 주행할 수 있고, 이전에 가지 못했던 교차로와 같은 복잡한 길을 학습해 성능을 높여 서서히 주행할 수 있게 된다.
- – 정리하면 판단 및 제어 영역에서도 코너 케이스가 수두룩하기 때문에 테슬라는 신경망을 통해 핸드코딩(사람이 손으로 짠 코딩)의 한계를 극복하고자 하며 핸드코딩뿐만 아니라 라벨링처럼 엄청난 인력이 필요한 작업을 최대한 줄이고 자동화를 실현하기 위해 인공지능의 적용을 계속 확장하고 있다
3. 모빌아이의 의사결정 신경망
From ADAS to AutonomousThe road from ADAS to full autonomy depends on mastering three technological pillars:Sensing: robust and comprehensive human-level perception of the vehicle’s environment, and all actionable cues within it.Mapping: as a means of path awareness and foresight, providing redundancy to the camera’s real-time path sensing.Driving Policy: the decision-making layer which, given the Environmental Model – assesses threats , plans maneuvers , and negotiates the multi – agent game of traffic . Only the combination of these three pillars will make fully autonomous driving a reality .
The challenge behind making a robotic system control a car is that for the foreseeable future the “other” road users are likely to be human-driven, therefore in order not to obstruct traffic, the robotic car should display human negotiation skills but at the same time guarantee functional safety. In other words, we would like the robotic car to drive safely, yet conform to the driving norms of the region. Mobileye believes that the driving environment is too complex for hand – crafted rule – based decision making . Instead we adopt the use of machine learning to ” learn ” the decision making process through exposure to data .
Mobileye’s approach to this challenge is to employ what is called reinforcement learning algorithms trained through deep networks. This requires training the vehicle system through increasingly complex simulations by rewarding good behavior and punishing bad behavior. Our proprietary reinforcement learning algorithms add human-like driving skills to the vehicle system, in addition to the super-human sight and reaction times that our sensing and computing platforms provide . It also allows the system to negotiate with other human – driven vehicles in complex situations . Knowing how to do this well is one of the most critical enablers for safe autonomous driving . < 出典 : Mobileye >
위 문장(굵은 부분)을 보면 모빌아이도 ADAS에서 완전 자율주행으로 넘어가려면 의사결정(Decision-making) 영역에 핸드코딩이 아니라 신경망이 필요하다고 설명했다. 모빌아이는 이를 시뮬레이션상 강화학습(Reinforcement Learning)을 통해 구축하고 있다.
- 참고로 테슬라는 현실 데이터를 충분히 입수할 수 있기 때문에 모방학습이 더 효과적이지만 모빌아이는 그렇지 않아 시뮬레이션을 활용한 강화학습을 사용하고 있다고 추정. 웨이모도 강화학습을 사용하는 걸 보면 알 수 있다.
※ 강화학습 & 모방학습 설명 참고 1. 강화학습(Reinforcement Learning) – 강화학습은 기계학습의 한 영역으로 어떤 환경 속에서… blog.naver.com
4. 인공지능 & ADAS
- 신경망을 사용한다고 해서, 각종 센서나 ADAS 모듈등이 불필요하게 되는 것은 아니다. 모빌아이는 자율주행에 있어 각종 센서를 매우 중요하게 언급하고 있으며, 최근 딥러닝 비전 솔루션과 의사결정 신경망, 센서퓨전, 정밀지도, 핸드코딩을 모두 접목한 기술로 비보호 좌회전과 같은 매우 복잡한 상황에서도 놀라운 주행능력을 선보이고 있다.
- < 출처 : Youtube / Watch the Mobileye autonomous vehicle navigate a highly challenging driving situation >
그리고 테슬라와 모빌아이가 판단 및 제어영역, 어디까지 신경망을 적용하는지에 대해서는 아직 확실한 것이 없다. 지금까지 보여준 자율주행 성능도 인지 영역을 제외하면 거의 신경망 없이 발휘한 것(아래 Software 1.0 부분에서 더 자세히 설명)
- 따라서 센서를 통한 주행 성능과 안전성이 나쁘지 않다면 신경망을 굳이 전체로 확장할 필요까지는 없다고 생각하며, 센서나 ADAS 모듈 등은 계속 충분한 요구가 있을 것으로 전망
5. 인텔 모빌아이(Intel Mobileye)
(1) ADAS-인텔 모빌아이가 최근 자율주행에 있어 두각을 나타내고 있지만 정확히 말하면 모빌아이는 ADAS 기업. 즉 완전 자율주행이 아닌 반 자율주행업체에서 딥러닝을 적용하여 뛰어난 비전(Vision) 기술을 탑재한 칩(EyeQ 5), 즉 매우 수준 높은 ADAS 제품을 판매하고 있다고 할 수 있다. 자율주행에 있어 핵심은 비전기술이고 모빌아이는 현재 ADAS 업계의 리더
<출처 : Mobileye>
- 모빌아이는 이런 칩에 카메라만 사용하거나 라이더까지 추가한 각각의 방식을 연구해 레벨 3 이상의 자율주행 성능을 보이고 있다. 신경망을 많이 적용하지만 완전 자율주행업체가 아닌 비전 전문이어서 그런지 영역인 이미지 처리에 한한다.
- – 아래와 같이 모빌아이의 주요 서비스는 대부분 경보 기능. 따라서 주로 신경망이 적용되는 곳은 아직 인지영역에 한하며, 신경망이 내려가는 경보를 받아 차량을 직접 제어하는 것은 각종 센서와 ADAS 모듈
- 그럼에도 지금과 같은 자율주행 레벨을 달성한 것을 보면 레벨 3~3.5정도는 딥러닝 비전 솔루션에 ADAS와 같은 센서 퓨전만으로 커버할 수 있는 가능성이 존재. 또한 레벨 4 이상이 반드시 인공지능으로만 가능한지, 레벨 4까지 ADAS로 가능한지는 아직 알 수 없다.
- -물론 인공지능을 활용하는 것이 훨씬 수준 높은 기술이며 위와 같이 확장성이 뛰어난 것은 사실상 알 수 있었지만, 사실상 주행능력에 큰 차이가 없고 가격도 비슷하다면 소비자 입장에서는 굳이 인공지능 기반의 자율주행만이 특별하지 않을 것이기 때문에 선택에 큰 구분을 두진 않으실 겁니다.
- – 테슬라 운전자들의 평가에 따르면 아직 자율주행이 불안한 감이 있지만 현재 수준 2.5수준 정도로도 운전 피로도는 크게 줄었다.그렇다면 레벨 3 수준의 솔루션은 소비자들의 엄청난 수요를 가져올 것으로 예상되지만 이는 ADAS에서도 충분히 가능하다는 것을 모빌아이가 보여준 상태.
- – 따라서 테슬라 정도의 인공지능 수준을 따라가지 못하는 완성차 업체 입장에서는 그 대신 현재 상용화되고 있는 비전 솔루션에 각종 센서를 통한 ADAS 모듈로 대응할 수 있는 길이 열려 ADAS 시장은 기대 이상으로 커질 수 있다.
- – 게다가 테슬라섬의 자율주행성능은 대부분의 사람이 직접 코딩한 프로그램(Software 1.0)에서 나왔고, 최근 들어 인공신경망(Software 2.0)으로 점차 바뀌고 있는 상황
<출처 : Electrek>
(2) 시사점-모빌아이는 지난해 1,740만개의 아이큐칩을 판매해 매출 8억7,900만달러, 영업이익 2억4,500만달러를 기록. 다른 자율주행 개발업체가 돈을 쏟아 붓고 있을 때 모빌아이는 이미 1조원이 넘는 매출에 3,000억원 가까운 영업이익을 올렸다.
- 또 모빌아이는 레벨2+ 시장이 2023년까지 연평균 63% 성장할 것으로 기대되고, EyeQ칩도 레벨2용 135~675달러에서 레벨2+용 135~675달러로 오를 것으로 예상되고 있어 수익은 더욱 가파르게 오를 수 있다.
- 이에 따라 미국 Seeking Alpha의 금융 블로거 Arne Verheyde는 2023년 모빌아이의 매출액을 50억달러 이상으로 예상하고 있다.
- · 기존 사업 : 레벨2 시장을 착실히 성장하여 18억달러 매출 · 레벨2 + : EyeQ칩 400달러로 400만개 이상 판매, 20억달러 매출 · 정밀 지도 : 라이선스 6억달러 매출 · 센서 / MaaS(Mobility as a Service) : 자체 개발라이더 및 레이더 센서 판매, 무빗(Moovit) 인수를 통한 모빌리티 및 로보택시
- 따라서 시장의 모든 기대가 완전 자율주행에 있는데, 완성차 및 부품업체의 ADAS 역량에도 포커싱 해 볼 필요가 있다. ●한국 대표 기업으로는 ‘맨도’
※ 만도 ADAS 및 전장 제품 설명 참고 1. 기업 개요 – 2014년 한라홀딩스의 자동차 부품 제조 및 판매업 부문이 인적 분할되어 설립. 2014 … blog.naver.com
< 출처 : Seeking Alpha >