Amazon re:MARS 2022 – Day 1: Innovation Spotlight Speaker, Jesse Levinson

(música animada) – [Locutor] Dê as boas-vindas
ao diretor de tecnologia e co-fundador da Zoox, Jesse Levinson. (música eletrônica animada) (aplausos do público) (música eletrônica animada) – Ei, obrigado por me receber aqui hoje. Então, meu co-fundador e eu tínhamos uma visão única quando começamos a Zoox em 2014, e nossa ideia era
criar um veículo totalmente autônomo, construído para um propósito específico, projetado para passageiros em vez de motoristas, e implantá-los em frotas, para que pudéssemos poderia vender passeios em vez de vender carros inteiros. Na época, muitas pessoas
pensaram que éramos malucos e talvez tivessem razão. Mas quando olhamos para o
estado atual do transporte, nos perguntamos por que todos
aceitavam que as coisas tinham que ser assim.

Portanto, o mais terrível é que, globalmente, os acidentes de carro matam mais de
um milhão de pessoas por ano. E isso é na verdade mais do que, bem, quase 4.000
pessoas todos os dias, o que é várias vezes
pior do que o COVID atualmente. Acontece também que
usamos nossos carros apenas cerca de 4% do tempo, o que significa que eles estão parados e depreciando os
outros 96% do tempo. Portanto, eles são incrivelmente
inúteis economicamente, mas também ambientalmente, porque não apenas dirigir
um carro cria poluição, mas construir um carro também não é tão bom assim. Acontece que há muitas coisas nos carros . Em seguida, um terço do tráfego da cidade é causado por pessoas em busca de estacionamento, o que não é ruim apenas para
as pessoas que procuram estacionamento, mas também piora o congestionamento
para todos os outros. Agora, de volta à poluição, um quarto da poluição do ar nos EUA é causada pelo transporte. E, finalmente, gastamos coletivamente
400 bilhões de horas dirigindo a cada ano. Portanto, mesmo conservadoramente, são trilhões de dólares
de tempo perdido todos os anos.

Portanto, espero que esteja bem claro que fabricar e vender
muitos carros não é bom. E embora eletrificá-los
seja uma coisa boa, isso apenas torna a
situação um pouco melhor. Estamos indo muito além disso. O que torna a Zoox única é que estamos trabalhando em um design totalmente desenvolvido desde o primeiro dia em que iniciamos a empresa, há quase oito anos. Agora, estamos finalmente começando
a ver alguns de nossos concorrentes reconhecendo que o hardware específico é a solução ideal, mas a maioria dos players nesse espaço ainda está focada em adaptar
veículos convencionais com sensores e outros hardwares avançados. E mesmo os
robôs-táxis supostamente novos que outras empresas anunciaram são na verdade construídos sobre
chassis de carros convencionais, então eles estão perdendo muitas
das vantagens exclusivas que incorporamos ao Zoox, como bidirecionalidade,
direção nas quatro rodas e uma tonelada de recursos de segurança e
redundância. Portanto, nossa visão é que a plena realização da mobilidade autônoma requer um veículo construído especificamente para a IA dirigir e os humanos desfrutarem.

E é exatamente isso que estamos construindo. Muito do trabalho é criar software de IA e garantir que seja seguro o suficiente, mas a melhor maneira de garantir isso é obter grandes
vantagens no hardware, como sensores nos
quatro cantos superiores do veículo que podem ver absolutamente tudo. . Aqui está um slide que nosso CEO Aicha Evans compartilhou no re:MARS em 2019. Na verdade, é do nosso pitch deck original quando fundamos a Zoox em 2014.

E achamos que é um ótimo resumo visual de como vemos a oportunidade. Não achamos que isso era
um exagero na época, e temos ainda mais certeza de que está certo agora. Hoje estou animado para compartilhar mais sobre como nosso veículo funciona e alguns dos progressos que
fizemos nos últimos anos. Aqui está a aparência de um Zoox
em seu habitat natural. Revelamos o
primeiro robô-táxi operacional do mundo em dezembro de 2020. Ele é capaz de dirigir
até 75 milhas por hora em ambas as direções. E não mostramos apenas um protótipo. Na verdade, nós o mostramos dirigindo. Estes somos nós dirigindo no
centro de São Francisco. Mas tivemos que fechar
as estradas ao público e interagir apenas com os agentes da Zoox.

E o motivo era que, embora tivéssemos quase todas as funcionalidades de que precisávamos para dirigir de forma autônoma, ainda estávamos progredindo
em relação ao nosso caso de segurança, que é como podemos
demonstrar quantitativamente nossa segurança mesmo em meio ao caos e à
incerteza do mundo real. Desde aquela época, aprimoramos nossas
capacidades de direção urbana, levando os aprendizados para
nosso veículo totalmente novo para validar nosso caso de segurança, para que possamos provar que
dirigimos de maneira significativamente mais segura do que um motorista humano. Um dos desenvolvimentos mais importantes nos últimos anos é que, quando testamos nossos
veículos L3 em cidades densas como San Francisco, Seattle e aqui mesmo em Las Vegas, eles agora cometem significativamente menos erros do que motoristas humanos atentos.

E isso é um grande negócio. Isso não significa que
lidamos melhor com todos os cenários possíveis. E ainda estamos trabalhando em alguns dos casos mais difíceis, mas é uma métrica importante e é um grande progresso. Esses vídeos mostram algumas
das cenas complicadas com as quais lidamos de forma autônoma dia após dia. E é particularmente legal ver a saída completa da fusão do sensor 3D
enquanto dirigimos. Tanto quanto eu sei,
ainda somos a única empresa que libera esse nível
de saída de percepção. E já fazemos
isso há alguns anos, se você quiser conferir
nosso canal no YouTube.

Vamos falar mais sobre
o desafio técnico de ensinar um robô a dirigir. Antes que o veículo possa
planejar sua trajetória, ele precisa saber o que
está acontecendo ao seu redor, o que é chamado de percepção, e depois o que outros
agentes provavelmente farão, o que é chamado de previsão. Como mencionei, queremos ter
a melhor chance possível de saber exatamente o que está acontecendo. As primeiras tentativas de veículos autônomos focaram na adaptação de carros convencionais com suítes de sensores, como uma forma de acelerar o
caminho para a comercialização. E embora seja definitivamente possível obter um
grau razoável de funcionalidade com algo como o carro à esquerda, na verdade estamos muito mais interessados
no que está à direita. E estamos muito confiantes de que a abordagem ideal
requer o que está certo. Além da
experiência do cliente abaixo do ideal, especialmente se houver um volante sem corpo assustador se
movendo sozinho, a forma real de um carro simplesmente não é otimizada para a visão de IA.

Você pode ver que há um
capuz saindo na frente. E embora seja possível adicionar ainda mais sensores ao capô, o que lhe dá alguma visibilidade quando há tráfego cruzado desprotegido. Na melhor das hipóteses, eles estão no nível de desperdício, o que significa que eles definitivamente não têm a melhor
visão possível do mundo. Portanto, otimizamos a percepção
ao projetar um veículo com o posicionamento ideal do sensor
e redundância máxima. Nosso veículo é simétrico com cada canto superior
apresentando um pod de sensor personalizado, que nos dá um
campo de visão de 270 graus em cada canto.

E o mais legal
dessa arquitetura é que, se você consegue ver pelo menos
um canto do veículo, sabe que ele pode te ver. Agora, vamos fazer um
questionário no final da palestra para garantir que todos
memorizaram as localizações de todos os 40 de nossos sensores, ou podemos pular isso. Mas esperamos que isso
lhe dê uma indicação rápida de quão bem podemos perceber
o mundo ao nosso redor. Resumindo, essa arquitetura
nos dá uma visão de 360 ​​graus com sobreposição de redundância, tanto por modalidades de sensores quanto entre elas.

E nos permite ver pelo menos
150 metros em todas as direções, e ainda mais nas
direções dianteira e traseira. Então, por que precisamos de
vários tipos de sensores? É uma pergunta importante. Por que não usamos apenas câmeras, que são as mais
parecidas com a visão humana? Afinal, as pessoas dirigem com os olhos, então por que as câmeras não são suficientes? Bem, em primeiro lugar, a visão computacional
ainda não alcançou a visão humana. Os humanos ainda são muito, muito melhores em descobrir o que são os objetos e se há
algo ali. O aprendizado profundo é uma
espécie de recuperação, mas não muito, e não particularmente
rápido, como se vê.

Em segundo lugar, as câmeras, como os olhos, não funcionam tão bem quando o sol está brilhando diretamente sobre elas. E assim, quando estamos dirigindo, podemos realmente mover nossa cabeça e podemos até levantar nossa
mão para bloquear o sol. Mas é claro que nossas câmeras não
têm essa habilidade específica. Aqui está um exemplo em que
estamos olhando para o sol e nossas câmeras funcionam bem. Podemos ver alguns
pedestres na esquina e, à direita, vemos a visão de fusão do sensor de cima para baixo, onde eles são mostrados como círculos rosa. Então, nós nos damos bem com as câmeras, mesmo olhando para o sol, certo? Bem, o que é mais difícil de ver é que na verdade há
mais alguns pedestres do outro lado da rua, e o brilho do sol
os está lavando completamente. Portanto, nossos algoritmos de visão estão falhando em detectar esses pedestres. Meu palpite é que você também, olhando para os dados brutos do martelo, que estamos mostrando ampliados aqui, é essencialmente impossível dizer que há duas pessoas nessa colheita.

Felizmente, quando você olha para a visão da fusão completa do sensor da IA, detectamos os pedestres, mas estamos detectando-os com LiDAR e não com câmeras. Aqui está outro exemplo: os pedestres à noite têm uma
relação sinal-ruído mais baixa e são mais difíceis de ver. Isso é apenas física básica. Quando não há tanta luz, as imagens são mais ruidosas e/ou desfocadas. E você notou isso nas
câmeras de seus smartphones. Agora, hoje em dia, todos eles têm modem noturno, mas isso exige que você fique muito quieto enquanto eles capturam uma longa exposição e, portanto, não funciona realmente
enquanto estamos dirigindo. Se a roupa de um pedestre
for da mesma cor do carro atrás dele, especialmente à noite, o contraste é ruim e é difícil
distinguir a pessoa. Além disso, o desfoque de movimento
também pode degradar a qualidade da imagem, levando a falhas de detecção. Em teoria, poderíamos apenas
aumentar a sensibilidade para detectar qualquer coisa que possa ser uma pessoa ou outra coisa, mas os desafios de fazer isso levariam a um aumento significativo no que é chamado de
detecções de falsos positivos.

Um falso positivo é quando a
IA imagina que há algo que não existe realmente. Isso é desconfortável, na melhor das hipóteses, e às vezes até perigoso, porque o veículo
desacelera desnecessariamente, para inesperadamente ou até tenta desviar de
obstáculos inexistentes. Portanto, para construir um sistema autônomo verdadeiramente seguro, devemos detectar tudo o que está lá, mas também saber quando não há nada. Ok, já falamos sobre algumas das limitações das câmeras, mas não é justo escolher apenas as câmeras. O LiDAR nos dá uma visão 3D bastante densa do mundo ao nosso redor e tem a propriedade maravilhosa de medir exatamente a
que distância tudo está. Mas, para ser justo, também tem seus problemas, e não apenas que a
pessoa mais rica do mundo os ache muito caros.

Embora, sério, não seja tão
caro quando você os usa em um modelo de negócios de robotáxi. De qualquer forma, aqui vemos um de nossos veículos L3 dirigindo de forma autônoma na chuva. E à esquerda, você pode
ver a saída bruta do LiDAR, bem como os obstáculos
que nosso pipeline LiDAR detecta em tempo real. Infelizmente, o LiDAR
geralmente retorna um sinal quando atinge gotículas de água. E um algoritmo de percepção ingênuo tentaria parar para chover, o que seria muito estúpido. Uma das coisas legais que nossa equipe de percepção descobriu como fazer é usar os valores de intensidade LiDAR, o modo de retorno duplo e a forma orgânica de bolhas de água para filtrar automaticamente a
umidade como chuva, neblina e vapor da saída de percepção. Funciona muito bem, mas ainda é importante
ter outras modalidades de sensores para corroborar o resultado final. Falando em vapor, também temos uma arma secreta para isso.

Acontece que as
câmeras infravermelhas de ondas longas, que detectam o calor, podem
ver através do vapor. Aqui está um exemplo disso, e é bem legal. Você pode ver o vapor obstruindo o pedestre
e a visão da câmera, e mesmo o LiDAR não
estaria no seu melhor aqui. Mas a câmera IR de onda longa
vê a pessoa enquanto ela passa por trás do vapor. Então, na pior das hipóteses, mesmo que
nossas câmeras, radares e LiDAR percam alguma coisa, nossas câmeras infravermelhas de ondas longas
captarão coisas vivas, já que emitem calor. Fundamentalmente, só queremos
entender as características dos objetos ao nosso redor, profundidade, velocidade, intensidade, cor RGB. E isso requer uma
mistura de vários sensores, como câmeras para detecção de cores, radares para velocidade, infravermelho de ondas longas para calor e LiDARs para profundidade. É a combinação
de todos esses sensores que nos dão uma cobertura incomparável e redundante da cena.

O gráfico de aranha mostra como
nos saímos muito bem no geral, embora nenhum
sensor individual seja uma panacéia. Além de garantir que nossas modalidades gerais de sensor
funcionem bem juntas, é importante abordar também a redundância e a independência dos
pods de sensor, para que possamos maximizar a segurança geral, porque queremos ter certeza de que podemos ver objetos
de todos os cantos. Portanto, nosso objetivo é, essencialmente, sobrecarregar nosso
sistema de percepção com dados, para que, ao passarmos pela previsão e, finalmente, pelo controle de movimento, possamos nos sentir confiantes em nossa compreensão do ambiente. Em seguida, podemos usar a simulação para testar ainda mais essas várias modalidades e avaliá-las em relação ao nosso caso de segurança.

Aqui, você pode ver como
testamos modalidades individuais em simulação e entender
como elas funcionam juntas. Trabalhando a partir da esquerda, vemos o radar simulado e, em seguida, o LiDAR, as câmeras e, finalmente, nossa
saída completa de fusão de sensores à direita. A simulação nos permite testar
todo o nosso conjunto de sensores, bem como remover um sensor individual ou modalidade de sensor para ver como o veículo
funcionaria em um estado degradado. Uma grande vantagem aqui é que, mesmo que uma de
nossas simulações de sensor não seja perfeita, a saída 3D geral ainda é
representativamente precisa em termos de desempenho e modelos de ruído. E isso também nos permite executar
toda a nossa pilha de IA em simulação, não apenas na percepção. Podemos então criar cenários simulados para testar e
validar como o veículo responderá a casos extremos, que são aquelas situações raras, mas
complicadas, nas quais o veículo deve ser
capaz de navegar com segurança. E embora o teste no mundo real seja crucial, a vantagem do teste em simulação é que você pode executar um
número extremamente grande de cenários, incluindo aqueles que seriam perigosos demais para serem executados no mundo real.

E você pode fazer isso com rapidez, precisão e, o mais importante, com segurança. Tudo bem, mas como sabemos quando
finalmente estamos seguros o suficiente? Antes de cada marco interno, usamos uma árvore de falhas
como a mostrada aqui, mas é claro que é um pouco simplificada, espero que não se importe, para prever o risco residual geral que o veículo Zoox pode apresentar em um ambiente de direção definido. Agora, o risco residual geral previsto, incluindo a gravidade, é
comparado a dados humanos, como lesões por acidente e taxas de fatalidade para determinar se estamos ou não
prontos para o marco. Além de criar recursos de segurança ao longo do processo, adicionamos até um sistema separado que fornece uma camada verdadeiramente independente de supervisão e controle.

Chamamos isso de rede de segurança e ele usa um modelo de aprendizado profundo em todos os sensores para prever a ocupação e a velocidade no futuro ao redor do veículo. Como você pode ver, nosso software é um componente crítico para alcançar a direção autônoma. E a integração vertical com hardware é a vantagem competitiva definitiva para finalmente alcançar a autonomia total. Assim, os veículos autônomos oferecem uma oportunidade única na vida de transformar a mobilidade. Quando você está trabalhando no
transporte de pessoas, em vez de mercadorias, é fundamental que
todo o seu sistema seja seguro o suficiente para pessoas e não apenas para pizzas. E nossos engenheiros de veículos trabalharam muito, muito duro para garantir que isso seja verdade.

Portanto, mesmo que construíssemos o
melhor sistema de IA do mundo, que é exatamente o que estamos fazendo, ainda não conseguiríamos evitar 100% das colisões, porque alguém ainda poderia nos encontrar quando estamos apenas cuidando da nossa vida. E mesmo que isso não aconteça com frequência, precisamos estar preparados. Portanto, nossa abordagem representa
uma mudança fundamental de segurança reativa para proativa. Chamamos isso de prevenir e proteger. O que queremos dizer com isso é que
estamos usando a tecnologia para evitar todas as falhas que pudermos, incluindo as 94%
causadas por erros humanos. Mas também estamos protegendo os pilotos com recursos de segurança inovadores caso algo inesperado aconteça. E se dirigirmos quilômetros suficientes, encontraremos outros usuários da estrada que fazem coisas que não deveriam, então precisamos estar o mais preparados possível. Projetamos recursos avançados de segurança em todos os elementos do Zoox, incluindo um airbag inovador
que infla entre os pilotos e amortece sua cabeça, pescoço e peito de uma maneira totalmente nova para manter todos separados e protegidos.

Então essa é a abordagem. Como estamos indo? Bem, não apenas estamos
ficando cada vez melhores em dirigir em ambientes urbanos densos com nossos veículos de teste L3, como também fizemos um progresso significativo dirigindo nosso próprio
robotaxis sem ninguém neles. Recentemente, concluímos
um ponto de verificação crítico sobre o qual ainda não falamos publicamente, operando nosso veículo sem ninguém dentro, sem veículo de perseguição e sem parada de emergência, tudo em estradas abertas e privadas
com agentes não Zoox, incluindo pedestres,
ciclistas, carros e caminhões.

E então, o mais importante, validar tudo isso com nosso
caso de segurança quantitativa. Isso significa que podemos operar em
um ambiente não estruturado em níveis de segurança humana e estamos quase prontos para
fazer isso em vias públicas. A oportunidade de reimaginar
como pode ser o futuro da mobilidade é imensa. Estamos entusiasmados e privilegiados por começar a trabalhar em algo tão digno. E mal podemos esperar para que os clientes possam experimentar a
magia de andar em um Zoox.

É uma experiência categoricamente diferente de sentar no banco de trás de um carro, haja ou não
alguém na frente dirigindo. Por favor, siga-nos ao longo de nossa jornada e espero que todos possam experimentar o Zoox nos próximos anos. Muito obrigado. (o público aplaude) (música eletrônica animada).

Texto inspirado em publicação no YouTube.

Quer Saber Muito Mais? Venha para a MIND21 Educação