Os dois líderes abraçaram-se à entrada do palácio Mariinsky, a residência do Presidente ucraniano, segundo a agência francesa AFP.
Modi deverá discutir com Zelensky uma solução pacífica para a invasão russa na Ucrânia.
As autoridades indianas e ucranianas afirmaram que a visita se centrará no reforço dos laços económicos e na cooperação em matéria de defesa, ciência e tecnologia.
Mas poderá ser também uma tentativa de a Índia adotar uma posição mais neutra, depois do que tem sido visto como uma inclinação para a Rússia, país com que mantém ligações históricas, segundo a agência norte-americana AP.
O primeiro-ministro indiano chegou à Ucrânia proveniente da Polónia, tendo viajado de comboio durante a noite.
Os meios de comunicação social ucranianos informaram que Modi se reuniu com representantes da diáspora indiana após chegar a Kyiv.
Uma multidão juntou-se à volta do primeiro-ministro indiano a gritar "Modi, Modi, Modi", segundo a AP.
"A comunidade indiana deu umas boas-vindas muito calorosas", declarou Modi nas redes sociais.
O chefe do gabinete presidencial da Ucrânia, Andriy Yermak, considerou a visita de Modi como histórica.
Yermak referiu a expectativa da Ucrânia de que a Índia possa desempenhar um papel no fim da guerra entre a Rússia e a Ucrânia com uma "paz justa", referindo-se à fórmula de paz da Ucrânia.
"Respeitamos a Índia como uma grande democracia no mundo e um país poderoso", disse Yermak numa entrevista ao jornal India Today.
"Mas agora é necessário dizer quem é o agressor e quem é a vítima", acrescentou, numa alusão ao facto de a Índia nunca ter criticado a Rússia pela invasão da Ucrânia.
Antes de chegar à Ucrânia, Modi apelou aos esforços diplomáticos para pôr fim à guerra durante uma visita à Polónia na quinta-feira.
Prometeu o apoio da Índia a esses esforços e disse que nenhum conflito pode ser resolvido num campo de batalha.
A visita ocorre um mês e meio depois de Zelensky ter criticado Modi, quando o líder indiano se encontrou em Moscovo com o Presidente russo, Vladimir Putin, no dia em que mísseis russos mataram dezenas de pessoas na Ucrânia.
Zelensky descreveu o encontro em Moscovo como uma "enorme desilusão e um golpe devastador para os esforços de paz" e criticou Modi por ter abraçado Putin.
A Índia evitou sempre condenar a invasão russa e, em vez disso, apelou à Rússia e à Ucrânia para resolverem o conflito através do diálogo e da diplomacia.
A visita de Modi é a primeira de um primeiro-ministro indiano à Ucrânia desde que os dois países estabeleceram relações diplomáticas há mais de 30 anos.
[Notícia atualizada às 11h31]
Leia Também: Rússia acusa Ucrânia de tentar atacar a central nuclear de Kursk com drone
